터보퀀트 원리, KV캐시를 3비트로 줄이는 구글 압축 기법

터보퀀트(TurboQuant)는 구글 리서치가 2026년 3월 공개한 AI 메모리 압축 기법입니다. 이 글은 터보퀀트가 무엇을 얼마나 줄이는지, AI가 문장을 숫자로 바꾸는 방식부터 축구 게임 능력치 비유로 세 가지 핵심 아이디어를 차례로 풀고, 메모리 반도체 주가가 흔들린 이유와 그 해석의 한계까지 정리합니다.

투자 조언이 아니다. 아래 주가 수치는 보도된 당시 기록이며, 특정 종목의 매수⁠·매도를 권하지 않는다. 투자 판단과 책임은 본인에게 있다.

터보퀀트란 무엇인가

구글 리서치는 2026년 3월 24일 블로그에 터보퀀트를 공개했습니다. 논문은 ICLR 2026에서 발표됐고, 함께 쓰이는 폴라퀀트(PolarQuant)는 AISTATS 2026 논문입니다.

터보퀀트가 줄이는 대상은 두 가지입니다. 하나는 대형 언어 모델(LLM)이 대화를 이어 가며 쌓아 두는 KV캐시, 다른 하나는 벡터 검색에 쓰는 임베딩 숫자입니다. 모델의 가중치를 줄이는 기술은 아닙니다.

구글이 밝힌 수치는 이렇습니다.

• KV캐시를 숫자 하나당 3비트로 줄여도 추가 학습이나 미세 조정이 필요 없습니다.
• 긴 문서 속 한 문장을 찾는 니들 인 어 헤이스택(Needle in a Haystack) 시험에서 KV캐시 메모리를 최소 6배 줄이면서 정답률이 떨어지지 않았습니다.
• 4비트 터보퀀트는 엔비디아 H100 GPU에서 32비트 원본 대비 어텐션 점수 계산이 최대 8배 빨랐습니다.
• 시험에는 젬마(Gemma), 미스트랄(Mistral), Llama-3.1-8B-Instruct 같은 공개 모델과 LongBench, RULER, ZeroSCROLLS, L-Eval 같은 긴 문맥 평가가 쓰였습니다.

모두 연구진이 고른 모델과 평가에서 나온 결과입니다. 다른 모델과 실제 서비스 환경에서 같은 효과가 날지는 따로 따져 봐야 합니다.

메모리 반도체 주가가 흔들린 날

발표 직후 시장은 크게 반응했습니다. 3월 25일 미국 증시에서 샌디스크와 마이크론이 각각 3%대 하락했고(마이크론 약 3.4%), 이튿날 낙폭이 더 커졌습니다. 서울에서도 삼성전자와 SK하이닉스가 5% 넘게 떨어졌다는 보도가 나왔습니다. AI가 메모리를 덜 쓰게 되면 HBM(GPU 옆에 붙는 고대역폭 메모리) 같은 메모리 수요가 줄 수 있다는 우려 때문이었습니다. 며칠 뒤에는 상당 부분 반등했습니다.

이 기술이 어떤 원리인지 알면 그 우려를 얼마나 무겁게 볼지 판단하기 쉬워집니다.

AI는 문장을 숫자로 바꿔 이해한다

임베딩과 벡터

사람은 문장을 보면 바로 뜻을 알지만, AI는 먼저 문장을 숫자 묶음으로 바꿔서 이해합니다. 이 일을 하는 것이 임베딩 모델입니다. 비슷한 문장은 비슷한 숫자로, 뜻이 다른 문장은 전혀 다른 숫자로 바꾸도록 학습돼 있습니다.

축구 게임 비유

축구 게임은 실제 선수의 플레이 스타일을 공격력, 수비력, 스피드, 스태미나 같은 숫자로 표현합니다. 숫자를 비교하면 누가 누구와 비슷한지 금방 보입니다. 설명을 위해 공격력과 수비력 두 숫자만 쓴 예시를 들면 이렇습니다(실제 게임 데이터가 아닌 예시 숫자).

• 호날두: 공격 91, 수비 21
• 메시: 공격 89, 수비 24
• 김민재(수비형): 공격 30, 수비 92

데이터의 특징을 숫자로 바꿔 주는 모델이 임베딩, 그렇게 나온 숫자 묶음이 벡터, 바꾸는 과정이 벡터화(벡터라이징)입니다.

비슷한지 판단하는 두 가지 방법

메시를 호날두, 김민재와 비교한다고 해 봅시다.

• 두 점 사이의 거리를 재서 더 가까운 선수를 비슷하다고 본다
• 원점에서 각 점을 잇는 선 사이의 각도를 재서 각도가 더 좁은 선수를 비슷하다고 본다(코사인 유사도)

어느 방법으로 재도 메시는 김민재보다 호날두와 가깝습니다.

대화가 길어지면 왜 메모리가 많이 드나

KV캐시

문제는 AI가 대화를 길게 이어 갈 때 생깁니다. LLM은 다음 단어를 만들 때마다 앞에 나온 모든 단어를 다시 참고하는데, 매번 처음부터 계산하지 않으려고 단어마다 계산해 둔 키(Key)와 값(Value) 벡터를 GPU 메모리에 쌓아 둡니다. 이것이 KV캐시입니다. 대화가 길어지고 읽을 문서가 많아질수록 KV캐시가 커져 메모리를 엄청나게 차지합니다.

숫자가 많고 길다

실제 임베딩은 두 가지 특징이 아니라 수백에서 수천 개의 숫자로 이뤄져 있고, KV캐시는 이런 벡터가 단어 수만큼, 층 수만큼 쌓입니다. 각 숫자는 보통 16비트 부동소수점(FP16·BF16)으로 저장됩니다. 숫자가 정밀할수록 AI가 문장을 정교하게 이해하지만, 그만큼 메모리를 많이 먹고 메모리에서 숫자를 읽어 오는 시간도 길어집니다.

기존 해법: 양자화와 "쪽지" 문제

이 문제를 풀려고 나온 대표 기법이 양자화(숫자의 정밀도를 낮춰 용량을 줄이는 것)입니다. 쉽게 말해 소수점 뒷부분을 덜어 내고 숫자를 몇 개의 칸 중 하나로 반올림하는 방식입니다. 원래 숫자와 완전히 같지는 않아도 누가 누구와 비슷한지는 여전히 구분되니 많이 씁니다.

그런데 기존 양자화는 숫자 묶음마다 "원래 범위가 얼마였고 몇 칸으로 나눴는지" 같은 기준값을 함께 적어 둬야 나중에 원래 숫자를 되살릴 수 있습니다. 숫자에 붙는 쪽지인 셈입니다. 구글에 따르면 이 쪽지 때문에 숫자 하나당 1~2비트가 더 듭니다. 3비트로 줄이려는데 1~2비트가 따라붙으면 절약 효과가 크게 깎입니다.

터보퀀트의 출발점은 이 쪽지를 아예 저장하지 않는 것입니다.

터보퀀트의 세 가지 아이디어

첫째: 기준 축을 바꾼다

지금까지는 선수를 공격력과 수비력 두 축으로 봤습니다. 터보퀀트는 먼저 벡터 전체를 무작위로 한 번 회전시켜 숫자들이 고르게 퍼지게 만든 뒤, 좌표를 크기와 방향으로 다시 표현합니다. 축구로 치면 "이 선수가 전체적으로 얼마나 강한가(크기)"와 "공격 쪽인가 수비 쪽인가(방향, 각도)"로 다시 적는 셈입니다.

이렇게 바꾸면 호날두와 메시는 크기도 방향도 비슷해 같은 공격형 무리로 묶이고, 김민재는 방향이 전혀 달라 수비형으로 갈립니다. 좌표를 바꾸는 것뿐이라 이 단계에서는 정보가 사라지지 않습니다.

둘째: 비슷한 값끼리 구간으로 묶는다(폴라퀀트)

두 번째 단계가 실제 압축입니다. 크기와 각도로 바꾼 값을 긴 소수점 그대로 저장하지 않고, 정해진 구간 가운데 하나로 반올림해 저장합니다. 구글 설명으로는 숫자를 두 개씩 짝지어 반지름과 각도로 바꾸는 일을 되풀이해 반지름 하나와 각도 여러 개만 남깁니다.

핵심은 회전을 거친 뒤의 각도가 늘 예측 가능한 모양으로 모인다는 점입니다. 그래서 데이터마다 범위를 재서 쪽지에 적을 필요 없이, 미리 정해 둔 원형 눈금에 바로 맞춰 넣으면 됩니다. 긴 소수점을 다 보관하지 않아도 누가 공격형이고 누가 수비형인지, 누가 누구와 비슷한 무리인지 큰 구조는 그대로 남습니다. 비트 대부분이 이 단계에 쓰입니다.

셋째: 남은 오차를 부호 하나로 보정한다(QJL)

구간으로 묶으면 남는 문제가 있습니다. 호날두와 메시는 둘 다 같은 공격형 구간에 들어가서, 호날두가 메시보다 공격 성향이 더 강한지 같은 미세한 차이가 사라집니다. 이 오차가 쌓이면 AI가 어느 단어에 주목할지 정하는 어텐션 점수가 한쪽으로 치우칩니다.

세 번째 아이디어인 QJL(양자화 존슨-린덴스트라우스 변환)은 이 남은 오차를 긴 숫자 대신 +1 또는 -1이라는 부호 1비트로 보정합니다. 먼저 남은 오차를 무작위 방향 여러 개에 비춰 보고, 각 방향마다 "기준보다 큰가, 작은가"만 적어 두는 방식입니다.

축구로 바꿔 보면 모든 선수에게 같은 질문을 던지고 예⁠·아니요만 적는 것과 비슷합니다.

• 공격형 무리 안에서도 더 공격적인 편인가? 기준을 0.25로 잡으면, 0.25보다 작은 호날두는 아니요(-1), 0.25보다 큰 메시는 예(+1)로 적습니다.
• 전체 능력치가 상위권인가? 기준을 0.95로 잡으면, 0.95보다 작으면 -1, 크면 +1로 적습니다.

이렇게 하면 긴 소수점을 들고 있지 않아도 선수 사이의 미세한 차이까지 플러스⁠·마이너스만으로 남길 수 있습니다. 구글은 이 1비트 보정이 어텐션 점수의 치우침을 없앤다고 설명합니다.

질문의 기준은 선수마다 저장하지 않는다

그러면 질문과 기준도 전부 같이 저장해야 하지 않을까요. 그럴 필요가 없습니다. "더 공격적인가", "상위권인가" 같은 질문은 모든 선수에게 똑같이 적용되는 규칙이라, 게임의 룰처럼 한 번만 정해 두고 모두가 함께 씁니다. 실제 터보퀀트에서도 무작위 회전과 투영에 쓰는 행렬은 미리 정해 두고 공유합니다. 벡터마다 따로 쪽지를 붙이던 기존 방식과 가장 크게 다른 점입니다.

터보퀀트가 바꾸는 것과 바꾸지 않는 것

터보퀀트는 AI가 쓰는 벡터 숫자를 더 작게 저장하면서 빠르게 비교하는 방법입니다. 축구로 치면 수십억 명의 선수 능력치를 훨씬 적은 메모리로 들고 있다가 비슷한 선수를 빨리 찾아내는 기술입니다. 벡터 검색 시험(GloVe 데이터, 200차원)에서도 기존 압축 방식인 PQ와 RabbiQ보다 재현율이 높았습니다. 단순한 압축 팁이라기보다 AI 서비스의 추론 비용 구조를 낮출 수 있는 수학적 기법으로 볼 수 있습니다.

다만 바뀌지 않는 것도 분명합니다.

• 줄어드는 것은 추론할 때의 KV캐시와 검색용 벡터입니다. 모델을 학습시키는 데 드는 메모리와 연산은 그대로입니다.
• 모델 가중치 자체는 그대로라서, 큰 모델을 돌리려면 여전히 가중치를 담을 메모리가 필요합니다.
• 벡터를 양자화하는 생각 자체는 새롭지 않습니다. 시장 반응이 지나쳤다는 분석가 의견도 많았습니다.

효율이 좋아지면 오히려 수요가 늘 수 있다는 시각도 있습니다. 같은 메모리로 더 긴 문맥과 더 많은 사용자를 처리할 수 있으면, 회사들은 그 여유로 더 큰 모델과 더 긴 컨텍스트를 만들고 결국 메모리를 더 많이 쓰게 된다는 논리입니다. 자원 효율이 좋아질수록 전체 사용량이 늘어나는 현상을 경제학에서는 제번스의 역설이라고 부릅니다. 터보퀀트가 메모리 수요를 줄일지, AI 서비스를 늘려 시장을 키울지는 아직 판단하기 이릅니다.

자주 묻는 질문

터보퀀트는 메모리를 얼마나 줄이나요?

구글 발표 기준으로 KV캐시를 숫자 하나당 3비트까지 줄여 최소 6배 작게 만들었고, 니들 인 어 헤이스택 시험에서 정확도 손실이 없었습니다. 4비트 설정에서는 H100 GPU에서 어텐션 계산이 최대 8배 빨랐습니다. 연구진이 고른 모델과 시험의 결과라 실제 서비스 효과는 다를 수 있습니다.

터보퀀트와 일반 양자화는 무엇이 다른가요?

일반 양자화는 숫자 묶음마다 범위 같은 기준값을 따로 저장해야 해서 숫자당 1~2비트가 더 듭니다. 터보퀀트는 회전과 극좌표 변환으로 이 기준값을 없애고, 남은 오차는 부호 1비트로 보정합니다.

터보퀀트를 쓰면 모델을 다시 학습해야 하나요?

필요 없습니다. 이미 학습된 모델이 추론할 때 쌓는 KV캐시를 압축하는 방식이라 추가 학습이나 미세 조정 없이 적용됩니다.

터보퀀트 때문에 HBM 수요가 줄어드나요?

단정하기 어렵습니다. 같은 메모리로 더 많은 일을 할 수 있게 되지만, 그 여유가 더 큰 모델과 더 긴 문맥으로 이어지면 수요가 오히려 늘 수도 있습니다. 투자 판단의 근거로 삼기에는 변수가 많습니다.