지식 증류 원리, 큰 AI를 구형 칩에 넣는 법과 FSD 라이트

지식 증류(knowledge distillation)는 큰 AI 모델이 가진 판단 방식을 작은 모델에 옮겨 담는 학습 기법입니다. 이 글은 테슬라가 구형 하드웨어 3(HW3) 차량용으로 내놓은 FSD 라이트를 예로, 자율주행 AI가 왜 구형 칩에 안 들어가게 됐는지, 지식 증류가 다크 널리지와 온도라는 장치로 그 문제를 어떻게 푸는지 차례로 설명합니다.

구형 칩 차량이 "라이트" 버전을 받는 이유

테슬라는 2025년 3분기 실적 발표에서 HW3 차량용 "FSD v14 라이트"의 출시 시기를 2026년 2분기로 잡았습니다. 2026년 6월 말 미국의 일부 시험 사용자에게 먼저 배포했고, 한국에서는 7월 10일부터 미국에서 생산된 모델 3·모델 Y 가운데 HW3를 달고 감독형 FSD가 켜진 차량에 순차 배포가 시작됐습니다. 미국과 캐나다에서는 7월 21일부터 HW3 차량에 넓게 배포하기 시작했습니다. 그 밖의 나라는 기술 검증, 지역 적응, 규제 승인을 거쳐야 해서 일정이 정해지지 않았습니다.

테슬라는 이 버전을 증류한(distilled) 빌드라고 설명합니다. 최신 하드웨어용으로 만든 큰 FSD 모델을 그대로 넣지 못해, 핵심을 뽑아 작은 모델로 다시 만들었다는 뜻입니다. 이 과정을 이해하려면 두 가지 질문에 답해야 합니다.

• 왜 FSD가 HW3 칩에 들어가지 못하게 됐나
• 그런데도 들어가게 줄이는 기술, 지식 증류는 무엇인가

FSD가 무거워진 이유: 엔드 투 엔드

예전 방식은 "눈"과 "규칙 코드"의 분업

과거 테슬라 자율주행은 철저한 분업이었습니다. AI는 카메라 영상을 보고 신호등, 차, 차선을 알아보는 "눈" 역할만 했습니다. 어떻게 움직일지는 개발자가 직접 짠 규칙 코드가 정했습니다. "빨간불이면 멈춰라" 같은 식입니다. 이 규칙 코드는 수십만 줄 규모였고 용량이 작아서 구형 칩에서도 문제없이 돌았습니다.

문제는 예외였습니다. 빨간불인데 경찰이 수신호로 지나가라고 하는 경우처럼, 도로에는 규칙으로 다 담을 수 없는 상황이 끝없이 나옵니다.

엔드 투 엔드로 바꾸자 덩치가 커졌다

테슬라는 2024년 FSD v12부터 이 규칙 코드 대부분을 신경망으로 바꾼 엔드 투 엔드(E2E) 방식을 도입했습니다. 이때 걷어 낸 C++ 코드는 30만 줄이 넘습니다. 엔드 투 엔드는 처음부터 끝까지 한 번에 간다는 뜻으로, 카메라 영상이 사람이 짠 코드를 거치지 않고 차를 직접 제어하는 큰 AI 하나로 들어갑니다.

대신 "눈"만 하던 AI가 "두뇌"까지 맡으면서 모델이 크게 불었습니다. 그만큼 AI는 방대한 운전 영상을 보며 사람처럼 운전하는 감각을 익혔습니다. 비 오는 날 방지턱을 부드럽게 넘는 감각, 좁은 골목에서 보행자와 눈치를 주고받는 타이밍 같은 것들입니다. 하지만 그렇게 커진 뇌를 2019년에 나온 HW3 칩에는 그대로 넣을 수 없게 됐습니다.

지식 증류를 이해하는 열쇠: 다크 널리지

손글씨 숫자 예시

지식 증류는 2015년 제프리 힌턴(Geoffrey Hinton), 오리올 비냘스, 제프 딘이 발표한 논문 「신경망의 지식 증류(Distilling the Knowledge in a Neural Network)」로 널리 알려졌습니다. 힌턴은 인공신경망 연구로 2024년 노벨 물리학상을 받았습니다. 이 논문의 핵심 개념이 다크 널리지(dark knowledge)입니다.

AI에게 수백만 장의 손글씨 숫자 이미지를 보여 주며 무슨 숫자인지 맞히게 한다고 해 봅시다. AI는 1, 0, 7이 각각 어떻게 생겼는지 특징을 익힙니다. 잘 학습한 AI에게 손글씨 7을 보여 주면 "100% 7"이라고 답할 것 같지만, 실제 출력은 이런 식입니다(설명용 예시 숫자).

• 7일 확률 85%
• 9일 확률 10%(윗부분이 약간 둥글어서)
• 1일 확률 5%(비스듬해서)

성능이 모자라서가 아닙니다. 숫자들 사이의 생김새 관계까지 익혔기 때문에 생기는 일입니다.

오답 쪽에 숨은 지식

정답이 아닌 쪽에 붙은 작은 확률은 "7은 1이나 9와 닮았다"는 관계를 이해한 흔적입니다. 정답 하나만 적힌 정답지에는 없는 정보이고, 오답 확률 속에 숨어 있어서 다크 널리지라고 부릅니다. 작은 모델이 이 오답 확률까지 따라 배우면, 정답만 외울 때보다 처음 보는 글씨도 잘 알아봅니다.

자율주행에 옮기면: 안개 속 물체 예시

안개 낀 도로에 희미한 기둥 같은 물체가 나타났다고 가정해 봅시다. 아래 확률은 실제 FSD 출력이 아니라 원리를 보여 주는 예시입니다.

• 사람이 짠 규칙 코드 방식: 검은 물체를 "사람"으로 판정하면 그대로 급정지합니다.
• 큰 신경망 방식: 보행자일 확률 85%, 쓰레기통 10%, 가로등 그림자 5% 정도로 보고, 급브레이크 대신 서서히 속도를 줄이며 다가갑니다.

큰 모델은 "어두울 때 보행자는 쓰레기통이나 그림자와 비슷하게 보인다"는 관계를 다크 널리지로 갖고 있어서 오답 후보에도 작은 확률을 나눠 줍니다. 그 확률 분포가 상황에 맞는 부드러운 반응으로 이어집니다.

작은 모델은 어떻게 배우나: 온도 높이기

문제는 경량 모델은 이런 관계를 스스로 터득할 만큼 크지 않다는 점입니다. 그래서 학습할 때 큰 모델(선생 모델)이 내놓는 확률 분포를 정답 삼아 따라 배웁니다. 이때 쓰는 장치가 온도(temperature)입니다.

정답지로만 배우면 잃는 것

어느 정도 학습한 AI가 삐뚤어진 7을 보고 "7일 확률 80%, 9일 확률 20%"라는 나름 합리적인 답을 냈다고 합시다. 그런데 사람이 만든 정답지에는 "7일 확률 100%"만 적혀 있습니다. AI는 다음엔 100%를 맞히려고 9 쪽으로 기운 판단을 줄이는 방향으로 고쳐집니다. 정답에는 가까워지지만, "이 7은 9와 닮았다"는 정보는 학습 신호로 전혀 받지 못합니다. 정답지 하나로는 숫자 사이의 관계를 가르칠 수 없다는 뜻입니다.

소프트맥스와 온도 T

• 소프트맥스: AI가 계산을 마치고 내놓는 점수(예: 7은 500점, 9는 10점)를 모두 합쳐 100%가 되는 확률로 바꿔 주는 수식입니다.
• 소프트맥스는 1등에게 확률을 크게 몰아주는 성질이 있어서, 큰 모델의 출력도 1등이 99%를 넘고 나머지는 거의 0에 가까워지기 쉽습니다. 그러면 다크 널리지가 잘 보이지 않습니다.
• 소프트맥스에 넣기 전 점수를 온도 T로 나누면, T가 클수록 "무조건 7"이라고 뾰족하게 솟았던 분포가 아이스크림 녹듯 주변으로 부드럽게 퍼집니다. 9와 1에 붙은 작은 확률이 눈에 띄게 커집니다.

큰 모델의 분포에 맞춰 조율

학습할 때는 큰 모델과 작은 모델에 같은 온도 T를 적용해 각자 부드러운 확률 분포를 만듭니다. 두 분포의 차이를 계산하고, 작은 모델의 분포가 큰 모델 쪽에 최대한 가까워지도록 작은 모델의 신경망을 조금씩 고칩니다. 보통은 실제 정답지로 배우는 학습도 함께 섞습니다.

이렇게 하면 작은 AI도 정답만 외우지 않고, 큰 AI가 상황을 저울질하는 방식까지 상당 부분 옮겨 받습니다. 학습이 끝난 뒤 실제로 쓸 때는 온도를 원래대로 1로 돌립니다. 큰 모델의 "액기스"만 뽑아 작은 모델에 담는 이 과정이 지식 증류입니다.

100% 복사는 아니다

작은 모델은 용량이 작아서 큰 모델의 지식을 그대로 다 담을 수는 없습니다. 대신 큰 모델이 여러 상황에서 후보들 사이의 비중을 어떻게 나눴는지, 그 확률 분포의 핵심 패턴을 자기 구조에 맞게 흉내 냅니다. 그래서 증류한 모델은 원래 모델보다 성능이 조금 낮은 것이 보통입니다. FSD v14 라이트도 HW4 차량용 버전만큼의 성능은 기대하기 어렵다는 평가가 나옵니다.

남은 장벽: 16비트와 8비트

경량 모델이 다크 널리지를 갖는 데 성공해도 구형 칩에 옮기려면 물리적 장벽이 하나 더 남습니다. 숫자의 정밀도, 곧 비트 차이입니다.

최신 모델은 보통 16비트 숫자로 학습하고 계산합니다. 세상을 정밀한 실사 영화처럼 보는 셈입니다. 반면 HW3 칩의 신경망 가속기는 8비트 정수 계산을 중심으로 설계돼 있습니다. 비유하면 투박한 마인크래프트 세상만 볼 수 있는 눈입니다.

그래서 증류한 모델을 다시 8비트 숫자로 바꾸는 양자화(숫자의 정밀도를 낮춰 용량과 계산을 줄이는 것)를 거쳐야 하고, 이때 정밀도가 떨어져도 판단이 흔들리지 않게 하는 별도 기법이 필요합니다. 지식 증류가 모델의 크기를 줄인다면, 양자화는 숫자 하나하나의 크기를 줄이는 일입니다.

증류는 자율주행만의 기술이 아니다

지식 증류는 대형 언어 모델에서도 흔히 쓰입니다. 큰 모델의 답을 교재 삼아 작은 모델을 훈련시키는 식입니다. 딥시크(DeepSeek)는 추론 모델 R1의 답으로 작은 공개 모델들을 학습시킨 증류 모델을 함께 공개했고, 많은 회사가 비싼 최상위 모델 아래에 증류로 만든 빠르고 싼 모델을 둡니다. 휴대폰 안에서 도는 AI, 구형 칩 차량의 자율주행처럼 계산 자원이 빠듯한 곳일수록 증류의 쓰임이 커집니다.

자주 묻는 질문

지식 증류란 무엇인가요?

큰 모델(선생)이 내놓는 확률 분포를 정답 삼아 작은 모델(학생)을 학습시키는 기법입니다. 정답만 배울 때는 얻지 못하는 "무엇과 무엇이 비슷한가" 같은 정보까지 작은 모델에 옮길 수 있습니다. 2015년 제프리 힌턴 등의 논문으로 널리 알려졌습니다.

다크 널리지는 무슨 뜻인가요?

모델이 정답이 아닌 후보에 붙이는 작은 확률 속에 담긴 지식입니다. 손글씨 7을 보고 9일 확률을 10% 정도로 본다면, 7과 9가 닮았다는 관계를 알고 있다는 뜻입니다.

증류할 때 온도를 높이는 이유는 무엇인가요?

소프트맥스는 1등에게 확률을 몰아줘서 오답 쪽 작은 확률이 거의 0으로 보입니다. 온도를 높이면 분포가 부드럽게 퍼져 다크 널리지가 드러나고, 작은 모델이 그것을 따라 배우기 쉬워집니다.

FSD v14 라이트는 한국에서도 쓸 수 있나요?

쓸 수 있습니다. 테슬라코리아가 2026년 7월 10일부터 국내 순차 배포를 시작했습니다. 대상은 미국에서 생산된 모델 3·모델 Y 가운데 HW3를 달고 감독형 FSD가 켜진 차량이고, 중국에서 생산된 차량은 빠졌습니다. 내 차가 대상인지는 차량의 소프트웨어 업데이트 화면이나 테슬라코리아 공지로 확인합니다.