RLHF 한계와 RLCD, 판단만 하는 결정 모델이 나온 이유

RLHF 한계가 무엇인지, 그 대안으로 나온 RLCD 훈련법과 결정 모델 Jev가 무엇이 다른지 짧게 설명합니다. "클로드 코드⁠·코덱스 시대는 끝났다"는 말이 실제로 무슨 뜻인지, 제작사가 내세운 속도⁠·비용 수치는 어떤 조건에서 나온 것인지도 함께 짚습니다.

"클로드 코드 시대는 끝났다"는 말의 뜻

"클로드 코드⁠·코덱스 시대는 끝났다. 다음 시대는 클로드 코드 시대가 아니다. 클로드 코드는 아직 보조 시대다." 결정 모델 Jev를 만든 TypeSafe AI의 공동 창업자이자 CEO 디오구 알메이다(Diogo Almeida)가 AI Engineer World's Fair 2026 발표 "What's next after RLHF?"에서 내놓은 문제 제기를 줄이면 이렇습니다. 알메이다는 OpenAI 연구원 시절 ChatGPT의 바탕이 된 RLHF 연구(InstructGPT 논문)에 참여했습니다.

말만 보면 클로드 코드가 끝났다는 소리 같지만 그런 뜻이 아닙니다. 클로드 코드가 없어진다는 얘기가 아니라, 클로드 코드 같은 AI에게 판단까지 다 맡기던 방식이 끝난다는 뜻입니다. ChatGPT와 클로드 코드는 모두 사람 곁에서 돕는 보조용으로 만들어졌고, 다음 단계는 사람이 지켜보지 않아도 돌아가는 자동화를 처음부터 목표로 삼아야 한다는 것이 이 문제 제기의 핵심입니다.

지금 AI가 자동화에 어색한 이유 두 가지

1. 사람 마음에 들게 훈련됐다

RLHF(인간 피드백 강화학습)는 사람이 더 좋다고 평가한 답을 내도록 AI를 훈련하는 방법입니다. 그래서 지금 AI는 정답보다 사람이 좋아할 답을 내는 쪽으로 기울어 있습니다. 틀려도 그럴듯하게 맞아 보이는 답이 나오고, 이것이 할루시네이션(AI가 사실이 아닌 내용을 사실처럼 말하는 현상)이 생기는 이유 중 하나로 꼽힙니다. 이 방식은 AI가 "얼마나 확실한지"를 숫자로 정직하게 내놓는 능력도 약하게 만든다는 지적이 있습니다.

이 훈련법을 만든 연구자 가운데 한 명이 바로 알메이다라는 점에서 이 비판이 주목받았습니다.

2. 사람이 옆에 붙어 있는 작업에 맞다

지금 AI는 사람이 옆에서 확인하며 쓰는 작업에 더 적합합니다. 수학 난제처럼 오래 생각해 답을 내는 일에는 잘 맞지만, 사람 없이 수많은 판단을 빠르게 반복하는 자동화에는 다소 어색합니다. 답이 긴 문장으로 나오니 느리고 비싸며, 프로그램이 그 답을 받아 다음 동작으로 넘기기도 번거롭습니다.

RLCD와 결정 모델 Jev는 무엇이 다른가

말 대신 확률로 답한다

Jev는 문장을 쓰지 않습니다. 상황을 주고 "이게 맞아, 아니야?" 또는 "이 중 어느 쪽이야?"처럼 물으면, 맞는지를 확률로 답합니다. TypeSafe는 이런 모델을 시스템 원(System One) 모델이라고 부릅니다.

훈련법 이름은 RLCD입니다. TypeSafe와 여러 보도는 이를 Reinforcement Learning for Calibrated Decisions(보정된 결정을 위한 강화학습)로 풉니다. 사람이 좋아하는 답 대신, 결정 문제에서 확률을 정직하게 매기는 쪽으로 훈련한다는 뜻입니다. 보정(calibration)은 모델이 "90%"라고 답한 것들이 실제로 열 번 중 아홉 번 맞는지를 보는 개념입니다.

제작사가 발표한 속도와 비용

TypeSafe는 2026년 9월 15일 Jev를 공개하며 기존 AI보다 훨씬 빠르고 싸다고 발표했습니다. 흔히 "최대 200배 빠르고 400배 싸다"로 줄여 전해지는데, 발표 수치는 TypeSafe 자체 업무 흐름 테스트에서 Claude Sonnet 5보다 최대 약 193배 빠르고, Claude Opus 5보다 약 444배 저렴했다는 것입니다. TypeSafe 스스로도 이것을 가장 유리한 경우의 값으로 소개하며, 독립 기관이 검증한 수치는 아닙니다.

가격은 입력 100만 토큰당 0.042달러이고 출력은 무료입니다. 문장을 만들지 않고 선택지별 숫자만 돌려주기 때문입니다.

결정 모델이 들어갈 자리

말은 못 해도 판단은 빠릅니다. 문의 메일 분류, 게시물 검수, 자동화 분기처럼 빠르고 일정한 판단이 필요한 자리에 넣으면 사람 없이 돌아가는 자동화를 짜기 쉬워집니다. 긴 글, 코드, 요약은 여전히 클로드 코드나 코덱스 같은 언어 모델이 맡고, 반복되는 판단만 결정 모델에 넘기는 식으로 나눠 씁니다.

Jev가 공개된 뒤 한 달도 안 돼 OpenAI(Decisions API), 마이크로소프트(Decision-1), Cloudflare(Clef)도 같은 부류의 모델을 잇달아 내놨습니다. 결정 모델이라는 새 범주가 빠르게 자리를 잡는 중입니다.