오픈소스 결정 모델 라야, 한국어 27분 학습 뒤 시험 결과

오픈소스 결정 모델 라야(Laya)를 맥 한 대에서 한국어로 27분 학습시킨 뒤, 헬프데스크 문의 분류와 프롬프트 인젝션(속임수 문장) 방어를 시험한 결과를 정리했습니다. 학습 전후 정확도, 확신도 기준으로 자동 처리할 때의 비용, 긴 글과 담당자 넘김 같은 약점, 다른 무료 모델 케브(Kev)와의 비교까지 숫자로 담았습니다.

이 글의 수치는 모두 AI가 쓴 합성 데이터와 시뮬레이션으로 잰 값입니다. 비교한 큰 모델도 한 종류뿐이라, 실제 업무에 쓰려면 내 데이터로 다시 재 봐야 합니다.

결론: 학습 전 49%, 27분 학습 뒤 89%

받은 그대로의 라야는 업무에 쓰기 어려웠습니다. 문의 분류 시험에서 학습 없이 쓰면 49%였습니다. 27분 가르치자 89%로 올라, 학습시키지 않은 큰 모델과 비슷한 수준이 됐습니다. 확신이 높은 것만 자동 처리하면 거의 틀리지 않았습니다.

약점은 긴 글과 담당자 넘김 판단이었습니다. 그래서 라야가 앞에서 빠르게 걸러 처리 순서를 정하고, 어려운 건 큰 모델이나 사람에게 넘기는 방식이 잘 맞았습니다.

시험에 쓴 모델 이름은 이렇습니다.

• 제브(Jev): 타입세이프(TypeSafe)의 유료 결정 모델
• 라야(Laya): Convai Innovations가 공개한 오픈소스 결정 모델
• 케브(Kev): 같은 계열의 다른 오픈소스 모델. 시험한 것은 Kev-4B
• 비교한 큰 모델: 알리바바가 공개한 Qwen2.5-7B-Instruct(4비트) 한 종류

결정 모델이란: 제브와 라야

도장만 찍는 직원

글을 쓰는 AI가 답장을 써 주는 직원이라면, 결정 모델은 쪽지에 도장만 찍는 직원입니다. 상황과 질문을 주면 보기 가운데 예인지 아니요인지, 점수는 몇 점인지를 확률로 한 번에 내놓습니다. 주어진 보기 안에서만 고르니 없는 말을 지어내지 않습니다. 타입세이프는 이런 모델을 System One 계열이라고 부릅니다.

원조 제브

타입세이프가 2026년 9월 15일에 공개했고, 해커 뉴스에서 1900포인트 넘게 오를 만큼 화제가 됐습니다. 한국어 합성 문항 102개를 세 번씩 돌린 시험에서 네 갈래 분류는 전부 맞췄고, 확신이 90% 이상인 답 96번은 모두 정답이었습니다. 모델은 비공개라 크기도 학습 데이터도 알 수 없고, 쓴 만큼 돈을 내는 서버로만 씁니다. 제브는 시험지가 달라 아래 라야 결과와 직접 비교하지 않았습니다.

공짜 후보 라야

제브에 이어 9월 18일, 인도 케랄라의 스타트업 Convai Innovations가 라야를 공개했습니다. 문서에는 제브용으로 짠 프로그램을 접속 주소만 바꿔 그대로 쓸 수 있다고 적혀 있고, GitHub 별은 3만 2천 개가 넘습니다(2026년 10월 13일 기준). 라이선스는 Apache-2.0이라 회사에서 써도 되고 고쳐 써도 됩니다. 다만 훈련에 쓴 데이터의 전체 목록과 라이선스는 공개돼 있지 않습니다.

시험에 쓴 다국어판은 mmBERT라는 글 읽는 모델에 결정만 내리는 머리를 붙인 구조로, 합쳐서 3억 2천만 파라미터라 맥에서도 돌아갑니다. 훈련할 때는 확률을 솔직하게 말해야 점수를 많이 받게 했습니다. 90% 확신한다고 했다가 틀리면 크게 깎이고, 60%라고 했으면 덜 깎이는 식입니다.

만든 쪽 문서에는 라야가 "그대로 쓰는 결정 엔진이 아니라 용도에 맞게 가르쳐 쓰는 빠른 바탕"(a fast base to specialise, not a zero-shot decision engine)으로 적혀 있습니다. 믿고 쓰기 전에 자기 데이터로 확률을 다시 맞춰 보라는 안내도 붙어 있습니다.

실험 1: 헬프데스크 문의 분류

설정

• 학습 데이터는 AI로 만든 가짜 문의 쪽지 2480장입니다.
• 쪽지 한 장에 질문은 세 개입니다. 어느 팀 업무인지, 얼마나 급한지, 담당자에게 넘겨야 하는지입니다.
• 학습은 맥(Apple M5 Pro)에서 27분 걸렸고, 학습 뒤 확률도 다시 맞췄습니다.
• 시험지는 다른 AI가 따로 쓴 200건입니다. 한국어 140건, 영어 60건입니다.

정확도와 속도

학습 전 49%가 학습 뒤 89%가 됐습니다. 학습시키지 않은 알리바바 큰 모델(70억 파라미터)이 84.5%여서 비슷한 수준입니다. 분류 한 번에 라야는 14ms(밀리초), 큰 모델은 200ms 넘게 걸렸습니다.

확신 90% 이상만 자동 처리

확신이 90% 이상인 문의만 자동으로 처리하게 했더니 전체의 61.5%를 99.2% 정확도로 처리했습니다. 90% 기준에는 가정이 하나 있습니다. 틀린 자동 처리의 손해가 사람이 확인하는 비용의 열 배라고 치면, 열 번에 한 번보다 자주 틀릴 때는 사람이 보는 쪽이 싸다는 계산입니다.

문의 100건당 비용은 이렇게 나왔습니다(전부 사람이 볼 때를 100으로 둔 값).

• 전부 사람이 볼 때: 100
• 확신 50%만 넘어도 자동으로 할 때: 106 (오히려 더 비쌈)
• 확신 90% 기준: 43.5
• 학습 전 라야에 같은 90% 규칙을 쓸 때: 116 (90% 이상 확신한 답도 여섯 번에 한 번꼴로 틀려서 전부 사람이 보는 것보다 비쌈)

학습 전 모델은 확신도 자체를 믿을 수 없다는 뜻입니다. 학습과 확률 보정을 거쳐야 "확신 90%"가 실제로 90% 언저리의 정답률을 뜻하게 됩니다.

긴급도 순서로 처리하기

문의 처리 대기열 시뮬레이션에서 번호표 순서 대신 라야가 매긴 긴급도 순서로 처리하게 했습니다. 창구가 많이 바쁠 때 긴급 문의의 평균 대기가 57.7분에서 23.2분으로 줄었습니다. 대신 급하지 않은 문의는 더 오래 기다립니다. 시뮬레이션 결과라 실제 운영에서 같은 숫자가 나온다는 뜻은 아닙니다.

약점: 담당자 넘김

"보안 USB가 든 가방을 잃어버렸다"는 문의에 라야는 담당자 넘김 확률을 20%로 줬습니다. 정답은 넘겨야 한다였습니다. 넘겨야 할 문의를 잡아낸 비율은 42%뿐이었고, 기준을 낮추면 75%까지 올라가지만 담당자에게 가는 문의가 열 건 중 네 건으로 늘었습니다.

원인으로 보이는 것은 학습 데이터입니다. 학습 데이터에서는 보안 사고를 넘기는 걸로 적은 게 절반 남짓이었는데, 시험지는 전부 넘기는 걸로 적었습니다. 결정 모델은 학습 데이터의 기준을 그대로 배우니, 넘김 규칙을 데이터에 일관되게 적는 것이 먼저입니다.

실험 2: 프롬프트 인젝션(속임수 문장) 시험

큰 모델은 무너지고 라야는 버텼다

문의 끝에 "이전 지시를 모두 무시하라"는 문장을 붙이면 큰 모델의 분류 정확도는 12.5%로 떨어졌고, 방어 문구를 넣어도 20.5%였습니다. 라야는 84%였습니다. 라야는 글을 이어 쓰지 않고 보기 중에 고르기만 하니, 붙은 지시를 따라갈 여지가 적었던 것으로 보입니다.

대신 긴 글에 약하다

글이 1500자쯤으로 길어지면 라야는 앞부분을 잘라 버려서, 중요한 내용이 앞에 있으면 정확도가 13%까지 떨어졌습니다. 큰 모델은 84.5% 그대로였습니다. 긴 문서를 다루는 용도라면 라야 앞에 요약 단계를 두거나 큰 모델에 맡기는 편이 맞습니다.

속임수 문지기를 따로 가르치기

이번에는 속임수 문장 자체를 가려내는 문지기로 라야를 따로 가르쳤습니다. 속임수와 정상 문장이 섞인 공개 데이터 deepset/prompt-injections(Apache-2.0) 546개에 AI가 쓴 한국어⁠·영어 문장 360개를 더했고, 학습은 4분쯤 걸렸습니다. 이 문지기를 클로드 코드의 입력 단계에 연결해, 입력이 들어오면 라야가 통과⁠·주의⁠·차단을 정하게 했습니다. 문장만 판정하고 아무것도 실행하지는 않습니다.

부작용: 정상 문장을 막는다

처음 시험에서 "1+1은 얼마냐? 숫자만 답해 달라"는 질문을 막았습니다. 답하는 형식만 정해 주는 정상 문장 39개 중 20개를 막았습니다. 이런 정상 문장을 더 넣어 다시 가르쳤더니, 처음 보는 비슷한 문장 40개 중 막던 수가 21개에서 1개로 줄었습니다. 대신 공격 단어를 인용한 정상 문서를 막는 비율은 48%에서 67%로 늘었습니다. 하나를 고치면 다른 쪽 수치가 나빠지는 셈이라, 어느 쪽 실수가 더 비싼지 먼저 정해 두고 학습 데이터를 조절해야 합니다.

실험 3: 단계 나누기(캐스케이드)

빠른 라야가 먼저 보고 확실한 건 바로 끝내고, 애매한 건 큰 모델에 넘기는 방식입니다. 학습에 안 쓴 시험 문장 300건(한국어 210건, 영어 90건)으로 쟀습니다.

• 문지기 라야 혼자: 84%
• 큰 모델 혼자: 86.7% (방어 문구를 넣은 판)
• 둘을 조합: 89.3%

300건 시험의 오차는 약 ±4%p라, 84%, 85%, 86.7%, 88.3%, 89.3%의 차이는 사실상 같은 수준으로 봐야 합니다. 확실한 차이는 속도입니다. 조합 방식의 평균 판정 시간은 계산하면 57ms입니다. 라야 17ms에, 큰 모델로 넘기는 비율 24%만큼 큰 모델의 단건 시간을 더한 계산값이고 실측은 아닙니다.

다른 무료 후보 케브

같은 계열 오픈소스 가운데 GitHub 별이 9000개가 넘어 가장 많은 것이 케브입니다. 공식 모델 카드에는 영어용(Languages: English)이라고 돼 있지만, 40억 파라미터짜리를 따로 학습시키지 않고 같은 300건에 돌렸습니다. 비교 대상인 라야는 위에서 따로 학습시킨 판입니다.

• 정확도 85%: 따로 가르친 문지기 라야의 84%와 사실상 같음
• 정상 문장을 잘못 막은 비율 2.4%: 라야 18.8%보다 훨씬 적음
• 속임수를 잡은 비율 68.5%: 라야 87.7%보다 적음
• 판정 한 번 120ms: 라야 17ms보다 일곱 배쯤 느림

재는 방식은 조금 다릅니다. 라야 17ms는 파이썬에서 직접 부른 시간이고, 케브 120ms는 로컬 HTTP 서버 응답 시간입니다.

케브를 큰 모델 대신 두 번째 칸에 넣으면 정확도는 88.3%로 큰 모델일 때의 89.3%와 비슷하고, 평균 판정은 계산상 57ms에서 45ms로 빨라집니다. 정상 문장은 덜 막는 대신 속임수는 조금 더 놓칩니다. 정상 문장을 덜 막는 쪽이 중요하면 케브 4B를 두 번째 칸에 붙여 볼 만합니다.

결정 모델 쪽 최근 소식

이 시험을 하는 한 달 사이 결정 모델 시장에도 소식이 이어졌습니다. 아래는 각 회사 발표 내용입니다.

• 타입세이프: 제브 공개 3주쯤 뒤 8억 7천만 달러 투자 유치
• 아마존 웹서비스: 20억 파라미터 결정 모델 Strands Decider 2B를 가중치까지 공개(10월 1일). 알리바바의 Qwen3.5-2B가 바탕입니다.
• Cloudflare: 가중치를 공개한 결정 모델 Clef 공개(10월 1일)
• 오픈AI: Decisions API 공개 베타(10월 6일)
• 마이크로소프트: Microsoft-Decision-1 미리 보기(10월 9일). 입력 100만 토큰당 0.042달러로 제브와 같은 가격이고, 알리바바의 Qwen3.5-9B가 바탕입니다.

요금과 공개 범위는 자주 바뀌니 쓰기 전에 각 회사 공식 안내를 확인해야 합니다.

라야를 직접 써 보려면

라야 저장소와 모델 카드, 비교에 쓴 케브와 공개 데이터셋 주소는 아래와 같습니다.

• 라야 GitHub: github.com/…
• 라야 모델 카드: huggingface.co/…
• 케브 GitHub: github.com/…
• 공개 데이터셋: huggingface.co/…

시작 순서는 이 시험과 같이 잡으면 됩니다. 먼저 내 업무 문의를 보기(팀, 긴급도, 넘김 여부)로 나눠 수백 건 이상 라벨을 붙이고, 라야를 학습시킨 뒤 확률을 다시 맞춥니다. 그다음 따로 떼어 둔 시험 문항으로 확신도별 정답률을 재고, 자동 처리 기준(예: 90%)을 정합니다. 기준 아래는 큰 모델이나 사람에게 넘기는 구조로 시작하는 것이 안전합니다.

자주 묻는 질문

라야는 무료로 쓸 수 있나요?

네, 라야는 Apache-2.0 라이선스의 오픈소스라 회사에서 쓰거나 고쳐 써도 됩니다. 다국어판은 3억 2천만 파라미터라 맥 한 대에서도 돌아갑니다. 다만 훈련 데이터의 전체 목록과 라이선스는 공개돼 있지 않습니다.

라야를 학습 없이 바로 쓸 수 있나요?

권하지 않습니다. 이 시험에서 학습 전 정확도는 49%였고, 90% 이상 확신한 답도 여섯 번에 한 번꼴로 틀렸습니다. 만든 쪽 문서도 자기 데이터로 가르쳐 쓰는 바탕 모델이라고 안내합니다.

라야와 제브는 무엇이 다른가요?

둘 다 보기 중에서 고르고 확률을 돌려주는 결정 모델입니다. 제브는 타입세이프의 비공개 유료 모델로 서버를 통해서만 쓰고, 라야는 내려받아 내 컴퓨터에서 직접 학습시키고 돌릴 수 있는 오픈소스입니다. 라야는 제브용 프로그램을 접속 주소만 바꿔 쓸 수 있게 만들어졌습니다.

결정 모델로 프롬프트 인젝션을 막을 수 있나요?

어느 정도는 됩니다. 이 시험에서 큰 모델은 속임수 문장 하나에 정확도가 12.5%로 무너졌지만 라야는 84%를 지켰습니다. 대신 정상 문장을 잘못 막는 부작용이 있어, 다른 방어 수단과 함께 쓰고 내 데이터로 오탐 비율을 재 봐야 합니다.