쓸모 쓸모연구소 · 실전 노트
제 825 호이번 주 새 글 49 편2026 · 11 · 14
바이브코딩⁠·앱 만들기
Claude · Codex

바이브코딩 회귀 버그 막는 법, 형식 검증 스킬 설치와 지침 넣기

바이브코딩으로 만든 프로그램이 커지면 잘되던 기능이 다시 깨지는 회귀 버그가 생깁니다. 이 글은 바이브코딩 회귀 버그가 왜 생기는지, 테스트 코드만으로 부족한 경우에 쓰는 형식 검증(수학적 검증) 스킬이 무엇인지, 클로드 코드와 코덱스에 스킬을 설치하고 복잡한 작업에서만 돌아가게 지침을 넣는 방법을 순서대로 설명합니다.

바이브코딩 회귀 버그 막는 법, 형식 검증 스킬 설치와 지침 넣기 삽화
삽화 · 쓸모연구소

회귀 버그가 생기는 이유

바이브코딩으로 프로그램은 금방 만들어지지만, 한두 달 지나 덩치가 커지면 회귀가 생깁니다. 회귀는 고친 곳 때문에 이전에 잘되던 기능이 다시 깨지는 현상입니다. 페이지끼리 관련이 적으면 문제도 적지만, 기능들이 서로 얽혀 있고 여러 작업이 동시에 돌면(동시성) 원인을 찾기 어려운 회귀가 됩니다.

AI는 좁은 영역만 깊게 본다

AI는 망원경과 비슷합니다. 먼 곳의 글자는 선명하게 읽지만 주변 풍경은 못 봅니다. 코드가 많아질수록 AI는 전체가 아니라 눈앞의 일부만 보고 고치고, 그러다 이전에 잘되던 부분을 건드려 버그를 만듭니다.

그래서 테스트 코드가 쌓인다

바이브코딩을 많이 해 본 사람은 테스트 코드에 집중합니다. 직접 요청하지 않아도 AI가 스스로 테스트를 쓰는 경우가 많고, 몇 달이 지나면 테스트 코드가 본 코드보다 많아지기도 합니다. 테스트는 AI가 실수로 기존 동작을 건드릴 때 잡아내는 안전망입니다.

테스트 코드의 한계

테스트는 정해 둔 상황에서만 확인합니다. 가능한 상황이 수천, 수만 개로 늘면 모든 경우를 테스트로 만들 수 없습니다. 테스트가 쌓일수록 개발 속도도 느려지고, 테스트가 못 본 구석에서 과거의 문제가 다시 나타나기도 합니다.

형식 검증이란

형식 검증은 상황을 하나하나 시험하는 대신, 정해 둔 규칙이 모든 경우에 지켜진다는 것을 수학적으로 증명하거나 가능한 모든 상태를 기계로 따져 보는 방식입니다. 규칙이 깨지는 경우가 하나라도 있으면 그 경우(반례)를 찾아 보여 줍니다.

앤트로픽과 Theorem의 연구

앤트로픽은 2026년 10월 22일 형식 검증 스타트업 Theorem과 함께 한 연구를 공개했습니다. 요지는 다음과 같습니다.

  • 오픈소스 라이브러리 123개의 테스트 진입점 239개가 64MB 미만의 어떤 입력에서도 충돌하지 않는다는 것을, 클로드가 쓴 약 1억 8천만 줄의 증명(Rocq 증명 언어)으로 보였습니다.
  • 증명을 시도하는 과정에서 수백 개의 버그가 발견됐고, 일부는 자동 테스트를 수조 번 돌려도 찾지 못했던 오래된 버그였다고 보도됐습니다.
  • 증명은 소스 코드가 아니라 컴파일된 RISC-V 실행 파일을 대상으로 합니다. 어떤 언어로 짰든 결국 기계어로 바뀌어 실행되므로, 언어에 덜 의존하고 컴파일된 결과까지 검증한다는 점이 특징입니다.
  • 앤트로픽은 "형식 검증됐다"가 "버그가 없다"는 뜻이 아니라고 분명히 적었습니다. 증명은 단일 스레드의 정적 RISC-V 빌드를 전제로 하므로, 대부분의 사용자가 쓰는 x86이나 ARM 빌드를 보장하지 않습니다.
  • 증명 일부는 공개됐습니다. Theorem은 같은 방식을 다른 오픈소스 프로젝트에도 돌려 주는 방안을 내놓았습니다. 신청 조건과 방법은 Theorem의 공식 안내를 확인해야 합니다.

이 연구용 도구를 일반 개발자가 지금 쓸 수 있는 것은 아닙니다. 개인이 지금 쓸 수 있는 것은 아래의 무료 스킬입니다.

지금 쓸 수 있는 형식 검증 스킬

클로드 코드와 코덱스용으로 공개된 스킬이 두 가지 있습니다. 둘 다 사고가 날 수 있는 상황을 따져 보는 데 맞춰져 있습니다.

  • proof-skills: 클로드 코드용 스킬입니다. 위험한 코드를 TLA+ 또는 Lean 4로 모델링하고, 반례를 찾아 실제 코드에서 실패하는 테스트로 재현한 뒤 고치고 다시 검증합니다. 저장소는 opum-ai/proof-skills이고 MIT 라이선스입니다.
  • agent-formal-verify: 클로드 코드와 코덱스 양쪽에서 쓰는 스킬입니다. TLA+ 모델 검사(TLC)로 동시성 문제를, Lean 4로 수식과 상태 전환 증명을, Kani로 Rust 함수 검사를 맡습니다. 저장소는 michael-denyer/agent-formal-verify이고 GPL-3.0 라이선스입니다.

콘서트 티켓 예시

인기 콘서트의 티켓이 딱 10장 남았는데 수십만 명이 동시에 예매 버튼을 누른다고 해 봅니다.

  • 그중 몇 명은 정확히 같은 순간에 눌렀습니다.
  • 두 명은 성공하는 듯했지만 마지막에 카드 번호를 넣지 않았습니다.
  • 어떤 사람은 인터넷이 끊겼고, 어떤 사람은 연결은 됐는데 너무 느립니다.
  • 취소됐던 결제가 뒤늦게 성공으로 바뀌는 경우도 있습니다.

순서가 바뀔 수 있는 일이 단 10개만 돼도 가능한 순서는 3,628,800가지입니다. 10개를 줄 세우는 가짓수(10의 팩토리얼)와 같습니다. 수십만 명이 동시에 접속하고 취소와 재시도까지 반복하면 일일이 테스트하기는 사실상 불가능합니다. 이런 순서 문제를 가능한 모든 순서로 따지는 것이 형식 검증의 쓸모입니다.

효과와 비용

proof-skills 저장소는 버그가 심어진 예제 다섯 개로 시험한 결과, 스킬을 쓴 쪽의 평균 통과율이 98%, 쓰지 않은 쪽이 54%였다고 적었습니다. 대신 시간과 토큰이 약 2배 듭니다. 개발사가 자체 예제로 잰 수치라 내 프로젝트에서 같은 결과가 나온다는 보장은 아닙니다.

개발자 중에도 이런 도구가 있다는 사실을 모르는 경우가 많고, 시간과 토큰이 배로 드는 만큼 항상 쓰는 것은 과소비입니다. 클로드 코드와 코덱스가 기본으로 깔아 주지 않는 이유도 같습니다.

언제 쓰고 언제 안 쓰나

  • 쓰지 않아도 되는 경우: 버튼, 텍스트 상자, 글자 색을 바꾸는 수정에는 증명이 필요 없습니다. 그 밖의 일반적인 수정도 기존 테스트로 충분합니다.
  • 쓰면 좋은 경우: 여러 기능이 복잡하게 얽혀 있고 수많은 작업이 동시에 실행되는 부분입니다. 작업 취소와 재시작, 파일 전달, 도중에 추가 지시를 넣는 기능이 한꺼번에 섞인 프로그램이 예입니다. 기존 테스트가 놓치기 쉬운 순서 문제를 발견하고 장기적으로 회귀를 줄입니다.

설치하기

스킬 이름과 명령은 2026년 10월 기준 저장소 README를 따랐습니다. 저장소는 바뀔 수 있으니 설치 전에 README를 한 번 읽습니다.

설치 전 확인

  • 쓰는 곳: 클로드 코드(터미널 또는 앱) 또는 코덱스
  • 출처: 둘 다 개인⁠·소규모 팀이 공개한 커뮤니티 플러그인입니다. 플러그인은 훅이나 MCP 서버를 실행할 수 있으니 설치 전 상세 화면에서 추가될 항목을 읽습니다.
  • agent-formal-verify는 첫 설정에서 Java, Python, TLC, elan(Lean 도구), Rust, Kani 같은 도구를 컴퓨터에 설치합니다. 회사 컴퓨터라면 허용되는지 먼저 확인합니다.
  • 검증 시간과 토큰이 늘어납니다. 구독 사용량 한도를 쓰는 환경이면 한도가 더 빨리 찹니다.

클로드 코드에서 proof-skills 설치

  1. 클로드 코드 세션을 엽니다. 터미널에서 claude를 실행하면 됩니다.
  2. 마켓플레이스를 먼저 추가합니다.
명령어
/plugin marketplace add opum-ai/opum-marketplace
  1. 플러그인을 설치합니다. 상세 화면에서 추가될 항목을 읽고 범위를 고릅니다.
명령어
/plugin install proof-skills@opum
  • 확인: 설치가 끝나면 "Plugin is now active." 또는 /reload-plugins 안내가 나옵니다. 안내가 나오면 /reload-plugins를 입력합니다.
  1. /를 입력해 /proof-skills:formal-verify가 목록에 보이는지 확인합니다. /plugin의 Installed 탭에서도 확인됩니다.

클로드 코드에서 agent-formal-verify 설치

  1. 클로드 코드 세션에서 마켓플레이스를 추가합니다.
명령어
/plugin marketplace add michael-denyer/agent-formal-verify
  1. 플러그인을 설치합니다.
명령어
/plugin install agent-formal-verify@agent-formal-verify
  1. 필요한 도구를 준비하는 설정 스킬을 한 번 실행합니다.
명령어
/agent-formal-verify:setup
  • 확인: 이후 /agent-formal-verify:formal-verify가 목록에 보입니다.

코덱스에서 agent-formal-verify 설치

터미널에서 아래 두 줄을 차례로 실행합니다.

명령어
codex plugin marketplace add michael-denyer/agent-formal-verify
명령어
codex plugin add agent-formal-verify@agent-formal-verify

설치 뒤 코덱스에서 setup 스킬을 한 번 실행해 필요한 도구를 준비합니다. 검증 스킬은 지침에서 $formal-verify로 부릅니다.

지우기와 막힐 때

  • 지우기: 클로드 코드는 /plugin의 Installed 탭에서 상세 화면의 Uninstall 또는 터미널 claude plugin uninstall <플러그인>@<마켓플레이스>를 씁니다. 코덱스는 코덱스의 플러그인 관리 명령을 확인합니다.
  • 스킬이 안 보인다: /reload-plugins를 실행하고, /plugin의 Installed 탭에서 설치됐는지 봅니다.
  • 설정 스킬이 도중에 실패한다: 필요한 도구(Java, Python 등)가 이미 깔려 있는지, 권한 문제가 없는지 README의 안내를 따릅니다.

지침 파일에 사용 기준 넣기

스킬을 깔아 두기만 하면 AI가 언제 쓸지 모릅니다. 그렇다고 매번 쓰게 하면 작업이 느려집니다. 그래서 "복잡하거나 동시성 문제가 있을 때만 쓴다"는 기준을 지침 파일에 넣어 둡니다. 클로드 코드는 CLAUDE.md, 코덱스는 AGENTS.md입니다. 스킬은 반드시 먼저 설치합니다.

  1. 쓰는 도구에 맞는 파일(CLAUDE.md 또는 AGENTS.md)을 엽니다.
    • 확인: 파일이 열립니다. 없으면 프로젝트 맨 위 폴더에 새로 만듭니다.
  2. 아래에서 쓰는 도구에 맞는 지침 전체를 복사합니다.
    • 확인: 복사한 글이 "## 형식 검증 자동 적용 정책"으로 시작합니다.
  3. 파일 맨 아래에 붙여 넣고 저장합니다.
    • 확인: 이렇게 넣어 두면 평소 UI, 문서, 단순 수정에서는 스킬이 돌지 않고, 동시성과 상태 충돌 같은 복잡한 작업에서만 쓰입니다.

지침이 정한 기준은 이렇습니다. 변경이 UI, 문서, 단순 기능, 스타일 수정이면 기존 테스트만 씁니다. 동시성, 비동기, 취소, 재시작, 지연 응답, 중복 실행으로 상태 충돌이 날 수 있거나, 핵심 상태 관리, 프로토콜, API 계약을 바꾸거나, 반복되지만 기존 테스트로 재현하기 어려운 핵심 오류가 있으면 스킬을 씁니다. 검증이 실패, 미실행, 시간 초과, 미완성이면 성공으로 보지 않고, 통과했다고 프로그램 전체가 안전하다고 단정하지 않습니다.

클로드 코드용 지침 (CLAUDE.md)

프롬프트
## 형식 검증 자동 적용 정책 

## 기본 원칙
일반 개발에서는 기존 단위·통합·회귀 테스트를 우선한다. 형식 검증 스킬 `/proof-skills:formal-verify`는 기본 실행하지 않는다. 기존 테스트만으로 핵심 안전성을 충분히 확인하기 어렵고 실제 오류 위험이 높은 경우에만 선택적으로 사용한다.

## 실행 조건
다음 중 하나에 해당하며, 검증의 실익이 충분한 경우 사용한다.

- 동시성, 비동기 작업, 취소, 재시작, 지연 응답, 중복 실행 등의 사건 순서로 상태 충돌이 발생할 수 있는 경우
- 반복되거나 재현하기 어려운 핵심 오류를 기존 테스트만으로 확인하기 어려운 경우
- 핵심 상태 관리, 프로토콜, API 계약을 변경하면서 반드시 유지해야 할 규칙을 검증해야 하는 경우

## 실행 제외
- UI, 문서, 단순 기능 및 스타일 수정
- 기존 테스트만으로 충분히 검증 가능한 변경
- 검증 비용 대비 실익이 낮은 작업
- 관련 모듈을 수정했지만 핵심 안전성에는 영향이 없는 작업

## 검증 방법
1. 기존 검증 모델과 증명을 우선 재사용하고 영향받는 범위만 검사한다.
2. 사건 순서와 상태 전환 문제에는 TLA+/TLC를, 수학적 성질이나 불변 조건 증명이 필요한 경우에는 Lean 4를 선택한다.
3. 검증 규칙은 기존 코드만이 아니라 요구사항, 계약, 과거 오류를 기준으로 정의한다.
4. 모델의 상태·동작과 실제 코드의 대응 관계를 확인하고 사용한 가정과 검사 범위를 기록한다.
5. 신규·변경된 핵심 모델은 가능한 범위에서 의도적으로 잘못된 조건을 넣어 오류 검출 능력을 확인한다.
6. 발견한 반례는 실제 코드에서 재현하고, 수정 후 기존 테스트와 형식 검증을 다시 실행한다.

## 안전 규칙
- 검사 실패, 미실행, 시간초과, 미완성 증명은 성공으로 간주하지 않는다.
- 검증 통과를 위해 기존 요구사항이나 불변 조건을 약화하지 않는다.
- 검증을 통과했다는 이유만으로 방어 코드를 임의로 제거하지 않는다.
- 제한된 모델의 검사 통과를 전체 프로그램의 무결성 증명으로 해석하지 않는다.
- 이미 검증된 핵심 규칙에 영향을 주는 변경은 관련 검증을 다시 실행한다.

## 효율 및 보고
- 평소에는 기존 테스트를 사용하고 불필요한 모델 생성과 반복 검증을 피한다.
- 실행 시 검증 범위, 결과, 가정, 실제 코드 대응, 남은 위험을 간결하게 보고한다.
- 실행을 생략한 경우 핵심 판단 근거만 간단히 남긴다.
- 도구를 실행할 수 없으면 성공한 것처럼 보고하지 않는다.
- 분석만 요청받은 경우 사용자 승인 없이 기존 코드를 수정하지 않는다.

목표: 일반 개발의 속도와 토큰 효율을 유지하면서 복잡한 핵심 오류에만 검증 비용을 집중한다.

코덱스용 지침 (AGENTS.md)

프롬프트
## 형식 검증 자동 적용 정책 

## 기본 원칙
일반 개발에서는 기존 단위·통합·회귀 테스트를 우선한다. `$formal-verify` 스킬은 기본 실행하지 않으며, 핵심 안전성을 기존 테스트로 충분히 확인하기 어렵고 실제 오류 위험이 높은 경우에만 선택적으로 사용한다.

## 실행 조건
다음 중 하나에 해당하며, 검증의 실익이 충분한 경우 사용한다.

- 동시성, 비동기 작업, 취소, 재시작, 지연 응답, 중복 실행 등으로 상태 충돌이 발생할 수 있는 경우
- 반복되거나 재현하기 어려운 핵심 오류를 기존 테스트로 확인하기 어려운 경우
- 핵심 상태 관리, 프로토콜, API 계약을 변경하면서 반드시 보존할 규칙을 검증해야 하는 경우

## 실행 제외
- UI, 문서, 단순 기능 및 스타일 변경
- 기존 테스트만으로 충분히 검증 가능한 수정
- 검증 비용 대비 실익이 낮은 작업
- 관련 모듈을 수정했지만 핵심 안전성에 영향이 없는 작업

## 검증 방법
1. 기존 모델과 증명을 우선 재사용하고 영향받는 범위만 검증한다.
2. 사건 순서와 상태 충돌은 TLA+/TLC, 수학적 성질과 불변 조건의 증명은 Lean 4를 우선 검토한다. 해당 스킬에서 지원하는 다른 검증 도구가 더 적합하면 사용할 수 있다.
3. 검증 규칙은 요구사항, API 계약, 과거 오류 및 반드시 보존해야 할 동작을 기준으로 정의한다.
4. 검증 모델과 실제 코드의 상태·동작 대응 관계를 확인하고 가정과 검사 범위를 기록한다.
5. 신규·변경된 핵심 모델은 가능한 범위에서 의도적 오류를 주입하여 실제로 오류를 발견하는지 확인한다.
6. 발견한 반례는 실제 코드에서 재현하고, 수정 후 기존 테스트와 형식 검증을 재실행한다.

## 안전 규칙
- 검사 실패, 미실행, 시간초과, 미완성 증명, 코드 대응 미확인은 성공으로 처리하지 않는다.
- 검증을 통과시키기 위해 요구사항이나 불변 조건을 약화하지 않는다.
- 증명 결과만 믿고 기존 방어 코드를 임의로 제거하지 않는다.
- 제한된 모델의 검증 성공을 프로그램 전체의 안전성 보장으로 해석하지 않는다.
- 기존 증명으로 보호하는 핵심 규칙에 영향을 주는 변경은 관련 검증을 다시 실행한다.

## 효율 및 보고
- 영향도, 오류 위험, 기존 테스트의 충분성을 기준으로 스킬 실행 여부를 판단한다.
- 불필요한 모델 생성, 중복 검사, 토큰 소비를 최소화한다.
- 실행 시 결과, 검증 범위, 가정, 코드 대응, 남은 위험을 간결하게 보고한다.
- 생략 시에는 핵심 판단 근거만 기록한다.
- 스킬이나 검증 도구가 설치되지 않았거나 실행 불가능하면 이를 명시하고 검증 성공으로 보고하지 않는다.
- 분석 요청에서는 사용자 승인 없이 기존 코드를 수정하지 않는다.

목표: 일반 개발 속도를 유지하면서 기존 테스트가 놓치기 쉬운 복잡한 핵심 오류에만 형식 검증을 선택적으로 적용한다.

되돌리려면 지침 파일에서 붙여 넣은 "형식 검증 자동 적용 정책" 블록을 지웁니다.

형식 검증의 한계

검증 도구 하나로 모든 회귀가 사라지지는 않습니다.

  • 검증은 모델로 만든 범위만 확인합니다. 제한된 모델의 검사 통과를 프로그램 전체가 무결하다는 증명으로 받아들여서는 안 됩니다. 지침에도 같은 경고가 들어 있습니다.
  • 대규모 바이브코딩에서는 컨텍스트 엔지니어링(AI가 기존 코드와 규칙을 이해하도록 필요한 정보를 건네는 일)과 하네스 설계(수정, 테스트, 검증 과정을 체계적으로 관리하는 틀)도 중요합니다.
  • 같은 하네스라도 모델에 따라 효과가 다릅니다. 어떤 모델에서 잘 맞던 방식이 다른 모델에서는 성능을 떨어뜨리기도 합니다.

프로그램을 빠르게 만드는 일은 이제 어렵지 않습니다. 어려운 것은 이미 잘되던 기능을 망가뜨리지 않으면서 계속 발전시키는 일입니다.

자주 묻는 질문

회귀 버그는 테스트 코드만으로 막을 수 없나요?

대부분의 회귀는 테스트로 막습니다. 테스트가 못 따라가는 것은 여러 작업이 동시에 돌고 순서에 따라 결과가 달라지는 경우처럼 가능한 상황이 폭발적으로 많은 부분입니다. 이런 핵심 구간에만 형식 검증을 더하는 것이 현실적입니다.

형식 검증 스킬을 쓰면 버그가 완전히 없어지나요?

아닙니다. 검증은 정해 둔 규칙과 모델 범위 안에서만 맞다는 것을 보여 줍니다. 앤트로픽의 연구 글도 "형식 검증됨"과 "버그 없음"은 다르다고 못 박았습니다. 검증 보고서의 범위, 가정, 남은 위험을 함께 읽습니다.

스킬을 쓰면 비용이 얼마나 늘어나나요?

proof-skills 저장소는 시간과 토큰이 약 2배 든다고 적었습니다. 그래서 지침으로 복잡한 작업에서만 쓰게 제한하는 것을 권합니다. 요금제별 사용 한도는 공식 안내를 확인합니다.

클로드 코드와 코덱스 중 어느 쪽 스킬을 써야 하나요?

클로드 코드는 proof-skills 또는 agent-formal-verify, 코덱스는 agent-formal-verify를 설치합니다. 지침 파일도 각각 CLAUDE.md와 AGENTS.md로 따로 넣습니다.

이 글의 본문은 아래 원본 유튜브 영상의 내용을 바탕으로 쓸모연구소가 다시 정리해 쓴 것입니다. 세부 내용과 최신 정보는 원본 영상과 공식 안내에서 확인해 주세요.

원본 영상 보러가기 ↗