쓸모 쓸모연구소 · 실전 노트
제 825 호이번 주 새 글 49 편2026 · 11 · 14
로컬 LLM·AI 서버
Ollama · JEV · Claude

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

Ollama 의사결정 모델로 1인 기업 만들기, 클로드⁠·GPT·제미나이 비교

Ollama 의사결정 모델을 내 컴퓨터에 받아, 그걸 두뇌로 쓰는 AI 1인 기업 시제품을 만드는 과정을 40단계로 풀었습니다. 문장 대신 확률을 내놓는 JEV 스타일 모델이 무엇인지부터, 같은 프롬프트로 클로드⁠·GPT·제미나이가 각각 만든 결과 비교, 연결 오류를 푸는 방법까지 담았습니다.

Ollama 의사결정 모델로 1인 기업 만들기, 클로드·GPT·제미나이 비교 삽화
삽화 · 쓸모연구소

JEV 스타일 Ollama 의사결정 모델이란

Ollama(올라마)는 인공지능 모델을 인터넷 서버가 아니라 내 컴퓨터에서 돌리게 해 주는 무료 프로그램입니다. 한 번 받아 두면 사용할 때마다 요금이 나가지 않습니다. 모델 운영비가 무료라는 뜻이지, 전기료나 장비 비용까지 없다는 뜻은 아닙니다.

이 실습은 클로드, GPT, 제미나이 세 도구에 같은 프롬프트를 넣어 각각 회사를 만들게 하고 결과를 비교하는 방식입니다. 만들어진 회사 웹사이트는 내 컴퓨터의 로컬 모델에 연결해 의사결정을 맡깁니다.

  • 핵심 개념: JEV 스타일 모델은 문장 대신 질문⁠·행동⁠·확률값을 내놓는 의사결정형 AI입니다.
  • 준비: Ollama 설치, 터미널에서 버전 확인(0.35 이상), 작은 모델 받기.
  • 실습: 회사 만들기 프롬프트를 사주팔자 서비스용으로 고친 뒤 클로드⁠·GPT·안티그래비티(제미나이)에 똑같이 넣고, 만들어진 웹사이트를 로컬 모델에 연결합니다.
  • 비교 결과: 세 도구 사이에 큰 차이는 없었고, 오류는 각각 한 번씩 났습니다.
  • 로컬 API 예시와 회사 만들기 프롬프트는 아래에 같은 구조로 만들어 넣었습니다. 그대로 복사해 쓰면 됩니다.

문장 대신 확률을 내놓는다

온라인 쇼핑몰 예시로 보면 쉽습니다. 라지를 샀는데 엑스라지가 왔다는 항의 이메일이 들어왔다고 해 보죠.

  • 일반 언어 모델은 "죄송합니다. 저희의 실수입니다. 환불 처리를 해 드리겠습니다." 같은 문장을 만듭니다.
  • JEV 스타일은 "어떤 팀이 처리를 할 것인가"라는 질문에 결제팀 30%, 배송팀 20%, 디자인팀 10%처럼 행동별 확률을 내놓습니다.

이렇게 확률 모델을 쓰면 토큰도 적게 쓰고 빠르게 처리할 수 있다는 것이 이 방식의 장점으로 꼽힙니다. 토큰은 AI가 글을 처리하는 단위입니다. 긴 문장을 만들지 않으니 처리량이 줄어든다는 뜻입니다.

질문 타입 세 가지

  • 초이스: 여러 개 중 하나를 고른다. 예: 어떤 팀이 처리할지.
  • 맞다⁠·아니다: 예: 환불을 요청하는 건지 아닌지.
  • 스코어: 점수를 매긴다. 예: 이 항의가 얼마나 급한지.

예시 출력

중복 결제 환불 요청을 넣으면 이런 식으로 나옵니다.

  • 빌링 팀 98%
  • 환불 요청 여부 0.997. 1에 가까울수록 요청한다는 뜻입니다.
  • 긴급도 스코어는 세 단계로 나뉜 확률로 나옵니다. 직원 100명에게 물었을 때 38명은 괜찮다, 42명은 빨리 해 줘야 한다, 19명은 지금 당장 환불해야 한다고 판단한 것과 같은 분포라고 생각하면 이해가 쉽습니다.

무료로 받을 수 있는 비슷한 모델

JEV 자체는 오픈소스로 받을 수 없습니다. 대신 확률적으로 행동을 고르는 무료 모델을 Ollama로 받아 비슷하게 쓸 수 있습니다.

  • 크기별 점수로는 9B 모델 76%, 4B 모델 73.3, 0.8B 모델 63.5가 거론됩니다.
  • 9B, 4B, 0.8B는 모델 크기(매개변수 수, B는 10억)입니다. 클수록 똑똑하지만 메모리를 많이 씁니다.
  • 고르는 기준: 램이 60GB 이상이면 9B, 기본적인 컴퓨터면 0.8B.

Ollama 실습 준비물

  • 컴퓨터: 맥, 리눅스, 윈도우 상관없습니다.
  • Ollama: 0.35 이상이어야 이 실습에서 쓰는 API를 쓸 수 있습니다. API는 다른 프로그램이 Ollama에 질문을 보내고 답을 받는 통로입니다.
  • AI 코딩 도구: 비교에는 클로드(소넷 5.5), GPT 코덱스, 안티그래비티(제미나이 3.8 플래시)를 썼습니다. 하나만 있어도 따라 할 수 있습니다.
  • 로컬호스트 API 예시와 회사 만들기 프롬프트: 3장과 4장에 복사용으로 넣었습니다.
  • 비용: 로컬 모델 운영비는 무료입니다. 세 코딩 도구의 사용 요금은 바뀌므로 각 서비스의 공식 안내를 확인해야 합니다.

1장. Ollama 설치와 버전 확인

  1. 브라우저 검색창에 "올라마" 또는 "ollama"를 입력합니다.
    • 확인: 낙타처럼 생긴 라마 그림이 있는 ollama.com이 나옵니다.
  2. 라마 그림을 누릅니다.
    • 확인: 다운로드 버튼이 있는 화면이 뜹니다.
  3. 다운로드를 누릅니다.
    • 확인: 운영체제를 고르는 화면이 나옵니다.
  4. 자기 운영체제(맥⁠·리눅스⁠·윈도우)를 선택합니다.
    • 확인: 선택한 운영체제용 다운로드가 시작됩니다.
  5. 받은 파일을 열어 설치합니다.
    • 위치: 맥은 받은 파일을 응용 프로그램 폴더로 옮긴 뒤 실행하고, 윈도우는 설치 파일을 더블클릭해 안내대로 넘깁니다.
    • 확인: 열면 바로 Ollama 화면이 나옵니다. 따로 크게 설정할 것은 없습니다.
  6. 터미널을 엽니다.
    • 위치: 맥은 Spotlight(⌘+스페이스)에서 "터미널"이라고 쳐서 열고, 윈도우는 시작 메뉴 검색에서 cmd를 입력합니다.
    • 대안: 방법을 모르면 AI에게 "커맨드 라인 터미널 들어갈 수 있는 방법 알려줘"라고 물어보면 됩니다.
  7. 버전 확인 명령어를 입력합니다. ollama 뒤에 띄어쓰기, 하이픈 두 개, version입니다.
명령어
ollama --version
  1. 엔터를 누릅니다.
    • 확인: 버전 숫자가 뜹니다. 예를 들어 "ollama version is 0.35" 같은 줄입니다.
    • 주의: 0.35보다 낮으면 업데이트합니다. 맥⁠·윈도우는 ollama.com에서 설치 파일을 다시 받아 덮어 설치하고, 리눅스는 아래 공식 설치 명령을 다시 실행합니다.
명령어
curl -fsSL https://ollama.com/install.sh | sh

2장. Ollama 모델 받기

  1. 모델 받기 명령어를 입력합니다.
    • 위치: 받을 모델의 정확한 이름과 태그는 ollama.com의 Models(모델 목록) 페이지에서 검색해 확인한 뒤 <모델이름> 자리에 넣습니다. 이 실습은 0.8B 크기로 시작합니다.
명령어
ollama pull <모델이름>:0.8B
  1. 엔터를 누릅니다.
    • 확인: pulling manifest 문구와 함께 다운로드 진행 막대가 올라갑니다.
    • 대안: 램이 60GB 이상이면 9B 모델을 써 볼 만합니다.
  2. 목록 확인 명령어를 입력합니다.
명령어
ollama list
  1. 엔터를 누릅니다.
    • 확인: 받은 모델 목록에 0.8B 모델이 있으면 성공입니다.

3장. 로컬 API로 출력 확인

  1. 로컬호스트 API 예시를 준비합니다.
    • 참고: 예시 입력으로는 "멘토님 코랩 세 번째 칸에서 에러가 나요" 같은 유튜브 댓글 질문을 넣어 볼 수 있습니다. 어떤 팀이 답해야 하는지, 급한지를 모델이 확률로 골라 줍니다.
  2. 예시를 실행합니다.
    • 확인: 타입⁠·초이스⁠·확률이 JEV 스타일로 출력되면 여기까지 세팅이 완료된 것입니다.
    • 방법: Ollama는 내 컴퓨터의 11434번 포트(프로그램끼리 주고받는 문 번호)에서 기다립니다. 맥⁠·리눅스 터미널에서 아래 명령을 넣으면 모델의 답이 JSON(데이터를 주고받는 글 형식)으로 돌아옵니다.
명령어
curl http://localhost:11434/api/generate -d '{"model":"<모델이름>","prompt":"다음 이메일이 환불 요청이면 yes, 아니면 no로만 답해: 어제 결제가 두 번 됐어요","stream":false}'

4장. 회사 만들기 프롬프트 고치기

만들어 볼 회사는 글로벌 기반으로 AI가 사주를 봐 주고 과금하는 사주팔자 웹사이트입니다. 이메일, 결제, 환불, 홍보, 유튜브 댓글 관리, 마케팅 관리를 맡깁니다.

회사 만들기 프롬프트는 아래처럼 쓸 수 있습니다. 이미 사주팔자용으로 맞춰 둔 예시라, 다른 업종이라면 15~21단계처럼 AI에게 고쳐 달라고 하면 됩니다.

프롬프트
내 컴퓨터의 Ollama(http://localhost:11434)에 있는 <모델이름> 모델을 두뇌로 쓰는
1인 기업 운영 화면을 만들어줘. 회사는 글로벌 사주팔자 웹사이트야.

들어온 이메일마다 모델에게 세 가지를 묻고 결과를 화면에 보여줘.
1) 초이스: 결제팀, 배송팀, 마케팅팀, 고객지원팀 중 처리할 팀과 팀별 확률
2) 맞다/아니다: 환불 요청인지와 그 확률
3) 스코어: 긴급도를 0에서 1 사이 숫자로

모델의 답은 반드시 JSON으로 받고, 형식이 깨지면 다시 묻게 해줘.
결과마다 좋아요/싫어요 버튼을 두고, 누른 기록을 JSON 파일로 내려받게 해줘.
예시 이메일 3개를 넣어 두고 '자동 실행' 버튼으로 차례로 처리하게 해줘.
Ollama 연결이 실패하면 원인과 해결 방법을 화면에 보여줘.
  1. 회사 만들기 프롬프트를 복사합니다.
    • 확인: 프롬프트가 클립보드에 복사됐습니다.
  2. AI 채팅 입력창에 프롬프트를 붙여 넣습니다.
    • 참고: 어떤 인공지능을 써도 상관없습니다.
  3. 시프트+엔터를 눌러 줄을 바꿉니다.
    • 확인: 커서가 프롬프트 아래 새 줄로 내려갑니다.
  4. 아래 요청 문장을 입력합니다.
프롬프트
위에 프롬프트를 변경하지 말고 중간중간 내용만 사주팔자 서비스를 운영하는 웹사이트 글로벌 기반으로 변경 해서 다시 작성
  1. 서밋(보내기)을 누릅니다.
    • 확인: 사주팔자 서비스용으로 고쳐진 프롬프트가 나옵니다.
    • 대안: 프롬프트를 직접 고쳐도 됩니다.
  2. 고쳐진 프롬프트가 원래 형태와 크게 다르지 않은지 확인합니다.
    • 주의: 리스폰스(response, 모델이 돌려줄 답의 형식을 정한 부분)가 특히 중요합니다. 이 부분의 형태가 달라지면 안 됩니다.
  3. 고쳐진 프롬프트 전체를 복사합니다.

5장. 도구별 작업 폴더 만들기

  1. 클로드에서 새 폴더 "사주팔자 테스트 클로드"를 만듭니다.
    • 참고: 폴더를 열어 작업하는 방식이므로 Claude Code(데스크톱 앱의 Code 탭 또는 터미널)로 하면 됩니다.
  2. 그 폴더를 엽니다(오픈).
    • 확인: 클로드가 그 폴더에서 작업할 준비가 됩니다.
  3. GPT(코덱스)에서 새 폴더 "사주팔자 테스트 GPT"를 만듭니다(크리에이트).
  4. 그 폴더를 엽니다(오픈).
  5. 안티그래비티에서 오픈 폴더를 누릅니다.
    • 참고: 구글에서 "안티그래비티 IDE"를 검색해 내려받으면 됩니다. 구글이 만든 AI 코딩 프로그램입니다.
    • 확인: 폴더 선택 창이 뜹니다.
  6. 새 폴더 "사주 팔자 테스트 제미나이"를 만듭니다(크리에이트).
  7. 오픈을 누릅니다.
    • 확인: 안티그래비티가 그 폴더를 엽니다.

6장. 세 도구에 같은 프롬프트 넣기

  1. 클로드 입력창에 프롬프트를 붙여 넣습니다.
  2. GPT 입력창에 프롬프트를 붙여 넣습니다.
    • 참고: 비교 실습에서는 GPT 6.1 모델을 골랐습니다.
  3. 안티그래비티 입력창에 프롬프트를 붙여 넣습니다.
    • 참고: 모델은 제미나이 3.8 플래시입니다. 생각 수준(답하기 전에 얼마나 오래 생각할지 정하는 설정)은 제미나이 미디움, GPT 라이트, 클로드 중간으로 맞췄습니다.
  4. 각 입력창에서 엔터를 누릅니다.
    • 확인: 도구들이 기획이나 코드 작성을 시작합니다. 비교 실습에서는 제미나이가 가장 먼저 index.html을 만들기 시작했습니다.
  5. 도구가 수락을 요청하면 엔터를 눌러 수락합니다.
    • 확인: 작업이 이어지고 완료 메시지가 나옵니다.

7장. 결과 열기와 Ollama 연결 오류 해결

  1. 만들어진 웹사이트를 엽니다.
    • 확인: 캐릭터가 있는 회사 화면이 뜹니다.
    • 주의: 비교 실습에서는 세 도구 모두 처음에 Ollama 연결이 안 됐습니다. 제미나이는 "연결 실패"와 함께 CORS 및 오리진을 확인하라는 메시지, GPT는 서버 연결 안 됨, 클로드도 연결 안 됨이었습니다.
  2. 오류 메시지를 복사합니다.
  3. 그 도구의 입력창에 오류를 붙여 넣어 해결을 요청합니다.
    • 확인: 도구가 파일을 고치거나 실행할 코드를 줍니다. 클로드는 터미널에 넣을 복사 코드를 줬습니다.
    • 대안: "올라마가 켜져 있는데 연결이 안 돼"처럼 상황을 짧게 적어 보내도 됩니다.
  4. 도구가 터미널 명령을 줬다면 그 명령을 터미널에 붙여 넣습니다.
    • 대안: 도구가 직접 고쳤다면 이 단계와 다음 단계는 건너뜁니다. 제미나이는 다시 엔터를 누르자 로컬 연동을 알아서 처리했습니다.
  5. 엔터를 눌러 실행합니다.
    • 확인: 서버가 실행됩니다.
  6. 웹사이트를 다시 열어 연결을 확인합니다.
    • 확인: 제미나이와 클로드는 바로 연결됐고, GPT는 다시 테스트한 뒤 조금 시간이 지나 연결됐습니다.
  7. 자동 실행을 누르거나 예시 이메일을 보냅니다.
    • 확인: 예시 이메일이 들어와 담당 팀과 확률이 나옵니다.
    • 실습 예 1(제미나이): 29달러가 중복 결제됐다는 이메일이 들어와 환불 승인, 신뢰도 80%.
    • 실습 예 2(클로드): 프리미엄 결제를 실수로 두 번 눌렀다는 환불 요청에 "결제 환불 67%", 환불 심사 팀으로 배정.

연결 실패를 직접 푸는 방법

이 오류는 대개 CORS(웹페이지가 다른 주소의 서버에 요청하는 것을 브라우저가 막는 보안 규칙) 문제입니다. Ollama는 기본적으로 localhost처럼 내 컴퓨터 주소에서 열린 페이지의 요청만 받아 줍니다. 아래 순서로 해 봅니다.

첫째, 만든 index.html을 파일 그대로 더블클릭해 열었는지 봅니다. 주소창이 file://로 시작하면 요청이 막힐 수 있습니다. 작업 폴더에서 아래 명령으로 간이 서버를 띄우고 브라우저에서 http://localhost:8000으로 엽니다.

명령어
python3 -m http.server 8000

둘째, 그래도 막히면 허용 주소를 환경 변수 OLLAMA_ORIGINS로 지정합니다. 맥에서는 아래 명령을 넣은 뒤 메뉴 막대의 Ollama를 종료했다가 다시 켭니다.

프롬프트
launchctl setenv OLLAMA_ORIGINS "*"

윈도우는 시작 메뉴에서 "시스템 환경 변수 편집"을 열고 사용자 변수에 이름 OLLAMA_ORIGINS, 값 *를 추가한 뒤 Ollama를 다시 켭니다. *는 모든 웹페이지를 허용한다는 뜻이라, 테스트가 끝나면 지우거나 내 페이지 주소만 적는 편이 안전합니다.

실습이 끝났는지 점검하기

  • ollama --version 결과가 0.35 이상이다
  • ollama list에 받은 모델이 보인다
  • 로컬 API 예시를 실행하면 타입⁠·초이스⁠·확률이 나온다
  • 각 도구가 만든 웹사이트가 Ollama에 연결된다
  • 예시 이메일에 담당 팀과 확률이 출력된다

막힐 때 확인할 것

  • 웹사이트에 "연결 실패"가 뜬다: 위의 간이 서버와 CORS 설정을 차례로 해 봅니다. 그래도 안 되면 오류를 복사해 그 도구에 다시 줍니다.
  • 고친 뒤에도 바로 연결되지 않는다: 연결에 조금 시간이 걸릴 수 있으니 잠시 뒤 다시 테스트합니다. Ollama를 완전히 종료했다가 다시 켜는 것도 방법입니다.
  • API가 안 된다: Ollama 0.35 이상이어야 합니다. ollama --version으로 확인합니다.
  • 고친 프롬프트로 결과가 이상하다: 리스폰스 부분 형식이 바뀌었는지 원래 프롬프트와 비교합니다.
  • 다 쓰고 정리하고 싶다: 받은 모델은 ollama rm <모델이름>으로 지웁니다. 실습 폴더는 그대로 휴지통에 넣으면 됩니다.

클로드⁠·GPT·제미나이 비교 결과 (1회 실습)

결과물 품질과 걸린 시간을 기준으로 비교했습니다. 한 번 해 본 결과라 도구의 우열을 가르기보다는 각 도구의 성향을 보는 참고 정도로 쓰는 편이 맞습니다.

제미나이 3.8 플래시 (안티그래비티)

가장 빨리 코드를 만들었습니다. 오류가 한 번 났고, 오류를 다시 주자 로컬 연동이 됐습니다. 좋아요⁠·싫어요 피드백 데이터를 내려받아 강화 학습(잘한 결과에 보상을 줘 모델을 고쳐 가는 학습 방식)에 쓰는 형태를 알아서 넣었습니다.

GPT 6.1 (코덱스)

흰색과 초록색의 깔끔한 화면이었습니다. 연결이 안 돼 수정하는 데 오래 걸렸고, 6분이 걸렸습니다. 다시 테스트하자 조금 뒤 연결됐습니다.

클로드 소넷 5.5

기획에 시간을 많이 썼고, 10분 정도 걸렸습니다. 연결이 안 되자 터미널에 넣을 코드를 줬고, 실행하니 연결됐습니다. 좋아요⁠·싫어요로 학습하는 부분은 구현되지 않았습니다.

세 도구를 고르는 기준

큰 차이는 없었고, 클로드와 GPT의 UI/UX가 조금 더 좋았습니다. 오류는 각각 한 번씩 났습니다. 속도가 중요하면 제미나이, 화면 완성도를 보면 클로드나 GPT 쪽이 낫습니다.

AI 1인 기업에 의사결정 모델을 쓰는 구상

좋아요⁠·싫어요로 결과를 평가해 데이터를 쌓고, 그 기록을 JSON으로 받아 재사용하는 부분은 원래 JEV 방식에 들어 있는 기능이 아닙니다. 그 위에 덧붙인 아이디어입니다.

JEV 자체도 엄밀히 말해 강화 학습이라고 보기는 어렵습니다. 강화 학습의 일부인 확률적 행동 선택 방법을 언어 모델에 적용했더니 빠르게 의사결정하는 모델이 나왔다, 그 정도로 이해하면 됩니다.

이 구상이 그리는 이상적인 모습은 이렇습니다. 기업마다 목표, 이메일, 컴플레인, 매출 내역이 다르니 사람이 잘했다 못했다 피드백을 주며 데이터를 쌓아야 한다는 것. 그래서 JEV와 강화 학습이 합쳐지고, 언어 모델도 섞이고, 보안을 위해 무조건 로컬 기반이 돼야 한다는 견해도 있습니다.

따라 할 때 지킬 것 네 가지

  1. 내 컴퓨터 사양에 맞는 모델을 고른다. 램 60GB 이상이면 9B, 기본 컴퓨터면 0.8B.
  2. Ollama가 0.35 이상인지 확인한다.
  3. 고쳐진 프롬프트의 리스폰스 형식이 원래와 같은지 꼭 확인한다.
  4. 다른 사람 말을 곧이곧대로 믿지 말고, 원리를 바탕으로 응용하고 확장하는 습관을 들인다.

실습 전에 먼저 확보할 재료는 세 가지입니다. 받을 모델의 정확한 이름, 로컬 API 예시, 회사 만들기 프롬프트. 뒤의 두 개는 위에 넣어 두었으니 모델 이름만 ollama.com에서 고르면 바로 시작할 수 있습니다.

자주 묻는 질문

JEV 같은 의사결정 모델을 무료로 쓸 수 있나요?

JEV 자체는 오픈소스로 받을 수 없고, 비슷하게 확률로 행동을 고르는 무료 모델을 Ollama로 받아 쓰는 방식입니다. 모델을 받는 데 요금은 없지만 전기료와 컴퓨터 사양은 따로 따져야 합니다. 받을 모델 이름은 ollama.com의 모델 목록에서 확인합니다.

Ollama 모델은 램이 얼마나 있어야 돌아가나요?

모델 크기에 따라 다릅니다. 램 60GB 이상이면 9B 모델, 기본적인 컴퓨터면 0.8B 모델이 기준입니다. 처음에는 가장 작은 모델로 연결까지 성공한 뒤 큰 모델로 바꾸는 편이 덜 헤맵니다.

만든 웹사이트가 Ollama에 연결이 안 되면 어떻게 하나요?

대부분 CORS 차단입니다. 먼저 python3 -m http.server 8000 같은 간이 서버로 페이지를 열어 보고, 그래도 막히면 환경 변수 OLLAMA_ORIGINS로 허용 주소를 지정한 뒤 Ollama를 다시 켭니다. 그래도 안 되면 오류 메시지를 코딩 도구에 그대로 붙여 넣어 해결을 요청합니다.

클로드, GPT, 제미나이 중 어느 것이 가장 잘 만들었나요?

한 번 비교한 결과로는 큰 차이가 없었습니다. 제미나이 3.8 플래시가 가장 빨랐고, 화면 완성도는 클로드와 GPT가 조금 나았습니다. 세 도구 모두 연결 오류가 한 번씩 났습니다.

이 글의 본문은 아래 원본 유튜브 영상의 내용을 바탕으로 쓸모연구소가 다시 정리해 쓴 것입니다. 세부 내용과 최신 정보는 원본 영상과 공식 안내에서 확인해 주세요.

원본 영상 보러가기 ↗