로컬 LLM이란, 챗GPT와 다른 점과 레모네이드⁠·Ollama 써 보기

로컬 LLM이란 AI 모델 파일을 내 PC에 내려받아, 인터넷 너머 회사 서버 대신 내 컴퓨터에서 직접 돌리는 방식입니다. 이 글은 챗GPT 같은 서비스와 무엇이 다른지, 왜 쓰는지, 장단점은 무엇인지 설명하고, 레모네이드와 Ollama로 실제 질문해 보는 11단계와 처음 설치하는 법까지 담았습니다.

로컬 LLM이란: 챗GPT는 창구, 답을 만드는 쪽은 LLM

챗GPT나 제미나이를 쓸 때 우리가 보는 것은 대화창입니다. 실제로 답을 만드는 것은 그 뒤에 있는 LLM(거대 언어 모델, 글을 읽고 다음 말을 이어 쓰도록 학습한 AI 모델)입니다. 챗GPT라는 서비스 안에 GPT라는 모델이, 제미나이 앱 안에 제미나이 모델이 들어 있는 구조입니다. 서비스와 모델을 나눠 생각하면 로컬 LLM이 이해하기 쉬워집니다.

구글, 메타, 알리바바 같은 회사들은 저마다 LLM을 만들고, 그중 일부를 누구나 내려받을 수 있게 공개합니다.

클라우드 AI 서비스의 한계 세 가지

1. 비용

개인이 가끔 쓰는 정도는 월 구독료로 충분합니다. 하지만 기업 업무나 영상 제작처럼 많이 쓰면 API 토큰(AI가 처리하는 글자 단위) 비용이 빠르게 불어납니다. 사람이 하던 일을 AI로 바꾸면 인건비가 준다는 계산이 흔한데, 막상 그 일을 채우는 토큰 비용이 점점 늘어나는 경우가 많습니다.

2. 보안과 사생활

반도체 설계 자료, 게임 소스 코드, 가족 사진처럼 외부 서비스에 올리기 꺼려지는 자료가 있습니다. 클라우드 AI는 질문과 첨부 파일이 회사 서버로 갑니다. 회사 보안 규정상 아예 못 올리는 자료도 많습니다.

3. 내 컴퓨터 안의 자료

10년치 연구 자료로 논문 초안을 만들거나, PC 속 가족 사진을 연도별⁠·지역별로 정리하는 일은 클라우드 AI로 하기 번거롭습니다. 파일을 하나하나 올려야 하고 용량 제한에도 걸립니다. 요즘은 클라우드 AI도 PC 파일에 접근하는 기능이 생겨서 이 차이는 줄고 있습니다.

해결책: LLM을 내 PC에 설치한다

로컬 LLM은 공개된 모델 파일을 내 컴퓨터에 넣고 쓰는 방식입니다. 구글이나 오픈AI의 최상위 모델만큼 크지는 않지만 쓸 만한 모델이 많고, 크기도 3GB·9GB·20GB처럼 다양합니다. PC 메모리에 맞는 크기를 고르면 됩니다.

대표적인 공개 모델은 이렇습니다.

• Gemma(젬마): 구글이 만들어 무료로 공개하는 모델. Gemma 4는 Apache 2.0 라이선스입니다.
• Qwen(큐웬): 알리바바가 공개하는 모델
• DeepSeek(딥시크): 중국 딥시크가 공개하는 모델

모델 파일만 있으면 대화를 못 합니다. 챗GPT 대화창 같은 실행 프로그램이 필요합니다. 그 역할을 하는 도구가 Ollama(올라마), 레모네이드(Lemonade), LM Studio 같은 프로그램입니다. 헤르메스 에이전트(Hermes Agent)처럼 로컬 모델에 붙여 일을 시키는 AI 에이전트 도구도 있습니다. Ollama로 Gemma와, 레모네이드로 Qwen과 대화하는 식입니다. 이렇게 내 PC 안에서 모델과 도구를 함께 돌리는 것을 로컬 LLM, 로컬 AI라고 부릅니다.

로컬 LLM의 장점과 단점

장점은 세 가지입니다.

• 비용: 모델과 도구가 무료라 쓰는 만큼 나가는 요금이 없습니다. PC 값과 전기료만 듭니다.
• 보안: 질문과 자료가 내 컴퓨터 밖으로 나가지 않습니다.
• 개인화: 스킬과 도구를 계속 붙여 나만의 환경으로 키울 수 있습니다.

단점도 분명합니다.

• 결과물 수준: 내 PC에 들어가는 모델은 클라우드 최상위 모델보다 작아서 답의 질이 떨어질 수 있습니다.
• 속도: 그래픽카드 성능에 따라 답이 느립니다.
• 설치: 새 도구를 깔고 모델을 고르는 수고가 듭니다.

지금 단계에서는 클라우드 AI 서비스가 로컬 AI보다 훨씬 좋은 결과물을, 더 빠르게 내놓는 경우가 많습니다. 로컬 LLM은 클라우드를 대신한다기보다, 비용이나 보안 때문에 클라우드를 쓰기 어려운 일을 맡기는 쪽으로 생각하면 맞습니다.

로컬 LLM을 지금 익혀 둘 이유

엑셀과 파워포인트는 30여 년 전에는 그것만 다뤄도 "굉장한 스킬"이었지만 지금은 누구나 하는 기술이 됐습니다. 로컬 LLM은 그 시간이 훨씬 짧을 수 있다는 전망이 나옵니다. 2년, 빠르면 1년 안에 흔한 기술이 될 수도 있다는 겁니다.

대학교 팀 과제에서 조장이 "로컬 LLM으로 자료 정리해 와"라고 하거나, 고등학생끼리 "레모네이드 깔려 있어?"라고 묻는 일이 곧 흔해질 수 있습니다.

새 용어와 모델은 일주일 단위로 쏟아져서 다 따라갈 수는 없습니다. 그래서 중요한 것은 기본기입니다. AI가 어떻게 움직이는지 개념을 알고, 프롬프트(AI에게 주는 지시문)를 잘 쓰는 법을 익혀 두면 도구가 바뀌어도 금방 적응합니다. 앞서갈 필요는 없지만, 따라는 가는 편이 좋습니다.

로컬 LLM 시연: 레모네이드 → Ollama 11단계

아래는 레모네이드 서버와 Ollama가 이미 설치된 윈도우 PC에서 질문해 보는 순서입니다. 아직 설치하지 않았다면 이 구획 뒤의 "레모네이드와 Ollama 처음 설치하기"를 먼저 합니다.

준비물

• 레모네이드 서버와 Ollama가 설치된 PC
• 그래픽카드 메모리(VRAM) 16GB급 PC. 시연 PC는 VRAM 16GB 그래픽카드를 썼습니다.
• 비용: Gemma 같은 공개 모델은 무료입니다.

레모네이드 앱 열기

1단계. 레모네이드 서버 아이콘을 더블클릭합니다

• 확인: 창이 바로 안 열릴 수 있습니다. 이미 백그라운드에서 실행 중이면 그렇습니다.
• 주의: 레모네이드와 Ollama를 동시에 쓰면 PC에 무리가 많이 갑니다. 둘 다 모델을 그래픽카드 메모리에 올리기 때문입니다. 한 번에 하나만 씁니다.

2단계. 화면 오른쪽 아래 작업 표시줄의 알림 영역에서 레모네이드 아이콘을 찾습니다

• 확인: 이미 실행 중이면 레모네이드 아이콘이 보입니다.

3단계. 아이콘을 눌러 "Open Lemonade App"을 고릅니다

• 확인: 레모네이드 창이 뜹니다.

4단계. 창 왼쪽 패널을 봅니다

• 위치: 창 왼쪽 패널. 모델을 찾아 설치할 수 있는 모델 목록입니다.
• 확인: 모델 목록이 보입니다.

레모네이드에서 질문하기

5단계. 쓸 모델이 없으면 왼쪽 패널에서 설치합니다

• 참고: 시연에서는 Gemma 4를 씁니다.
• 확인: 설치된 모델로 요청을 보낼 수 있습니다.

6단계. 모델에 첫 요청을 보냅니다

• 주의: 첫 요청 때는 모델이 그래픽카드 메모리에 올라가는 준비 과정이 먼저 지나갑니다. 그 뒤에 나오는 글이 실제 답변입니다.
• 확인: 준비 과정이 끝나면 답변이 나옵니다.

7단계. 입력창에 질문을 넣습니다

• 입력 예시: "어려운 문제 하나 구성해 줄래?"
• 참고: 복잡한 수학 문제를 하나 만들어 달라는 뜻으로 넣는 문장입니다.
• 확인: 문제와 풀이 과정이 답변으로 옵니다.

Ollama에서 질문하기

8단계. Ollama 앱을 엽니다

• 주의: 레모네이드를 쓰던 중이면 한 번에 하나만 쓰라는 앞의 안내를 따릅니다. 레모네이드 아이콘을 눌러 종료한 뒤 엽니다.
• 확인: Ollama 창이 열립니다.

9단계. 설치된 모델 목록을 봅니다

• 확인: Gemma 4 12B 모델이 설치돼 있습니다.

10단계. 같은 질문을 입력합니다

• 확인: 답변이 옵니다. 레모네이드 때와 똑같은 질문을 넣으면 두 도구와 모델의 답을 비교해 볼 수 있습니다.

11단계. 원하는 모델이 더 있으면 추가로 설치합니다

• 확인: 새 모델이 목록에 나타납니다.

처음에는 공부라기보다 재미 삼아 여러 모델에 같은 질문을 넣어 보는 것이 가장 빨리 익히는 방법입니다.

최종 체크리스트

• 레모네이드 앱 창이 열렸다
• 레모네이드에서 질문하고 답을 받았다
• Ollama 창이 열렸다
• Ollama에서 질문하고 답을 받았다
• 두 도구를 동시에 쓰지 않았다

막힐 때

• 서버를 더블클릭해도 창이 안 뜬다: 이미 실행 중일 수 있습니다. 알림 영역의 레모네이드 아이콘에서 "Open Lemonade App"을 누릅니다.
• PC가 느려진다: 두 도구를 동시에 켜 둔 경우입니다. 하나만 씁니다.
• 첫 요청이 오래 걸린다: 모델이 그래픽카드에 올라가는 준비 과정입니다. 그 뒤 답을 기다립니다.

레모네이드와 Ollama 처음 설치하기

레모네이드 설치

레모네이드(Lemonade)는 AMD가 지원하는 오픈소스 로컬 LLM 서버입니다. 윈도우와 리눅스용이 있고, 라이젠 AI 프로세서의 NPU(AI 전용 연산 장치)와 그래픽카드를 함께 쓸 수 있습니다.

1. 브라우저에서 lemonade-server.ai 에 들어갑니다.
   • 확인: 레모네이드 공식 사이트가 열립니다.
2. 설치 안내(Install) 페이지에서 내 운영체제와 하드웨어에 맞는 항목을 고릅니다.
   • 확인: 맞는 설치 파일 링크가 나옵니다.
3. 윈도우 설치 파일(.msi)을 받아 실행합니다.
   • 확인: 설치가 끝나면 알림 영역에 레모네이드 아이콘이 생깁니다.

Ollama 설치

1. 브라우저에서 ollama.com 에 들어가 Download를 누릅니다.
   • 확인: 운영체제별 설치 안내가 보입니다.
2. 윈도우 설치 파일을 받아 실행합니다.
   • 확인: 설치가 끝나면 Ollama 앱이 열립니다.
3. 명령어가 편하면 터미널(PowerShell)에서 아래 명령으로 Gemma 4 12B를 받아 바로 대화할 수 있습니다.
   • 확인: 다운로드(약 7.7GB)가 끝나면 입력 줄이 나타납니다.

ollama run gemma4:12b

내 PC에 맞는 모델 크기

로컬 LLM을 돌릴 때 가장 중요한 것은 그래픽카드 메모리(VRAM)를 얼마나 쓸 수 있느냐입니다. VRAM 16GB라면 Gemma 4 12B(B는 billion, 10억이라 12B는 120억 파라미터)처럼 4비트로 줄인 파일이 7~8GB인 모델이 무난합니다. VRAM이 이보다 작으면 더 작은 모델(Gemma 4 E4B 등)을 고릅니다. 로컬 AI로는 글뿐 아니라 이미지 생성 같은 다른 작업도 할 수 있지만, 작업마다 필요한 메모리가 다릅니다.