쓸모 쓸모연구소 · 실전 노트
제 825 호이번 주 새 글 49 편2026 · 11 · 14
로컬 LLM·AI 서버
ZimaCube

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

소형 AI 모델 홈서버 활용법, 2~4GB 모델로 OCR·요약⁠·번역 돌리기

2~4GB짜리 소형 AI 모델을 저전력 홈서버에 올려 24시간 돌리면 스캔 문서 인식, 글 요약, 의료 문서 이해, 외국어 번역을 집 안에서 처리할 수 있습니다. 소형 AI 모델 홈서버 구성의 네 가지 쓰임새와 각각에 맞는 모델, 그리고 직접 만들 때 필요한 설치 명령과 폴더 감시 번역 스크립트 예시를 함께 담았습니다.

소형 AI 모델 홈서버 활용법, 2~4GB 모델로 OCR·요약·번역 돌리기 삽화
삽화 · 쓸모연구소

의료 문서 이해 항목은 의학적 진단이 아닙니다. 증상이나 검사 결과에 대한 판단은 반드시 의사와 상의하세요.

소형 AI 모델을 대하는 전제

소형 모델은 여전히 작은 모델이고, 쓰는 데는 그 나름의 특성이 따라붙습니다. 큰 모델이 하던 일을 그대로 시키면 실망하기 쉽습니다. 아래 네 가지 쓰임새는 그 특성에 맞춰 일을 좁게 잘라 맡긴 사례입니다. 쓰는 방식은 사람마다 다를 수 있고, 내 환경에 더 맞는 조합이 따로 있을 수도 있습니다.

소형 AI 모델을 어디서 돌리나: 전력 효율이 먼저인 홈서버

소형 모델에 거는 요구 조건은 하나입니다. 항상 켜져 있고 백그라운드에서 돌아갈 것. 그래서 로컬 네트워크에 물린 홈서버에서 돌립니다.

여기서 말하는 홈서버는 최신 그래픽카드를 단 고성능 컴퓨터가 아닙니다. 전기요금 걱정 없이 계속 켜 둘 수 있는 에너지 효율형 기기입니다. 예로 든 기기는 2세대 ZimaCube(IceWhale의 가정용 서버 겸 NAS)입니다.

이런 기기의 장점은 낮은 소비전력 말고도 하나 더 있습니다. 역할 두 개를 겸한다는 점입니다.

  • 홈서버
  • 네트워크 스토리지(NAS, 네트워크로 연결해 쓰는 저장장치): 드라이브 슬롯이 아주 많아서 모델이 쓸 데이터를 대량으로 쌓아둘 수 있다

준비물과 Ollama 설치

모델을 돌리는 실행 도구는 가장 흔한 Ollama(내 컴퓨터에서 AI 모델을 내려받아 돌리는 무료 프로그램)를 기준으로 적습니다.

  • 늘 켜 둘 수 있는 컴퓨터 한 대: 저전력 미니 PC, NAS, 안 쓰는 노트북 모두 됩니다. 아래 모델들은 수 GB 크기라 메모리가 넉넉하면 그래픽카드 없이도 돌아갑니다(속도는 기기에 따라 다름).
  • 저장공간: 모델 하나당 수 GB.
  • 같은 공유기에 물린 다른 컴퓨터: 서버에 파일을 넣고 결과를 보는 용도.

리눅스 기반 서버라면 터미널에서 아래 한 줄로 설치합니다. 맥⁠·윈도우는 ollama.com에서 설치 파일을 받습니다. NAS 전용 운영체제라면 제조사 앱 목록에 Ollama가 있는지 먼저 확인하세요.

명령어
curl -fsSL https://ollama.com/install.sh | sh

아래에 나오는 모델들은 Ollama 공식 라이브러리에 비슷한 이름으로 올라와 있습니다.

명령어
ollama pull glm-ocr
ollama pull qwen3.5:4b
ollama pull medgemma

ollama list를 치면 받은 모델과 크기가 보입니다.

쓰임새 ① 스캔 문서를 마크다운으로: GLM-OCR (약 2GB)

첫 번째는 스캔 문서 인식입니다. 텍스트를 인식하는 프로그램이 문서를 읽고, 그 결과를 마크다운(제목⁠·목록 같은 서식을 기호로 표시하는 텍스트 형식)으로 변환합니다. 이 용도의 무료 프로그램이 GitHub에 공개돼 있어 직접 써 볼 수 있습니다.

핵심은 모델 쪽입니다. GLM-OCR이라는 소형 전용 모델이고 크기는 약 2GB. 복잡한 문서를 인식하도록 설계된 모델입니다. 크기가 작아서 기기에 부하를 거의 안 주고 잘 돌아갑니다.

실행 순서

  1. 문서 인식 프로그램을 실행한다
  2. 프로그램에 "홈서버에서 돌고 있는 모델을 쓰라"고 지정한다
  3. 시험용으로 5페이지 PDF를 선택한다. 테스트 파일이지만 여러 페이지와 서식 처리 능력을 보기엔 충분하다
  4. 인식을 시작한다

확인 포인트는 처리 중의 시스템 부하입니다. 실행 중에 시스템 모니터를 띄워 보면 CPU 코어 두 개만 실제로 쓰이고 나머지는 다른 작업용으로 남아 있습니다. 메모리도 절반 이상 비어 있고요.

결과는 이렇습니다. 모델이 작고 서버 자원이 충분해서 처리가 꽤 빠르게 끝났고, 오류 없이 완료됐으며 모든 페이지에서 텍스트가 온전히 인식됐습니다.

큰 범용 모델로 하면 어떻게 되나

같은 작업을 Gemma 4 26B 또는 31B 파라미터 모델로도 할 수 있습니다. 파라미터(모델 크기를 나타내는 수치, 클수록 무겁다)가 그만큼 크면 시스템 부하가 수십 배 높아지고, 이런 저전력 서버에서는 아예 돌지 않을 수도 있습니다. 작은 전용 모델은 이런 종류의 작업을 아주 잘 처리하면서 시스템에는 부하를 거의 안 줍니다. 이 차이가 소형 모델을 쓰는 이유입니다.

쓰임새 ② 관심 주제 새 글 자동 요약: Qwen3.5 4B (약 3GB)

두 번째는 관심 주제 글의 요약입니다. 매일 엄청난 수의 새 글이 올라오는데 전부 읽을 시간은 없습니다.

돌아가는 방식은 이렇습니다. 팔로우하는 소스에 새 글이 뜨면, 그 글이 서버의 로컬 모델로 넘어가 요약과 핵심 포인트 추출을 거칩니다. 사람은 그 짧은 요약만 읽습니다.

모델은 Qwen3.5 4B 파라미터 버전을 씁니다. 이 작업에는 그 정도면 충분하고, 크기가 3GB를 조금 넘는 수준이라 홈서버에서 아주 잘 돕니다.

전체 분석 과정은 자동화해 둡니다. 스크립트는 두 개면 됩니다.

  • 스크립트 1: 글의 본문 텍스트를 가져온다
  • 스크립트 2: 그 텍스트를 모델에 보내고 결과를 받아온다

여기서도 확인 포인트는 부하입니다. 요약이 도는 동안 시스템 모니터를 보면 메모리도 CPU 코어도 여유가 남아 있습니다. 분석 전체는 글 크기에 따라 몇 분 걸립니다. 하루에 분석할 글이 아주 많지 않다면 이 속도로 충분합니다.

쓰임새 ③ 의료 문서⁠·이미지 이해: 구글의 의료 특화 모델

세 번째는 본인과 가족의 의료 정보를 다루는 일입니다. 이걸 로컬로 돌리는 이유는 분명합니다. 의료 정보는 비공개로 남아야 하고, 나중에 누군가에게 넘어갈 수 있는 기업 서버에 저장되는 걸 원치 않는 사람이 많습니다.

쓰는 모델은 구글이 만든 의료 특화 모델 MedGemma입니다. 크기가 작은데도 의료 텍스트뿐 아니라 이미지까지 다룬다는 점이 장점입니다.

쓰는 경우는 두 가지입니다.

  • 의료 문서를 이해해야 할 때. 예를 들어 검사 결과나 의료 이미지
  • 궁금한 의료 관련 질문이 있을 때

단서가 있습니다. 이런 모델은 의사를 대체하지 않습니다. 알맞은 용도는 세부 내용을 미리 파악해 두고, 필요할 때 진료 방문을 준비하는 것입니다. 무슨 일이 벌어지고 있는지는 모델이 이해를 돕고, 그래서 뭘 할지는 의사와 의논합니다.

쓰임새 ④ 외국어 글 자동 번역: 폴더 감시 방식

네 번째는 번역입니다. 팔로우하는 소스 중에는 내가 못 읽는 언어로 글을 내는 곳이 있습니다. 그런 글은 자동으로 번역하고, 번역된 뒤에 요약을 만들거나 흥미로우면 그냥 읽습니다.

번역에도 앞서 나온 Qwen3.5 4B 모델을 씁니다. 파라미터가 40억뿐인데도 번역을 훌륭하게 해냅니다.

구조는 폴더 두 개가 전부다

  • Input 폴더: 원본 글을 넣는 곳
  • Output 폴더: 번역된 글이 저장되는 곳

Input 폴더는 스크립트가 감시하고 있고, 새 파일이 나타나는 순간 자동으로 번역이 시작됩니다. 평소엔 사람 손 없이 돌아갑니다.

직접 시험해 보는 순서

  1. 일본어로 쓰인 글을 하나 고른다. 예를 들어 AI와 언어 모델에 관한 글
  2. Output 폴더도 함께 열어둔다. 실시간으로 뭐가 바뀌는지 보기 위해서다
  3. 일본어 글을 Input 폴더에 넣고 기다린다

확인 포인트는 소요 시간입니다. 글 크기에 따라 수십 초에서 수 분 사이입니다. 창고방에 놓인 ZimaCube도 이걸 문제없이 처리합니다. 잠시 뒤 Output 폴더에 번역본이 나타나고, 열어 보면 영어로 번역돼 있습니다.

다른 컴퓨터에서 홈서버 모델 쓰기

프로그램에 "홈서버에서 돌고 있는 모델을 쓰라"고 지정하려면, 서버의 Ollama가 공유기 안 다른 기기의 요청을 받게 열어야 합니다. 리눅스에서 Ollama를 서비스로 설치했다면 sudo systemctl edit ollama로 설정 파일을 열어 아래 두 줄을 넣고 sudo systemctl restart ollama로 다시 시작합니다.

프롬프트
[Service]
Environment="OLLAMA_HOST=0.0.0.0"

이제 같은 공유기 안에서는 http://서버IP:11434 주소로 모델을 부를 수 있습니다. 이 주소를 인터넷에 그대로 열지는 마세요.

폴더 감시 번역 스크립트 예시

위 번역 구조를 최소한으로 만든 예시입니다. 서버에서 input, output 폴더를 만들고, 파이썬 라이브러리 requests를 설치(pip install requests)한 뒤 실행합니다. input 폴더에 .txt 파일을 넣으면 10초 안에 번역을 시작합니다.

프롬프트
import time, pathlib, requests

IN = pathlib.Path("input")
OUT = pathlib.Path("output")
OUT.mkdir(exist_ok=True)
done = set()

while True:
    for f in IN.glob("*.txt"):
        if f.name in done:
            continue
        text = f.read_text(encoding="utf-8")
        r = requests.post("http://localhost:11434/api/generate", json={
            "model": "qwen3.5:4b",
            "prompt": "다음 글을 한국어로 번역해. 번역문만 출력해.\n\n" + text,
            "stream": False,
            "think": False,
        })
        (OUT / f.name).write_text(r.json()["response"], encoding="utf-8")
        done.add(f.name)
    time.sleep(10)

요약용으로 바꾸려면 prompt 문장만 "다음 글을 핵심 3줄과 한 문단 요약으로 정리해"처럼 고치면 됩니다. 아래에 나오는 소형 모델의 조건(좁은 작업, 정해진 출력 형식)을 그대로 적용한 셈입니다.

소형 모델은 큰 모델과 다르게 쓴다

먼저 태도입니다. 소형 모델을 "큰 모델의 작고 조금 약한 버전"으로 생각하면 안 맞습니다. 접근 방식 자체가 달라야 합니다.

소형 모델이 가장 잘 도는 조건은 이렇습니다.

  • 좁고 분명하게 정의된 작업(narrow, clearly defined tasks)
  • 작은 입력(a small input)
  • 하나의 특정한 동작(a specific operation)
  • 엄격하게 정해진 출력 형식(a strictly defined output format)
  • 여기에 더해, 결과를 자동으로 검증할 수 있으면 더 좋다

소형 모델이 특히 효과적인 경우는 다음과 같습니다.

  1. 모든 것이 완전히 로컬에 남고 비공개여야 할 때
  2. 인터넷 연결 없이 동작할 능력이 필요할 때
  3. 저전력 하드웨어에서 돌리고 싶을 때
  4. 단순한 요청을 대량으로 처리해야 할 때
  5. 비용을 최소화하고 싶을 때, 그리고 좁은 전문화가 필요할 때
  6. 백그라운드에서 계속 돌려두고 싶을 때

반대로 사람이 바로 읽고 판단하는 긴 대화, 어려운 추론은 클라우드 대형 모델이 낫습니다. 소형 모델은 반복되고 형식이 정해진 일, 밖으로 내보내기 싫은 자료, 밤새 조용히 돌려야 하는 일에 맡길 때 값을 합니다. 의료 문서 해석처럼 틀리면 곤란한 일은 결과를 참고로만 쓰고 전문가 확인을 거쳐야 합니다.

소형 AI 모델 홈서버에서 막히는 지점

  • 모델이 느리다: 메모리가 부족하면 디스크를 오가며 느려집니다. 동시에 모델을 여러 개 올리지 말고 하나씩 씁니다.
  • 긴 글에서 번역이 끊긴다: 소형 모델은 긴 입력에 약합니다. 입력을 작게, 문단 단위로 나눠 넣습니다.
  • 다른 컴퓨터에서 접속이 안 된다: OLLAMA_HOST 설정 후 재시작했는지, 서버 방화벽이 11434 포트를 막고 있지 않은지 확인합니다.

자주 묻는 질문

소형 AI 모델은 어떤 컴퓨터에서 돌릴 수 있나요?

그래픽카드 없는 저전력 홈서버(ZimaCube 같은 기기)에서도 2~4GB 모델이 돌아갑니다. 모델이 수 GB 크기라 메모리가 넉넉한 미니 PC나 NAS에서도 쓸 수 있지만, 속도는 기기 성능에 따라 다릅니다.

소형 AI 모델로 번역이 잘 되나요?

40억 파라미터인 Qwen3.5 4B로도 일본어 글을 영어로 무리 없이 번역할 수 있습니다. 다만 긴 글은 나눠 넣고, 중요한 문서는 사람이 결과를 확인하는 편이 안전합니다.

로컬 AI로 의료 문서를 해석해도 되나요?

구글의 의료 특화 모델 MedGemma는 검사 결과를 이해하고 진료를 준비하는 용도로 쓰는 것이 알맞습니다. 모델의 해석은 진단이 아니며, 무엇을 할지는 의사와 상의해야 합니다. 증상이 계속되거나 결과가 걱정되면 진료를 받아야 합니다.

스캔 문서 OCR에는 어떤 모델을 쓰나요?

약 2GB 크기의 GLM-OCR이 이 용도의 소형 전용 모델입니다. 5페이지 PDF를 CPU 코어 두 개만으로 오류 없이 인식할 수 있었습니다. 같은 일을 Gemma 4 26B나 31B 같은 큰 범용 모델로 하면 부하가 수십 배 높아집니다.

이 글의 본문은 아래 원본 유튜브 영상의 내용을 바탕으로 쓸모연구소가 다시 정리해 쓴 것입니다. 세부 내용과 최신 정보는 원본 영상과 공식 안내에서 확인해 주세요.

원본 영상 보러가기 ↗