이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
그래픽카드 없이 AI 모델 돌리기, 무료 엔진 콜리브리 설치와 사용법
그래픽카드 없이 초대형 AI 모델을 노트북에서 돌릴 수 있게 해 주는 무료 엔진 콜리브리(colibri)의 원리와 설치 순서를 정리했습니다. 내려받기부터 대화 모드, 서버 모드, 기존 코드 연결까지 여섯 단계를 실제 명령어와 함께 적고, 필요한 램과 SSD 용량, 생각보다 느린 속도 같은 현실 조건도 함께 담았습니다.

그래픽카드 없이 AI 모델을 돌리는 엔진, 콜리브리
콜리브리는 그래픽카드가 하나도 없는 노트북에서 세계 최대급 모델을 끝까지 돌릴 수 있게 해 주는 작은 엔진입니다. 누구나 공짜로 가져다 쓸 수 있고, 라이선스는 Apache 2.0(상업적 이용도 허용하는 오픈소스 라이선스)입니다.
"덩치 큰 모델을 돌리려면 비싼 그래픽 카드가 꼭 있어야 한다." 콜리브리는 이 통념을 뒤집는 쪽을 택했습니다. 그래픽카드 대신 램과 저장장치를 쓰는 방식입니다.
작동 방식: 필요한 조각만 램에 올린다
덩치가 큰 모델도 한 마디를 만들 때 실제로 깨우는 건 아주 작은 조각입니다.
그래서 늘 쓰이는 알맹이 10GB 정도만 램에 올려두고, 나머지는 하드에 눕혀 둡니다. 영화를 다 받지 않고 스트리밍으로 보는 방식과 비슷합니다.
숫자로 보면 이렇습니다.
- 램에 상주하는 크기: 약 10GB
- 모델 파일 크기: 370GB
- 비용: 0원
- 그래픽카드: 불필요
전문 용어로 풀면 이 방식은 MoE(전문가 혼합, 질문마다 모델의 일부 전문가 조각만 골라 쓰는 구조) 모델에서, 당장 필요한 조각만 저장장치에서 꺼내 읽는 오프로딩(메모리에 다 못 올리는 부분을 디스크에 두고 필요할 때 불러오는 방식)입니다.
콜리브리 준비물: 램, SSD, 모델 파일
숫자는 GitHub 저장소 README 기준이고, 버전이 바뀌면 달라질 수 있습니다.
- 저장공간: 모델 파일만 약 372GB. 다운로드 중 임시 파일까지 생각하면 그보다 넉넉하게 비어 있는 SSD가 필요합니다. README는 빠른 NVMe SSD(최신 고속 SSD 규격)를 권합니다.
- 램: README의 최소 사양은 16GB, 여유 있게는 24GB입니다.
- 그래픽카드: 필요 없습니다. 있으면 선택적으로 쓸 수 있습니다.
- 비용: 엔진은 무료입니다.
콜리브리 설치와 실행, 여섯 단계
내려받기부터 내 코드 연결까지 순서대로 적었습니다. 각 단계 아래 "확인"은 제대로 됐는지 보는 기준입니다.
1단계. 콜리브리를 내려받는다
배포 파일을 내려받습니다. 프로젝트는 GitHub의 JustVugg/colibri 저장소이고, 저장소의 Releases(배포판) 메뉴에서 운영체제별 압축 파일을 받습니다. 리눅스·맥·윈도우용이 따로 있습니다.
- 확인: 내 컴퓨터에 압축 파일 1개가 저장된다.
2단계. 압축을 푼다
내려받아 압축만 풀면 준비는 그걸로 끝입니다. 설치라고 할 만한 별도 과정은 없습니다.
- 확인: 폴더가 하나 생기고, 그 안에 실행 파일이 보인다.
3단계. 모델 파일을 준비한다
필요한 모델은 하나뿐인데, 크기가 370GB입니다.
- 확인: 저장장치에 370GB짜리 파일이 자리 잡는다.
- 저장소 README 기준으로는 GLM-5.2라는 초대형 MoE 모델을 콜리브리용으로 변환한 파일이고, 허깅페이스(AI 모델 공유 사이트)에서 받습니다. README에 적힌 크기는 약 372GB입니다.
- 이 파일이 없으면 다음 단계로 못 넘어갑니다.
4단계. 대화 모드로 써 본다
터미널에 실행 명령 한 줄을 칩니다. /경로/모델폴더
COLI_MODEL=/경로/모델폴더 ./coli chat
- 확인: 인터넷 없이도 바로 대화가 된다.
5단계. 콜리브리 서브(serve) 모드로 연다
대화 대신 서버로 열려면 serve 명령을 씁니다. README에는 기본 포트가 8000이라고 적혀 있습니다.
./coli serve --model /경로/모델폴더
- 확인: 내 컴퓨터 안에 주소가 열린다.
6단계. 내 코드에 연결한다
기존 코드에서 한 줄을 그 주소로 갈아끼우면 그대로 돌아갑니다. 기존 코드를 크게 고치지 않아도 된다는 뜻입니다.
README는 서버가 OpenAI 호환 API(오픈AI와 같은 요청 형식을 받는 주소)라고 안내합니다. 오픈AI 파이썬 라이브러리를 쓰는 코드라면 보통 주소 부분만 바꾸면 됩니다.
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")
모델 이름 등 나머지 값은 README의 예시를 따릅니다.
가장 중요한 조건: 속도
README에 적힌 속도는 램 25GB급 기본 환경에서 초당 0.05~0.1토큰, 램 128GB 데스크톱에서 초당 약 1.8토큰입니다. 토큰은 대략 단어 조각 하나라고 보면 됩니다. 한 문장을 받는 데 몇 분이 걸릴 수 있다는 뜻입니다.
그러니 "돌아간다"와 "쓸 만하다"는 다릅니다. 실시간 대화나 코딩 보조로 쓰기보다는, 초대형 모델을 내 컴퓨터에서 오프라인으로 시험해 보는 용도에 가깝습니다.
콜리브리 실행이 막히는 지점
- 실행 권한 오류(맥·리눅스): 압축을 푼 폴더에서
chmod +x coli를 한 번 실행합니다. - 맥에서 "확인되지 않은 개발자" 경고: 시스템 설정 > 개인정보 보호 및 보안 아래쪽에서 "그래도 열기"를 누릅니다. 출처를 확인한 파일에만 하세요.
- 너무 느리다: 모델을 외장 하드나 느린 SATA SSD에 두면 더 느려집니다. 내장 NVMe SSD로 옮깁니다.
- 디스크가 꽉 찬다: 다운로드 중간 파일까지 합치면 공간이 더 필요합니다. 받기 전에 여유 공간을 확인합니다.
대안: 작은 모델을 빠르게
그래픽카드 없는 노트북에서 실제로 매일 쓰려면, 작은 모델을 Ollama(로컬 AI 실행 도구) 같은 도구로 돌리는 편이 훨씬 빠릅니다. 초대형 모델의 답이 꼭 필요한 일만 콜리브리로 돌리는 식으로 나누는 것이 현실적인 판단입니다.
자주 묻는 질문
그래픽카드 없이 초대형 AI 모델을 정말 돌릴 수 있나요?
돌아가기는 합니다. 콜리브리는 필요한 조각만 램에 올리고 나머지는 SSD에서 꺼내 읽는 방식이라 그래픽카드가 없어도 됩니다. 다만 README 기준 속도가 초당 1토큰도 안 되는 환경이 많아 실시간 대화용으로는 느립니다.
콜리브리는 어디서 받나요?
GitHub의 JustVugg/colibri 저장소에서 받습니다. Releases 메뉴에서 운영체제별 압축 파일을 고르면 됩니다.
저장공간은 얼마나 필요한가요?
모델 파일이 370GB, 저장소 README 표기로는 약 372GB입니다. 다운로드 여유분까지 생각해 그보다 넉넉하게 비어 있는 빠른 SSD를 준비하는 편이 안전합니다.
기존에 쓰던 AI 코드에 연결할 수 있나요?
연결할 수 있습니다. 서버 모드로 열면 OpenAI 호환 주소가 생기므로, 오픈AI 라이브러리를 쓰는 코드라면 base_url을 내 컴퓨터 주소로 바꾸는 방식으로 연결합니다.
이 글의 본문은 아래 원본 유튜브 영상의 내용을 바탕으로 쓸모연구소가 다시 정리해 쓴 것입니다. 세부 내용과 최신 정보는 원본 영상과 공식 안내에서 확인해 주세요.
원본 영상 보러가기 ↗