로컬 LLM·AI 서버
Ollama·OMLX·맥미니로 내 컴퓨터에서 AI 모델 돌리기 · 24편
EmbeddingGemma 2 설치, 올라마·클로드 코드 색인과 한국어 비교
EmbeddingGemma 2 설치를 올라마, 클로드 코드, DigUp 앱 세 가지로 정리하고 내 자료 색인과 말로 찾는 순서를 담았다. Qwen3·Jina·BGE-M3와 한국어 문서·사진·영상·소리·코드 비교 결과도 함께 실었다.
터보퀀트 원리, KV캐시를 3비트로 줄이는 구글 압축 기법
구글 터보퀀트가 KV캐시를 3비트로 줄여 메모리를 최소 6배 아끼는 원리를 축구 능력치 비유로 풀었다. 폴라퀀트와 QJL의 역할, 메모리 주가가 흔들린 이유와 그 해석의 한계도 정리했다.
BitNet 원리, 가중치 -1·0·1로 CPU에서 AI 돌리는 법
BitNet이 가중치를 -1·0·+1 세 값으로 줄여 CPU에서 AI를 돌리는 원리를 정리했다. BitNet b1.58 2B4T의 메모리·속도 수치, bitnet.cpp 설치 명령, 일반 양자화와 다른 점과 한계까지 담았다.
무료 로컬 LLM 추천 5종, 필요한 그래픽카드와 라이선스
무료 로컬 LLM 추천 5종인 Qwen3, DeepSeek R1, Gemma 4, Mistral Small 3, Phi-4 Mini의 특징과 필요한 그래픽카드, 라이선스와 상업적 이용 조건을 공식 모델카드 기준으로 정리했습니다.
LM Studio 설정 방법, Context Length 늘리기와 모델 폴더
LM Studio 설정 방법을 41단계로 정리했습니다. 모델 로드, Context Length를 4,096에서 늘리는 법, 시스템 프롬프트와 샘플링 값, 모델 저장 폴더와 따로 받은 GGUF 모델 등록 방법까지 담았습니다.
헤르메스 데스크톱 로컬 모델 설정, 맥미니 32GB 시험기
헤르메스 데스크톱 로컬 모델 설정 방법을 31단계로 정리했습니다. Run models locally로 맥 메모리에 맞는 모델을 받아 대화와 게임 제작을 시험한 결과, 통합 메모리의 장점과 로컬 AI의 한계까지 담았습니다.
맥 로컬 LLM 메모리 계산, 16GB에 들어가는 모델 고르는 법
맥 로컬 LLM 메모리 계산 방법을 12단계로 정리했습니다. Q4_K_M 모델 크기 식, GPU가 쓸 수 있는 몫, M4 대역폭으로 보는 속도 상한을 구해 16GB·24GB·32GB 맥에 7B~32B 모델이 들어가는지 판정합니다.
맥미니 헤드리스 설정, 로컬 AI용 원격 접속과 역할 나누기
맥미니 헤드리스 설정 방법을 46단계로 정리했습니다. 공유 3종과 잠금 화면, 자동 로그인을 맞추고 메인 맥에서 접속해 AI 코딩 도구에 로컬 모델 설치와 브라우저 조사를 맡기는 순서, 막히는 곳과 보안 주의점까지 담았습니다.
로컬 LLM이란, 챗GPT와 다른 점과 레모네이드·Ollama 써 보기
로컬 LLM이란 무엇인지, 챗GPT 같은 클라우드 AI와 다른 점과 비용·보안·개인화 장점, 단점을 설명하고 레모네이드와 Ollama로 질문해 보는 11단계와 설치 방법까지 정리했습니다.
LM Studio 설치 방법, 윈도우에서 인터넷 없이 AI 쓰기까지
LM Studio 설치 방법을 윈도우 기준 28단계로 안내합니다. 설치 파일 받기, 추천 모델 내려받기, 와이파이를 끈 상태에서 질문하기, 모델 이름 읽는 법과 라이선스 확인까지 담았습니다.
Gemma 4 12B 성능, 16GB 맥미니에서 업무 5가지 시험 결과
Gemma 4 12B 성능을 16GB 맥미니에서 업무 5가지로 시험한 결과입니다. LM Studio로 송장 이미지 읽기, 송장 앱 만들기, PDF 요약, 웹 검색, 폴더 정리를 시켜 되는 것과 막히는 지점을 42단계로 정리했습니다.
Ubuntu 26.10 Myna 음성 받아쓰기, 설치 방법과 달라진 점
Ubuntu 26.10 Myna 음성 받아쓰기가 무엇이고 어떻게 설치해 쓰는지, 음성이 내 컴퓨터 안에서만 처리되는 방식과 함께 바뀐 dbus-broker, Sequoia PGP, 커널 7.3, GNOME 51까지 정리했습니다.
오픈소스 결정 모델 라야, 한국어 27분 학습 뒤 시험 결과
오픈소스 결정 모델 라야를 맥에서 한국어로 27분 학습시킨 시험 결과를 정리했습니다. 문의 분류 정확도 49%에서 89%, 확신 90% 기준 자동 처리 비용, 프롬프트 인젝션 방어와 약점, 케브와의 비교까지 담았습니다.
Ollama 의사결정 모델로 1인 기업 만들기, 클로드·GPT·제미나이 비교
Ollama 의사결정 모델을 내 컴퓨터에 받아 AI 1인 기업 시제품을 만드는 40단계를 알려 드립니다. 확률로 답하는 JEV 스타일 모델의 개념, 클로드·GPT·제미나이 비교 결과, CORS 연결 오류 해결법까지 담았습니다.
오픈클로 우분투 설치 방법, 리눅스에 Ollama 모델 붙이는 77단계
오픈클로 우분투 설치부터 Ollama 모델 연결까지 77단계로 정리했습니다. Git 준비, 가짜 모델로 온보딩 넘기기, 게이트웨이 중지 순서, 토큰 오류 해결, 클라우드와 로컬 모델 비용 차이까지 담았습니다.
오픈클로 Ollama 연결 방법, 맥 게이트웨이 오류 해결까지 91단계
맥에서 오픈클로 Ollama 연결을 91단계로 따라 합니다. 임의 모델로 온보딩 넘기기, Ollama 앱 로그인, ollama launch openclaw 실행, Gateway failed to start 오류를 TUI 종료와 게이트웨이 중지로 푸는 법까지 담았습니다.
로컬 LLM 바이브 코딩 방법, 헤르메스 에이전트로 토큰 0원 개발하기
로컬 LLM 바이브 코딩 환경을 llama.cpp와 헤르메스 에이전트, 텔레그램 봇으로 꾸리고 실제 프로그램을 EXE까지 만드는 과정이다. 서버 옵션, 명세서·기획서 프롬프트, 스텝별 테스트, 무한루프 감시와 탈출법을 함께 담았다.
그래픽카드 없이 AI 모델 돌리기, 무료 엔진 콜리브리 설치와 사용법
그래픽카드 없이 초대형 AI 모델을 돌린다는 무료 엔진 콜리브리의 원리와 설치 순서를 정리했습니다. 실제 실행 명령, 필요한 램과 SSD 용량, 느린 속도라는 현실 조건, 기존 코드 연결법까지 담았습니다.
맥미니 AI 서버 만들기, 썬더볼트 직결과 Ollama 설치 19단계
놀고 있는 맥미니를 집 AI 서버로 만드는 19단계를 정리했다. 통합 메모리 기준, 썬더볼트 브리지 메뉴 경로, Tailscale 원격 접속, 아이패드 확장, Ollama 설치와 EXAONE 실행 명령까지 담았다.
소형 AI 모델 홈서버 활용법, 2~4GB 모델로 OCR·요약·번역 돌리기
2~4GB 소형 AI 모델을 저전력 홈서버에서 24시간 돌려 OCR, 글 요약, 의료 문서 이해, 번역에 쓰는 방법을 정리했습니다. Ollama 설치, 모델 받기, 폴더 감시 번역 스크립트 예시까지 담았습니다.
Ollama 설치 방법, 윈도우 PC에 로컬 AI 챗봇 만드는 법
Ollama 설치 방법을 윈도우 기준 31단계로 정리했다. 내려받기부터 VRAM에 맞는 모델 고르기, 인터넷 없이 쓰기, 자동 실행 끄기, 제거와 명령어 사용법까지 담았다.
맥미니 16GB 로컬 AI 사용법, 목소리 복제와 음악 생성까지
맥미니 16GB 로컬 AI로 이미지 생성, TTS, 목소리 복제, 음악 생성, 클로드 코드 연동까지 해 본 42단계 정리. 작업별 필요 램과 가사 섹션 태그 요령, 상업 이용 확인법을 담았습니다.
맥 로컬 LLM 설치 방법, OMLX 설정부터 클로드 코드 연결까지
맥 로컬 LLM을 OMLX로 설치하고 클로드 코드와 opencode에 연결하는 방법을 24단계로 정리했다. MLX 모델 고르기, 컨텍스트 크기와 RAM 사용량, 캐시 관리까지 담았다.
코덱스 ComfyUI 영상 자동화, LTX 2.5 무료 설치부터 생성까지
코덱스 ComfyUI 영상 자동화로 LTX 2.5 영상을 내 컴퓨터에서 무료로 만드는 방법입니다. VRAM 8GB 사양, 포터블 설치, 모델 파일 넣는 폴더, 코덱스에 시키는 문장, 여러 장면 이어 붙이기와 목소리 맞추기까지 담았습니다.