헤르메스 데스크톱 로컬 모델 설정, 맥미니 32GB 시험기

헤르메스 데스크톱(Hermes Desktop) 앱으로 맥미니에 로컬 모델을 올리는 방법을 31단계로 정리했습니다. 설정에서 "Run models locally"를 고르면 앱이 내 맥 메모리에 맞는 모델을 골라 받아 줍니다. 메모리 32GB 맥미니 M6에서 대화, 스네이크 게임, 3D 슈팅 게임을 만들어 본 결과와 로컬 AI를 쓰는 이유, 한계도 함께 담았습니다.

맥미니 로컬 AI, 기술 지식 없이 되나

맥미니는 값에 비해 로컬 AI를 돌리기 좋은 컴퓨터로 자주 꼽힙니다. 확인하고 싶은 질문은 세 가지입니다.

• 기술 지식 없이 맥미니에 로컬 모델을 올리는 가장 쉬운 방법은?
• 이 기기가 어떤 작업량을 감당하나?
• 맥미니 하나로 클라우드 AI 구독을 끊을 수 있나?

시험 기기는 2026년 8월 발표된 맥미니 M6에 메모리를 32GB로 올린 구성입니다. 결론은 "돌릴 수 있다"입니다. 대화는 클라우드 AI와 비슷하게 빠르게 느껴졌고, 단일 HTML 파일 게임 두 개도 만들어졌습니다. 다만 지금의 최상위 클라우드 모델만큼 똑똑하지는 않습니다.

헤르메스 에이전트와 데스크톱 앱

헤르메스 에이전트(Hermes Agent)는 Nous Research가 만든 오픈소스 AI 에이전트입니다. 컴퓨터에서 돌아가며 개인 비서처럼 일을 맡는 프로그램이고, 클라우드 모델과 로컬 모델 모두에 붙여 쓸 수 있습니다. 헤르메스 데스크톱은 이를 마우스로 쓰게 만든 앱입니다.

공식 문서 기준으로 데스크톱 앱에는 Local Models 기능이 기본으로 켜져 있습니다. 앱이 llama.cpp(로컬 모델 실행 엔진) 공식 빌드를 내려받아 설치하고, 모델 목록에서 내 기기에 맞는 것을 추천해 줍니다. 추천 기준은 이렇습니다.

• 모델 전체가 GPU(맥은 통합 메모리)에 올라가면서 초당 20토큰 이상 나올 것으로 예상되는 것 가운데 품질이 가장 높은 모델
• 4비트 아래로 줄인 버전은 제안하지 않음
• 추천 모델은 최소 64K 컨텍스트

목록의 각 모델에는 "Fits your GPU"(GPU 메모리에 다 들어감), "Uses system RAM"(되지만 느림), "Too big for this machine"(이 기기엔 너무 큼) 표시가 붙습니다. 앱과 여기서 받는 모델은 무료입니다.

따라 하기: 헤르메스 데스크톱으로 로컬 모델 올리기

1단계 1동작으로 나눴습니다. 버튼 이름은 앱의 영어 표기 그대로입니다. 4~6부는 성능을 시험해 보는 과정이라 선택입니다.

준비물

• 애플 실리콘 맥. 시험 기기는 메모리 32GB 맥미니 M6입니다. 16GB 맥이면 더 작은 모델이 추천됩니다.
• 디스크 여유 공간. 32GB 기기에서 추천된 모델은 약 21GB였습니다. 실행 엔진도 수백 MB를 씁니다.
• 헤르메스 데스크톱 앱. Nous Research의 헤르메스 에이전트 공식 사이트(hermes-agent.nousresearch.com)에서 받습니다.
• 인터넷 연결. 앱과 모델을 받을 때만 필요합니다. 모델을 올린 뒤에는 인터넷 없이도 씁니다.
• 비용: 앱과 모델은 무료입니다. 컴퓨터 값은 따로 듭니다.

1부. 헤르메스 데스크톱 설치하기

1단계. 헤르메스 데스크톱 앱을 다운로드합니다. 확인: 앱 파일(.dmg)이 컴퓨터에 받아집니다.

2단계. 받은 Hermes 앱을 Applications(응용 프로그램) 폴더로 끌어 옮깁니다. 확인: Applications 폴더 안에 Hermes 앱이 보입니다. 맥에서 앱을 설치하는 일반적인 방식입니다.

3단계. Applications에서 Hermes를 엽니다. 확인: 설치 화면이 나오고 필요한 구성 요소를 내려받습니다.

4단계. 설치가 끝날 때까지 기다립니다. 확인: "All installed."가 뜹니다. 시험 기기에서는 약 45초 걸렸습니다.

5단계. 설치가 끝난 Hermes를 실행합니다. 확인: Hermes agent 화면이 열립니다.

2부. 로컬 모델 올리기

6단계. Hermes agent 화면 오른쪽 위의 settings를 클릭합니다. 확인: 설정 화면이 열립니다.

7단계. "providers"를 클릭합니다. 확인: 모델 제공자를 고르는 화면이 열립니다.

8단계. "run models locally"(로컬 모델 실행)를 클릭합니다. 확인: Hermes가 내 컴퓨터에서 돌릴 최적 모델을 자동으로 정합니다. 32GB 기기에서는 알리바바의 Qwen3.6 35B(전체 350억 파라미터 가운데 한 번에 30억만 쓰는 MoE 구조 모델)가 골라졌습니다. 메모리가 다르면 다른 모델이 나옵니다.

9단계. "set up for me"를 클릭합니다. 확인: 실행 엔진 설치와 모델 다운로드가 시작됩니다. 이 모델은 약 21GB입니다.

10단계. 다운로드가 끝날 때까지 기다립니다. 확인: Hermes 화면으로 돌아옵니다. 인터넷 속도에 따라 수 분에서 수십 분 걸립니다.

11단계. 화면에서 모델을 고르는 부분을 클릭합니다. 확인: 모델 목록이 나타납니다.

12단계. 목록을 아래로 스크롤합니다. 확인: "Local Qwen3.6 35B" 같은 로컬 모델 항목이 보입니다.

13단계. 로컬 모델 항목을 클릭합니다. 확인: 모델이 선택되고 새 대화가 이 로컬 모델로 돌아갑니다.

3부. 첫 대화로 동작 확인하기

14단계. 입력창에 아래 문장을 입력합니다. 확인: 입력창에 문장이 보입니다.

Hey, are you there?

15단계. 엔터 키를 누릅니다. 확인: 응답이 옵니다. 첫 전송은 모델을 메모리에 올리느라 조금 더 걸리고, 그다음부터는 훨씬 빨라집니다.

16단계. 응답을 읽습니다. 확인: "Hey, I'm here. What can I do for you?" 같은 응답이 나옵니다. 여기까지 됐다면 로컬 모델을 처음 올리는 데 성공한 것입니다. 첫 대화에서는 Hermes가 간단한 사용자 프로필을 설정하겠냐고 묻기도 합니다.

4부. (선택) 자기소개 알려 주고 인사말 만들기

자기 정보로 바꿔 넣으면 됩니다.

17단계. 입력창에 자기소개를 입력합니다. 확인: 입력창에 문장이 보입니다.

I'm Minji. I'm a content creator and entrepreneur. I create content about AI. say hi to my audience.

번역: 저는 민지예요. 콘텐츠 크리에이터이자 창업자이고, AI에 관한 콘텐츠를 만들어요. 제 구독자들에게 인사해 주세요.

18단계. 엔터 키를 누릅니다. 확인: 생각 과정(thinking)이 화면에 보이고, 인사말 초안이 나옵니다.

19단계. 어디에 주로 게시하는지 묻는 질문에 답합니다. 확인: 예를 들어 "YouTube, X, all of those places"처럼 답하면 그에 맞춘 인사말이 나옵니다.

체감 속도는 클라우드 AI와 비슷했습니다. 질문을 보낸 시각과 답을 받은 시각이 같은 분 안이라, 1분이 채 안 걸렸습니다. 초당 토큰 수를 잰 값은 아닙니다.

5부. (선택) 간단한 앱 시험: 스네이크 게임

20단계. 입력창에 아래 요청을 입력합니다. 확인: 입력창에 요청이 보입니다.

Can you build me a snake game using single file HTML?

번역: HTML 파일 하나로 스네이크 게임을 만들어 줄래?

21단계. 엔터 키를 누릅니다. 확인: 모델의 생각 과정이 보이고 코드를 쓰기 시작합니다.

22단계. 코드 생성이 끝날 때까지 기다립니다. 확인: 완료됩니다. 시험에서는 78줄짜리 코드가 나왔습니다.

23단계. 만들어진 HTML 파일을 브라우저에서 엽니다. 확인: 스네이크 게임 화면이 브라우저에 나옵니다. 답변에 파일 저장 위치가 적혀 있으면 Finder에서 그 파일을 더블클릭합니다. 코드만 나왔다면 텍스트 편집기에 붙여 snake.html로 저장한 뒤 엽니다.

24단계. 게임을 플레이합니다. 확인: 뱀이 먹이를 먹으면 커지고, 죽으면 "Game over"와 점수가 나옵니다. 화면에 게임 제목이 겹쳐 남는 정도의 문제는 "제목을 게임 시작 전에만 보여 줘"처럼 다시 요청하면 고쳐집니다.

6부. (선택) 더 복잡한 시험: 3D 슈팅 게임

25단계. 입력창에 아래 요청을 입력합니다. 확인: 입력창에 요청이 보입니다.

Can you build me a single file HTML 3D first-person shooter?

번역: HTML 파일 하나로 3D 1인칭 슈팅 게임을 만들어 줄래?

26단계. 엔터 키를 누릅니다. 확인: 완료되면 "Here's your 3D shooter"라고 알려 줍니다. 3D 엔진, 적, 사격과 재장전 기능이 들어 있다고 설명합니다.

27단계. 만들어진 HTML 파일을 브라우저에서 엽니다. 확인: 게임 시작 화면이 나옵니다.

28단계. 게임을 플레이합니다. 확인: 적을 쏘면 경험치가 오르고 오른쪽 위에 지도가 보입니다. 옛날 게임 울펜슈타인과 비슷한 느낌입니다.

29단계. 결과를 평가합니다. 확인: 역대 최고의 3D 게임은 아니지만, 인터넷 없이 내 책상 위 컴퓨터가 만든 결과라는 점이 핵심입니다. 최상위 클라우드 모델과 같은 수준을 기대할 일은 아닙니다.

7부. 마무리 점검

30단계. 처음 질문으로 돌아가, 맥미니에서 로컬 AI가 쓸 만한지 판단합니다. 확인: 대화와 간단한 코드 작업은 꽤 괜찮은 속도로 됩니다.

31단계. 이후 활용 방향을 정합니다. 확인: 익숙해지면 모델을 내 용도에 맞게 손보는 LoRA(모델 일부만 추가 학습시키는 방법) 같은 고급 단계로 넘어갈 수 있습니다.

마지막 점검

• Hermes가 열리고 로컬 모델이 선택돼 있다.
• "Hey, are you there?"에 응답이 온다.
• (선택) 스네이크 게임 코드가 만들어져 브라우저에서 돈다.
• (선택) 3D 슈팅 게임이 만들어져 브라우저에서 플레이된다.

막혔을 때

• 첫 응답이 오래 걸릴 때: 첫 전송에서 모델을 메모리에 올리는 중입니다. 기다리면 이후는 훨씬 빨라집니다.
• 추천 모델이 없다고 나올 때: 내 기기에서 초당 20토큰 이상 낼 모델이 없다는 뜻입니다. 목록에서 "Uses system RAM" 표시가 붙은 더 작은 모델을 직접 고르면 느리지만 쓸 수 있습니다.
• 다운로드가 멈췄을 때: 터미널의 hermes model 화면에서는 Ctrl+C로 다운로드를 멈추고, 같은 모델을 다시 고르면 이어 받습니다.
• 만들어진 게임에 어색한 부분이 있을 때: 고칠 점을 구체적으로 적어 다시 요청합니다.

로컬 AI에 맥을 쓰는 이유와 한계

통합 메모리

애플 실리콘 맥은 CPU와 GPU가 메모리를 함께 쓰는 통합 메모리 구조입니다. 그래서 그래픽카드 메모리가 따로 정해진 PC와 달리, 컴퓨터 메모리의 상당 부분을 모델 로딩에 쓸 수 있습니다. 전부는 아니고 흔히 약 75%로 알려져 있어, 32GB 기기라면 24GB 안팎이 모델 몫입니다. 21GB 모델이 이 기기에 추천된 것도 그 범위 안이기 때문입니다.

일상 작업용 기기에서 같이 돌린다

macOS는 업무용으로 많이 쓰니, 매일 일하는 기기에서 로컬 AI도 함께 돌릴 수 있습니다. 창작 작업을 한다면 같은 기기에서 이미지 생성 모델도 돌릴 수 있습니다.

속도는 아직 엔비디아가 앞선다

엔비디아 RTX 5090 같은 고성능 그래픽카드에서는 로컬 모델이 훨씬 빠르게 돕니다. 애플 칩은 그보다 조금 느리고, 속도 면에서는 아직 따라가는 쪽입니다.

가격과 모델 수준

맥미니 M6 기본형(메모리 16GB) 시작가는 미국 기준 899달러이고, 32GB 구성은 그보다 비쌉니다. 작은 컴퓨터 한 대로 꽤 큰 모델을 돌릴 수 있다는 점이 장점입니다.

모델 수준은 기대를 조절해야 합니다. 이 정도 로컬 모델을 1년 전 최상위 클라우드 모델에 견주는 평가도 있지만, 지금의 최상위 클라우드 모델(예: Claude Opus 5.5)과 비교하면 분명히 떨어집니다. 2년 전 클라우드 모델이 이 데모를 보였다면 놀랐을 수준이라고 보면 됩니다.

로컬 AI를 쓰는 이유

비용

컴퓨터 값은 들지만 그 뒤로는 요금이 없습니다. 월 200달러짜리 AI 요금제를 쓰던 사람이 이 수준의 지능으로 충분하다면, 기본형 가격 기준으로 4~5개월이면 기계값을 뽑는 계산이 나옵니다. "이 수준으로 충분하다"는 조건이 붙은 계산입니다.

프라이버시

클라우드 모델은 프롬프트가 데이터센터 서버로 가지만, 로컬 모델은 내 컴퓨터에 남습니다. 인터넷이 끊겨도 돌아갑니다.

통제권과 투명성

원하면 모델을 맞춤화하고, LoRA로 내 말투나 문체를 입힐 수도 있습니다. 클라우드 모델은 생각 과정이 숨겨진 경우가 많은데, 로컬 모델은 생각 과정을 전부 볼 수 있다는 점도 장점입니다.

투자 수익만 따지지 않아도 된다

모든 일을 투자수익률(ROI)로 따질 필요는 없습니다. 로컬 AI를 직접 올려 보는 일은 재미있고, AI가 어떻게 돌아가는지 배우는 교육 효과도 큽니다. AI가 앞으로 일과 경제에 미칠 영향이 커질수록 직접 손으로 만져 본 경험이 도움이 됩니다.