무료 로컬 LLM 추천 5종, 필요한 그래픽카드와 라이선스

내 PC에서 돌릴 수 있는 무료 로컬 LLM 추천 목록으로 자주 꼽히는 다섯 모델을 정리했습니다. Qwen3, DeepSeek R1, Gemma 4, Mistral Small 3, Phi-4 Mini가 각각 무엇을 잘하고, 어느 정도 그래픽카드나 맥이 필요하며, 라이선스상 상업적으로 써도 되는지를 공식 모델카드 기준으로 적었습니다.

무료 로컬 LLM 다섯 종을 고른 기준

로컬 LLM은 회사 서버가 아니라 내 컴퓨터에서 직접 돌리는 언어 모델입니다. 아래 다섯 모델은 성능 순위라기보다 용도별 대표 모델입니다. 코딩⁠·다국어, 수학⁠·추론, 이미지 입력, 에이전트, 저사양 PC처럼 쓰임새가 겹치지 않게 골랐습니다.

파라미터 수⁠·라이선스⁠·벤치마크 수치는 Hugging Face의 공식 모델 페이지(Qwen/Qwen3-14B, deepseek-ai/DeepSeek-R1, mistralai/Mistral-Small-24B-Instruct-2501, microsoft/Phi-4-mini-instruct)와 구글의 Gemma 4 발표 글에 나온 값입니다. 이 목록은 2026년 6월 기준입니다. 그 뒤로도 Qwen3.5·Qwen3.6, Gemma 4 12B처럼 후속 모델이 계속 나오고 있으니, 받기 전에 같은 계열의 최신 버전이 있는지 한 번 확인하는 편이 좋습니다.

다섯 모델의 특징과 필요한 사양

1위. Qwen3: 코딩⁠·한국어⁠·다국어 종합형

코딩, 한국어, 다국어를 두루 잘하는 종합형으로 많이 꼽힙니다. 14B 모델은 RTX 3060(VRAM 12GB)급 그래픽카드에서도 4비트로 줄인 파일이면 무리 없이 돌아갑니다.

• 만든 곳과 라이선스: 알리바바, Apache 2.0
• 특징: 하이브리드 추론. 깊게 생각하는 thinking 모드를 켜고 끌 수 있습니다.
• 필요한 사양: 14B는 RTX 3060급, 32B는 RTX 4090(VRAM 24GB)급
• 컨텍스트(한 번에 읽는 분량): 기본 32K 토큰, YaRN(컨텍스트를 늘리는 기법)을 쓰면 128K

2위. DeepSeek R1: 수학⁠·추론 특화

수학과 논리 추론에 강하고, 답을 내기 전 생각 과정을 화면에 그대로 보여 줍니다. 원본은 6,710억 파라미터(671B)짜리라 개인 PC로는 못 돌립니다. 로컬에서 쓰는 것은 원본의 답을 작은 모델에 학습시킨 증류(distill) 버전입니다.

• 라이선스: MIT
• 증류 버전 크기: 1.5B부터 70B까지(1.5B, 7B, 8B, 14B, 32B, 70B)
• 필요한 사양: 7B는 RTX 3060급

증류 모델은 원본과 같은 성능이 아닙니다. 7B는 원본 671B의 추론 방식을 흉내 낸 작은 모델이라고 보면 됩니다. 또 증류 모델은 Qwen2.5나 Llama를 바탕으로 만들어서, 바탕 모델의 라이선스 조건도 함께 따릅니다. 70B·8B처럼 Llama 기반 버전은 Llama 라이선스를 확인해야 합니다.

3위. Gemma 4: 이미지까지 읽는 구글 모델

구글이 Gemma 4부터 라이선스를 Apache 2.0으로 바꿨습니다. 그 전 Gemma는 구글 자체 이용 약관을 따랐습니다. 글뿐 아니라 이미지도 읽고, 작은 버전은 맥북 에어에서도 잘 돌아갑니다.

• 출시: 2026년 4월
• 입력: 이미지⁠·영상을 받는 멀티모달, 140개 이상 언어
• 모델 크기: E2B·E4B 엣지 모델은 노트북⁠·휴대기기용(컨텍스트 128K), 26B·31B는 최대 256K 컨텍스트
• 2026년 6월에는 그 사이 크기인 12B도 추가됐습니다.

4위. Mistral Small 3: 다국어와 에이전트

수십 개 언어를 다루고, 검색 결과를 붙여 답하게 하는 RAG나 도구를 부르는 에이전트 작업에 강한 편입니다. 코딩 벤치마크 HumanEval에서 84.8%를 기록했습니다.

• 정식 이름: Mistral Small 24B Instruct 2501, Apache 2.0
• 특징: 수십 개 언어, RAG·에이전트
• 벤치마크: 코딩 HumanEval 84.8%
• 필요한 사양: 24B를 그래픽카드 한 장(RTX 4090급) 또는 메모리 32GB 맥에서, 4비트로 줄인 파일 기준

5위. Phi-4 Mini 3.8B: 그래픽카드 없이 도는 초경량

38억 파라미터짜리 초경량 모델이라 GPU 없이 CPU만으로도 돌아갑니다. 크기에 비해 수학 점수가 높아, 초등 수학 문장제 벤치마크 GSM8K에서 88.6점을 받았습니다.

• 만든 곳과 라이선스: 마이크로소프트, MIT
• 필요한 사양: VRAM 4GB 그래픽카드 또는 CPU 단독
• 벤치마크: 수학 GSM8K 88.6, MATH 64.0
• 컨텍스트: 128K

다섯 모델 라이선스, 상업적으로 써도 되나

다섯 모델 모두 Apache 2.0이나 MIT 라이선스라 상업적으로 쓰는 데 사용료가 없습니다. Apache 2.0이 세 종(Qwen3, Gemma 4, Mistral Small 3), MIT가 두 종(DeepSeek R1, Phi-4 Mini)입니다. 두 라이선스 모두 고쳐 쓰거나 서비스에 넣어도 되고, 대신 원래 라이선스 문구와 저작권 표시를 남겨야 합니다.

예외는 앞에서 적은 DeepSeek R1의 Llama 기반 증류 모델입니다. 이 버전은 Llama 라이선스 조건이 따라붙습니다. 업무에 쓰기 전에는 내가 받는 파일의 모델 페이지에서 License 항목을 직접 확인합니다.

API 사용료가 0원이라는 점도 장점으로 꼽힙니다. 다만 모델을 돌릴 그래픽카드나 맥 같은 하드웨어 비용, 전기료는 따로 듭니다. 이미 사양이 되는 PC가 있을 때 이득이 큽니다.

내 PC 사양별로 고르는 로컬 LLM

위 요건을 하드웨어 기준으로 다시 묶으면 이렇습니다.

• CPU만 있거나 VRAM 4GB: Phi-4 Mini
• 맥북 에어(메모리 16GB 안팎): Gemma 4 E4B 엣지 모델
• RTX 3060급(VRAM 12GB): Qwen3 14B, DeepSeek R1 7B
• 그래픽카드 한 장(RTX 4090급) 또는 32GB 맥: Mistral Small 3 24B
• RTX 4090(VRAM 24GB): Qwen3 32B

여기 적은 사양은 4비트로 줄인 파일을 기준으로 한 어림값입니다. 컨텍스트를 길게 잡으면 메모리를 더 쓰니, 실제로는 모델 페이지의 파일 크기가 내 VRAM보다 넉넉히 작은지 보고 고릅니다. 모델은 Ollama나 LM Studio 같은 무료 실행 프로그램에서 이름으로 검색해 받을 수 있습니다.