쓸모 쓸모연구소 · 실전 노트
제 825 호이번 주 새 글 49 편2026 · 11 · 14
모션그래픽⁠·영상 편집
Claude

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

클로드 코드 뮤직비디오 만들기, 영상 AI 없이 노래 파일 하나로

클로드 코드 뮤직비디오 만들기는 영상 생성 AI를 쓰지 않고, 클로드 코드가 가사에 맞춰 코드로 그림을 그리고 이어 붙여 뮤비를 만드는 방식입니다. 작업 폴더 준비부터 앱 연결, 요청문, 수정 요청, 토큰 절약 모드까지 23단계로 풀었고, 바로 쓸 수 있는 지침 파일 예시도 함께 넣었습니다.

클로드 코드 뮤직비디오 만들기, 영상 AI 없이 노래 파일 하나로 삽화
삽화 · 쓸모연구소

영상 AI 없이 노래 파일로 뮤비를 만드는 원리

이 방식에는 영상 생성 AI가 한 번도 등장하지 않습니다. 노래 파일과 지침 파일을 폴더에 넣고, 클로드 코드(Claude Code, 클로드가 내 컴퓨터 폴더에서 직접 파일을 만들고 프로그램을 실행하는 도구)에게 한 문장으로 요청하면 끝입니다. 그림은 클로드 코드가 코드로 그립니다.

지침 파일이 필수는 아닙니다. 지침 없이 바로 만들어 달라고 해도 뮤비는 나옵니다. 다만 작업 순서와 스타일을 적은 지침이 있으면 시행착오가 조금 더 줄어듭니다.

클로드 코드가 뮤비를 만드는 순서

오퍼스 5.5(Opus 5.5) 모델이 나온 뒤 해외에서도 클로드 코드로 만든 뮤비가 많이 나왔습니다. 코드만으로 만든 결과물치고 퀄리티가 꽤 괜찮다는 평가가 나옵니다. 측정치나 비교 실험이 있는 평가는 아닙니다.

작동 순서는 이렇습니다.

  1. 노래를 분석합니다
  2. 가사마다 어떤 그림을 그릴지 장면 계획서를 짭니다
  3. 그 계획서를 보고 코드로 이미지를 그립니다
  4. 스스로 검수합니다
  5. 이미지를 연결해 영상으로 만듭니다

결과물은 작업 폴더 안에 새로 생긴 아웃풋(output) 폴더에 저장됩니다. "코드로 그린다"는 말은, 클로드 코드가 도형과 색을 지정하는 프로그램 코드를 써서 그림 파일을 만들어 낸다는 뜻입니다. 사진처럼 사실적인 그림보다 단순한 도형 위주의 일러스트에 강한 이유이기도 합니다.

클로드 코드 뮤비 준비물

  • 컴퓨터 1대: 클로드 데스크톱 앱은 윈도우와 맥을 지원합니다
  • 클로드(Claude) 계정: 클로드 코드와 오퍼스 모델은 유료 플랜에서 쓸 수 있으니 공식 요금 안내를 확인해야 합니다
  • 클로드 코드(Claude Code) 앱: 없으면 아래 7~9단계에서 설치합니다
  • 뮤비로 만들 노래 파일 1개 이상
  • 그 노래의 가사 파일: 같이 넣어 두는 편이 좋습니다. 메모장에 가사를 붙여넣어 가사.txt로 저장하면 됩니다
  • 지침 파일: 아래 2부의 예시를 그대로 써도 됩니다. 없이도 진행은 됩니다

노래는 편한 도구로 만들면 됩니다. 수노(Suno) 같은 AI 작곡 서비스를 쓰거나 직접 녹음한 곡을 써도 됩니다.

대기 시간은 동요 1곡에 약 15분 정도 걸린 사례가 있습니다. 요금과 토큰 실사용량은 곡 길이와 수정 횟수에 따라 달라집니다.

1부. 작업 폴더를 준비한다

  1. 컴퓨터에 새 폴더를 하나 만듭니다.
    • 위치: 바탕화면 등 찾기 쉬운 곳. 예를 들어 바탕화면에 뮤비작업 폴더를 만듭니다.
    • 확인: 빈 폴더 하나가 생깁니다.
  2. 그 폴더 안에 뮤비로 만들 노래 파일을 넣습니다.
    • 확인: 폴더 안에 노래 파일이 보입니다.
    • 팁: 여러 곡을 한꺼번에 넣어둬도 됩니다.
  3. 같은 폴더에 가사 파일을 넣습니다.
    • 확인: 노래 파일과 가사 파일이 같이 보입니다.
    • 주의: 실행 전에 넣어야 합니다. 가장 무난한 txt 파일로 저장하고, 노래가 여러 곡이면 노래제목_가사.txt처럼 짝이 맞게 이름을 붙입니다.

2부. 뮤비 지침 파일을 만들어 넣는다

  1. 메모장(맥은 텍스트 편집기)을 엽니다.
    • 확인: 빈 문서가 열립니다.
  2. 아래 지침 전문을 복사해 붙여넣습니다.
    • 확인: 문서에 "# 뮤직비디오 제작 지침"으로 시작하는 내용이 들어갑니다.
  3. 1단계에서 만든 작업 폴더에 뮤비지침.md라는 이름으로 저장합니다.
    • 확인: 작업 폴더 안에 노래 파일, 가사 파일, 지침 파일이 모두 들어 있습니다.

지침은 위에서 본 작동 순서와 아래의 토큰 절약 요령을 그대로 옮긴 것입니다.

프롬프트
# 뮤직비디오 제작 지침

## 목표
폴더 안 노래 파일과 가사 파일로 가사에 맞는 뮤직비디오 MP4를 만든다. 영상 생성 AI는 쓰지 않고, 장면 그림은 코드로 직접 그린다.

## 작업 순서
1. 노래 길이와 박자를 분석하고, 가사 줄마다 시작 시간을 잡는다.
2. 가사 줄마다 어떤 그림을 그릴지 장면 계획서(scene_plan.md)를 먼저 쓴다.
3. 계획서를 보고 장면 이미지를 코드로 그린다. 등장인물의 생김새와 색은 모든 장면에서 같게 유지한다.
4. 그린 장면을 스스로 검수해서 가사와 안 맞거나 깨진 장면만 고친다.
5. 장면을 가사 타이밍에 맞춰 이어 붙이고 노래를 입혀 output 폴더에 MP4로 저장한다. 가사 자막도 화면 아래에 넣는다.

## 스타일
- 사용자가 말한 느낌(종이접기, 수채, 로고송 등)을 모든 장면에 통일해서 적용한다.
- 실사 표현은 피하고, 단순한 도형과 질감으로 표현한다.

## 절약 모드 (사용자가 "절약 모드"라고 하면)
- 코드를 통째로 다시 읽지 말고 필요한 부분만 읽는다.
- 장면 코드는 한 번에 몰아서 만든다.
- 그림 확인은 모든 장면을 한 번에 보고, 고칠 곳도 한 번에 고친다.

3부. 클로드 코드 앱을 준비한다

  1. (앱이 없을 때만) 클로드 데스크톱 앱 다운로드 페이지에 접속합니다.
    • 확인: 다운로드 버튼이 있는 페이지가 열립니다.
    • 주소: 공식 다운로드 주소는 claude.ai/download입니다.
  2. (앱이 없을 때만) 앱을 다운로드해 설치합니다.
    • 확인: 컴퓨터에 클로드 앱이 설치됩니다.
  3. 클로드 앱을 실행하고 로그인합니다.
    • 확인: 앱 화면이 열립니다.
    • 팁: 평소처럼 채팅만 하고 싶으면 기본 채팅 화면을 그대로 쓰면 됩니다.

4부. 작업 폴더를 앱에 연결한다

여기는 순서가 고정입니다.

  1. 앱에서 "코드" 메뉴를 누릅니다.
    • 위치: 앱 왼쪽 위의 채팅, 코워크, 코드 메뉴 중 하나.
    • 확인: 코드 작업용 화면으로 바뀝니다.
  2. 폴더 버튼을 누릅니다.
    • 확인: 폴더 관련 메뉴가 펼쳐집니다.
  3. "폴더 열기"를 누릅니다.
    • 확인: 폴더 선택 창이 뜹니다.
  4. 1단계에서 만든 작업 폴더를 선택합니다.
    • 확인: 앱이 그 폴더를 열고, 폴더 안 파일들이 인식됩니다.

5부. 요청문을 넣고 실행한다

  1. 입력창에서 어떤 노래 파일로 만들 것인지 파일을 지정합니다.
    • 위치: 채팅 입력창. 입력창에 @를 치면 폴더 안 파일 목록이 떠서 노래 파일을 고를 수 있습니다.
    • 확인: 입력창에 대상 노래 파일이 첨부⁠·지정된 상태가 됩니다.
  2. 요청문을 입력합니다.
    • 확인: 입력창에 요청문이 적혀 있습니다.

동요를 종이접기 느낌으로 만들 때는 이렇게 씁니다.

프롬프트
이 동요로 뮤비를 만들어 달라. 지침을 잘 읽고 종이접기 느낌으로 귀엽게 만들어 달라

이 한마디만으로도 뮤비 한 편이 나옵니다.

프롬프트
이 노래로 가사마다 감성적인 느낌으로 만들어 줘

스타일 표현은 "감성 수채 느낌으로", "재밌게 보일 수 있게끔", "로고송 느낌으로"처럼 바꿔 넣으면 됩니다. 2부의 지침 파일을 쓴다면 요청문은 이렇게 씁니다.

프롬프트
@노래제목.mp3 이 노래로 뮤비를 만들어 줘. 가사는 노래제목_가사.txt에 있어.
뮤비지침.md를 먼저 읽고 순서대로 진행해 줘. 느낌은 감성 수채화 스타일로.
  1. 모델을 오퍼스 5.5(Opus 5.5)로 선택합니다.
    • 되도록 오퍼스 5.5를 고르는 편이 결과가 좋습니다.
    • 위치: 입력창 아래쪽 모델 이름을 눌러 목록에서 고릅니다.
    • 확인: 현재 모델이 오퍼스 5.5로 표시됩니다.
  2. 요청을 전송합니다.
    • 확인: 지침을 읽고 생각하기 시작하며 작업 로그가 흐릅니다. 파일을 만들거나 프로그램을 실행해도 되는지 묻는 창이 뜨면 허용합니다.

6부. 진행 상황을 지켜본다

  1. 진행 내역을 펼쳐 봅니다.
    • 위치: 작업 로그 영역. 접힌 항목을 누르면 펼쳐집니다.
    • 확인: 스틸(이미지) 파일이 만들어지는 것과 코드로 그림을 그리는 과정이 보입니다.
  2. 멈춘 것처럼 보이면 채팅으로 "계속 작업 중이냐"고 물어봅니다.
    • 확인: 진행 중이라는 답이 돌아옵니다.
  3. 완성까지 기다립니다.
    • 기준: 동요 1곡에 약 15분.
    • 확인: 완성됐다는 응답이 나옵니다.

7부. 결과물을 확인한다

  1. 작업 폴더 안에 새로 생긴 아웃풋(output) 폴더를 엽니다.
    • 위치: 1단계에서 만든 작업 폴더 안.
    • 확인: 완성된 뮤비 파일이 들어 있습니다.
  2. 완성 영상을 재생해 봅니다.
    • 확인: 요청한 느낌(예: 종이접기 스타일)으로 가사에 맞는 장면이 이어집니다.

8부. 아쉬운 부분을 말로 수정한다

  1. 고치고 싶은 점을 말로 그대로 요청합니다.
    • 확인: 지적한 부분이 바뀐 새 결과물이 나옵니다.

예를 들어 첫 결과물에서 인물이 "개다리 느낌으로" 어색하게 걷는다면 이렇게 고칩니다.

프롬프트
똑바로 걷게 해 줘. 머리 스타일도 포니테일로 머리 묶은 것처럼 해 달라
프롬프트
앞으로 달려가는 느낌으로 해 달라

수정 요청은 "몇 번째 장면(또는 몇 초쯤)에서 무엇이 어떻게 이상한지, 어떻게 바꿀지"를 한 문장에 담으면 엉뚱한 장면까지 바뀌는 일을 줄일 수 있습니다.

클로드 코드 뮤비는 실사보다 수채⁠·종이접기가 잘 나온다

실사 느낌을 시키면 결과가 어색합니다. 코드로 그림을 그려 연결하는 방식이라 사실적인 묘사에는 약하기 때문입니다. 그래서 수채 느낌이나 종이접기 느낌이 더 괜찮게 나옵니다.

(선택) 토큰을 아끼면서 여러 곡 만들기

토큰은 AI가 읽고 쓰는 글자 양의 단위이고, 사용량 한도가 여기에 걸립니다. 토큰이 많이 쓰이는 조건은 많이 읽을수록, 이미지를 많이 볼수록, 여러 번 계속 주고받을수록입니다. 절약 요령은 세 가지입니다.

  • 코드를 통째로 읽지 않고 필요한 부분만 읽게 한다
  • 장면 코드를 한 번에 만들게 한다
  • 그림 확인도 한 번에 다 찾아서 고치게 한다

2부의 지침 파일에 절약 모드가 들어 있어서 말로 요청하기만 하면 됩니다.

프롬프트
절약 모드로 해 줘
  • 확인: 절약 모드로 작업이 진행됩니다.
  • 주의: 토큰 양은 많이 줄어들지만 퀄리티는 약간 내려갈 수 있습니다.

(선택) 결과물을 레퍼런스로 다시 만들기

순서는 세 단계입니다.

  1. 클로드 코드로 먼저 만든다
  2. 느낌이 마음에 들면
  3. 그것을 레퍼런스로 삼아 AI 이미지⁠·영상 모델로 다시 만든다

클로드 코드 결과물을 참조 삼아 만들면 원하는 가이드의 느낌이 더 정확히 살아납니다.

시작하는 방법은 간단합니다. 완성 뮤비에서 마음에 드는 장면을 캡처해 이미지 생성 AI의 레퍼런스(참고 이미지)로 올리고, "이 그림체와 색감 그대로 같은 장면을 더 정교하게 그려 줘"라고 요청하는 것부터 하면 됩니다.

뮤직비디오 완성 전 체크리스트

  • 작업 폴더 안에 노래 파일이 들어 있다
  • 같은 폴더에 가사 파일이 들어 있다
  • 같은 폴더에 지침 파일이 들어 있다. 또는 지침 없이 갈 것을 의식적으로 택했다
  • 클로드 앱의 "코드" 메뉴에서 그 작업 폴더를 열었다
  • 모델이 오퍼스 5.5(Opus 5.5)로 선택돼 있다
  • 노래 파일을 지정하고 스타일이 담긴 요청문을 보냈다
  • 작업 폴더 안에 아웃풋(output) 폴더가 새로 생겼다
  • 완성 영상을 재생해 가사와 장면이 맞는지 확인했다
  • 아쉬운 점은 말로 수정 요청해 반영했다

클로드 코드 뮤비에서 자주 막히는 곳

  • 작업이 멈춘 것 같다: 생성에 시간이 걸립니다. 동요 1곡에 약 15분 정도입니다. 채팅으로 "계속 작업 중이야?"라고 물어보면 상태를 답해 줍니다.
  • 인물이 이상하게 걷거나 머리 스타일이 다르다: 1차 생성물의 한계입니다. 고칠 점을 문장으로 요청합니다.
  • 인물이 원하는 방향으로 움직이지 않는다: "앞으로 달려가는 느낌으로 해 달라"처럼 방향을 명시합니다.
  • 실사 느낌을 시켰는데 어색하다: 코드로 그림을 그려 연결하는 방식이라 그렇습니다. 수채⁠·종이접기 같은 스타일로 바꿔 요청합니다.
  • 토큰이 너무 많이 나간다: "절약 모드로 해 줘"를 요청합니다. 퀄리티는 약간 내려갈 수 있습니다.
  • 결과 영상을 어디서 봐야 할지 모른다: 작업 폴더 안 아웃풋(output) 폴더를 엽니다.
  • 지침 없이 했더니 시행착오가 많다: 2부의 지침 파일을 작업 폴더에 넣고 다시 요청합니다.

한 문장으로 출발할 수 있는 방식

준비물은 많지 않습니다. 노래 파일과 클로드 계정, 그리고 "어떤 느낌으로 만들어 달라"는 한 문장만 있으면 일단 출발은 됩니다. 지침 파일과 가사 파일을 더하면 결과가 안정되고, 수정 요청을 몇 번 주고받으면 원하는 장면에 가까워집니다. 첫 시도는 1분 안팎의 짧은 곡으로 해 보고 걸린 시간과 사용량을 확인한 다음 긴 곡으로 넘어가면 됩니다.

자주 묻는 질문

클로드 코드로 정말 뮤직비디오를 만들 수 있나요?

만들 수 있습니다. 노래와 가사 파일을 폴더에 넣고 클로드 코드에 요청하면, 가사별 장면 계획을 세우고 코드로 그림을 그린 뒤 이어 붙여 output 폴더에 뮤비를 저장합니다. 결과물의 느낌은 곡과 스타일에 따라 달라지니 짧은 곡으로 먼저 시험해 보는 편이 좋습니다.

뮤비 한 곡 만드는 데 얼마나 걸리나요?

동요 1곡에 약 15분이 걸린 사례가 있습니다. 곡 길이, 장면 수, 수정 횟수에 따라 달라지고, 멈춘 것 같으면 채팅으로 진행 상황을 물어보면 됩니다.

지침 파일이 없어도 되나요?

됩니다. 지침 없이 바로 만들어 달라고 해도 뮤비는 나오고, 지침은 시행착오를 줄이는 용도입니다. 이 글 2부의 예시처럼 작업 순서와 스타일, 절약 모드를 적은 파일을 넣어 쓰면 결과가 더 안정됩니다.

어떤 그림 스타일이 잘 나오나요?

실사 느낌은 어색하게 나오고 수채 느낌이나 종이접기 느낌이 더 잘 나옵니다. 코드로 그림을 그려 연결하는 방식이라 단순한 도형과 질감 위주의 스타일이 유리합니다.

클로드 코드 사용량을 아끼는 방법이 있나요?

"절약 모드로 해 줘"라고 요청해 필요한 코드만 읽고, 장면 코드와 그림 확인을 한 번에 처리하게 하면 됩니다. 토큰 사용은 많이 줄지만 퀄리티는 약간 내려갈 수 있습니다.

이 글의 본문은 아래 원본 유튜브 영상의 내용을 바탕으로 쓸모연구소가 다시 정리해 쓴 것입니다. 세부 내용과 최신 정보는 원본 영상과 공식 안내에서 확인해 주세요.

원본 영상 보러가기 ↗