클로드 코드 뮤직비디오 만들기, 영상 AI 없이 노래 파일 하나로

클로드 코드 뮤직비디오 만들기는 영상 생성 AI를 쓰지 않고, 클로드 코드가 가사에 맞춰 코드로 그림을 그리고 이어 붙여 뮤비를 만드는 방식입니다. 이 글은 작업 폴더 준비부터 앱 연결, 요청문, 수정 요청, 토큰 절약 모드까지 23단계로 정리했고, 영상에서 설명란으로만 배포한 지침 파일 대신 쓸 수 있는 예시 지침도 함께 넣었습니다.

영상 AI를 한 번도 안 쓰고 뮤비가 나왔다

채널 "행글라이터"의 화자는 영상 생성 AI를 전혀 쓰지 않았습니다. 노래 파일과 지침 파일을 폴더에 넣고, 클로드 코드(Claude Code, 클로드가 내 컴퓨터 폴더에서 직접 파일을 만들고 프로그램을 실행하는 도구)에게 한 문장으로 요청했을 뿐이라고 말합니다. 그림은 클로드 코드가 코드로 그립니다. 클로드 코드 뮤비 만들기에는 영상 생성 AI가 아예 등장하지 않습니다.

먼저 밝혀 둘 점이 있습니다. 영상 제목의 "지침 프롬프트 제공"은 본편에 전문(全文)이 없습니다. 화자는 지침 묶음을 "뮤비 키트 폴더"라고 부르며 "더보기란(영상 설명란)에 남겨 드릴 건데 이 파일을 다운 받아서 만드신 폴더 안에 넣어 줍니다"라고만 말합니다. 지침 내용을 읽어 주거나 화면에 정리해 보여주는 장면은 발화 기준으로 확인되지 않습니다. 즉 지침은 설명란 링크로 배포됩니다. 받지 못했을 때를 위해 아래 2부에 편집자가 만든 예시 지침을 넣었습니다.

다만 지침이 필수는 아닙니다. 화자는 "클로드한테 이거 없이 바로 만들어 달라고 해도 되는데, 이 지침이 있으면 조금 더 시행착오를 줄일 수 있어서 만들어 놨다"고 말합니다.

클로드 코드가 뮤비를 만드는 순서

화자는 "최근 오퍼스 5.5(Opus 5.5) 모델이 나온 뒤 해외에서도 클로드 코드로 만든 뮤비가 많이 나왔고, 직접 해보니 퀄리티가 꽤 괜찮아서" 이 영상을 준비했다고 말합니다. "퀄리티가 꽤 괜찮다", "코드로 이 정도까지 나오네 싶어 놀랐다"는 모두 화자 개인의 평가입니다. 측정치나 비교 실험은 나오지 않습니다.

작동 순서는 화자 설명으로 이렇습니다.

1. 노래를 분석합니다
2. 가사마다 어떤 그림을 그릴지 장면 계획서를 짭니다
3. 그 계획서를 보고 코드로 이미지를 그립니다
4. 스스로 검수합니다
5. 이미지를 연결해 영상으로 만듭니다

결과물은 작업 폴더 안에 새로 생긴 아웃풋(output) 폴더에 저장됩니다. "코드로 그린다"는 말은, 클로드 코드가 도형과 색을 지정하는 프로그램 코드를 써서 그림 파일을 만들어 낸다는 뜻입니다. 사진처럼 사실적인 그림보다는 단순한 도형 위주의 일러스트에 강한 이유이기도 합니다.

준비물

• 컴퓨터 1대: 기기·운영체제는 영상에서 말하지 않습니다. 클로드 데스크톱 앱은 윈도우와 맥을 지원합니다
• 클로드(Claude) 계정: 요금제·플랜은 원문에 언급이 없습니다. 클로드 코드와 오퍼스 모델은 유료 플랜에서 쓸 수 있으니 공식 요금 안내를 확인해야 합니다
• 클로드 코드(Claude Code) 앱: 없으면 아래 7~9단계에서 설치합니다
• 뮤비로 만들 노래 파일 1개 이상
• 그 노래의 가사 파일: 화자는 "같이 넣어 주시면 좋습니다"라고 말합니다. 메모장에 가사를 붙여넣어 가사.txt로 저장하면 됩니다
• 뮤비 키트 폴더: 화자가 설명란에 올려둔 지침 파일 묶음. 없이도 진행은 됩니다

노래 자체를 만드는 방법은 이 영상 범위 밖입니다. 화자는 "편한 툴로 만드시면 된다"며 지난 영상에서 쓴 모델을 언급하는데, 자막에는 "유에 모델"로 들리고 정확한 표기는 확인하지 못했습니다. 수노(Suno) 같은 AI 작곡 서비스를 쓰거나 직접 녹음한 곡을 쓰면 됩니다.

화자 기준 대기 시간은 동요 1곡에 약 15분입니다. 이것도 화자의 경험담이고, 요금·토큰 실사용량 수치는 원문에 없습니다.

1부. 작업 폴더를 준비한다

1. 컴퓨터에 새 폴더를 하나 만듭니다.
   • 위치: 바탕화면 등 찾기 쉬운 곳. 화자는 정확한 경로를 지정하지 않았습니다. 예를 들어 바탕화면에 뮤비작업 폴더를 만듭니다.
   • 확인: 빈 폴더 하나가 생깁니다.
2. 그 폴더 안에 뮤비로 만들 노래 파일을 넣습니다.
   • 확인: 폴더 안에 노래 파일이 보입니다.
   • 팁: 화자는 "노래들을 넣어 놓습니다"라고 복수로 말합니다. 여러 곡을 한꺼번에 넣어둬도 됩니다.
3. 같은 폴더에 가사 파일을 넣습니다.
   • 확인: 노래 파일과 가사 파일이 같이 보입니다.
   • 주의: 화자는 이 안내를 영상 뒤쪽에서 하지만 실제로는 실행 전에 넣어야 합니다. 파일 형식은 원문에 언급이 없으니 가장 무난한 txt 파일로 저장합니다. 노래가 여러 곡이면 노래제목_가사.txt처럼 짝이 맞게 이름을 붙입니다.

2부. 지침(뮤비 키트)을 내려받아 넣는다

4. 영상 설명란(더보기란)을 펼칩니다.
   • 위치: 유튜브 영상 제목 아래 "더보기".
   • 확인: 뮤비 키트 다운로드 링크가 보입니다.
   • 주의: 링크 주소는 화자가 소리 내어 읽지 않았습니다.
5. 그 링크에서 뮤비 키트 폴더를 다운로드합니다.
   • 확인: 내려받기 폴더에 뮤비 키트 파일(폴더)이 생깁니다.
6. 내려받은 뮤비 키트를 1단계에서 만든 작업 폴더 안으로 옮깁니다.
   • 확인: 작업 폴더 안에 노래 파일, 가사 파일, 뮤비 키트가 모두 들어 있습니다.

뮤비 키트를 구하지 못했다면 아래 내용을 메모장에 붙여넣어 작업 폴더에 뮤비지침.md로 저장합니다. 화자가 설명한 작동 순서와 토큰 절약 요령을 바탕으로 편집자가 만든 것이라 화자 배포본과 같지 않습니다.

# 뮤직비디오 제작 지침

## 목표
폴더 안 노래 파일과 가사 파일로 가사에 맞는 뮤직비디오 MP4를 만든다. 영상 생성 AI는 쓰지 않고, 장면 그림은 코드로 직접 그린다.

## 작업 순서
1. 노래 길이와 박자를 분석하고, 가사 줄마다 시작 시간을 잡는다.
2. 가사 줄마다 어떤 그림을 그릴지 장면 계획서(scene_plan.md)를 먼저 쓴다.
3. 계획서를 보고 장면 이미지를 코드로 그린다. 등장인물의 생김새와 색은 모든 장면에서 같게 유지한다.
4. 그린 장면을 스스로 검수해서 가사와 안 맞거나 깨진 장면만 고친다.
5. 장면을 가사 타이밍에 맞춰 이어 붙이고 노래를 입혀 output 폴더에 MP4로 저장한다. 가사 자막도 화면 아래에 넣는다.

## 스타일
- 사용자가 말한 느낌(종이접기, 수채, 로고송 등)을 모든 장면에 통일해서 적용한다.
- 실사 표현은 피하고, 단순한 도형과 질감으로 표현한다.

## 절약 모드 (사용자가 "절약 모드"라고 하면)
- 코드를 통째로 다시 읽지 말고 필요한 부분만 읽는다.
- 장면 코드는 한 번에 몰아서 만든다.
- 그림 확인은 모든 장면을 한 번에 보고, 고칠 곳도 한 번에 고친다.

3부. 클로드 코드 앱을 준비한다

7. (앱이 없을 때만) 클로드 코드 앱 배포 사이트에 접속합니다.
   • 확인: 다운로드 버튼이 있는 페이지가 열립니다.
   • 주의: 화자는 "이 사이트에서"라고만 말하고 주소를 읽지 않았습니다. 클로드 데스크톱 앱의 공식 다운로드 주소는 claude.ai/download입니다.
8. (앱이 없을 때만) 앱을 다운로드해 설치합니다.
   • 확인: 컴퓨터에 클로드 앱이 설치됩니다.
9. 클로드 앱을 실행하고 로그인합니다.
   • 확인: 앱 화면이 열립니다.
   • 팁: 평소처럼 채팅만 하고 싶으면 기본 채팅 화면을 그대로 쓰면 된다고 화자가 말합니다.

4부. 작업 폴더를 앱에 연결한다

여기는 순서가 고정입니다.

10. 앱에서 "코드" 메뉴를 누릅니다.
    • 위치: 앱 왼쪽 위의 채팅, 코워크, 코드 메뉴 중 하나.
    • 확인: 코드 작업용 화면으로 바뀝니다.
11. 폴더 버튼을 누릅니다.
    • 확인: 폴더 관련 메뉴가 펼쳐집니다.
12. "폴더 열기"를 누릅니다.
    • 확인: 폴더 선택 창이 뜹니다.
13. 1단계에서 만든 작업 폴더를 선택합니다.
    • 확인: 앱이 그 폴더를 열고, 폴더 안 파일들이 인식됩니다.

5부. 요청문을 넣고 실행한다

14. 입력창에서 어떤 노래 파일로 만들 것인지 파일을 지정합니다.
    • 위치: 채팅 입력창. 화자는 파일을 얘기해 준다고 말합니다. 입력창에 @를 치면 폴더 안 파일 목록이 떠서 노래 파일을 고를 수 있습니다.
    • 확인: 입력창에 대상 노래 파일이 첨부·지정된 상태가 됩니다.
15. 요청문을 입력합니다.
    • 확인: 입력창에 요청문이 적혀 있습니다.

화자가 소리 내어 읽은 요청문 그대로입니다.

이 동요로 뮤비를 만들어 달라. 지침을 잘 읽고 종이접기 느낌으로 귀엽게 만들어 달라

도입부 뮤비는 이 한마디로 만들었다고 화자가 말합니다.

이 노래로 가사마다 감성적인 느낌으로 만들어 줘

화자가 예로 든 다른 스타일 표현은 "감성 수채 느낌으로", "재밌게 보일 수 있게끔", "로고송 느낌으로"입니다. 편집자 예시 지침을 쓴다면 요청문은 이렇게 씁니다.

@노래제목.mp3 이 노래로 뮤비를 만들어 줘. 가사는 노래제목_가사.txt에 있어.
뮤비지침.md를 먼저 읽고 순서대로 진행해 줘. 느낌은 감성 수채화 스타일로.

16. 모델을 오퍼스 5.5(Opus 5.5)로 선택합니다.
    • 화자 표현: "모델은 되도록이면 오퍼스 5.5 모델을 선택해서 해 주시면 좋습니다."
    • 위치: 입력창 아래쪽 모델 이름을 눌러 목록에서 고릅니다.
    • 확인: 현재 모델이 오퍼스 5.5로 표시됩니다.
17. 요청을 전송합니다.
    • 확인: 지침을 읽고 생각하기 시작하며 작업 로그가 흐릅니다. 파일을 만들거나 프로그램을 실행해도 되는지 묻는 창이 뜨면 허용합니다.

6부. 진행 상황을 지켜본다

18. 진행 내역을 펼쳐 봅니다.
    • 위치: 작업 로그 영역. 화자는 "이렇게 눌러서 보시면 된다"고만 말합니다.
    • 확인: 스틸(이미지) 파일이 만들어지는 것과 코드로 그림을 그리는 과정이 보입니다.
19. 멈춘 것처럼 보이면 채팅으로 "계속 작업 중이냐"고 물어봅니다.
    • 확인: 진행 중이라는 답이 돌아옵니다.
20. 완성까지 기다립니다.
    • 화자 기준: 동요 1곡에 약 15분.
    • 확인: 완성됐다는 응답이 나옵니다.

7부. 결과물을 확인한다

21. 작업 폴더 안에 새로 생긴 아웃풋(output) 폴더를 엽니다.
    • 위치: 1단계에서 만든 작업 폴더 안.
    • 확인: 완성된 뮤비 파일이 들어 있습니다.
22. 완성 영상을 재생해 봅니다.
    • 확인: 요청한 느낌(예: 종이접기 스타일)으로 가사에 맞는 장면이 이어집니다.

8부. 아쉬운 부분을 말로 수정한다

23. 고치고 싶은 점을 말로 그대로 요청합니다.
    • 확인: 지적한 부분이 바뀐 새 결과물이 나옵니다.

화자가 소리 내어 읽은 수정 요청은 두 건입니다. 처음엔 인물이 "개다리 느낌으로" 걷더라고 말합니다.

똑바로 걷게 해 줘. 머리 스타일도 포니테일로 머리 묶은 것처럼 해 달라

앞으로 달려가는 느낌으로 해 달라

수정 요청은 "몇 번째 장면(또는 몇 초쯤)에서 무엇이 어떻게 이상한지, 어떻게 바꿀지"를 한 문장에 담으면 엉뚱한 장면까지 바뀌는 일을 줄일 수 있습니다.

실사보다 수채·종이접기가 잘 나온다

화자는 실사 느낌을 시켰을 때 어색했다고 말합니다. 코드로 그림을 그려 연결하는 방식이기 때문이라는 설명입니다. 그래서 수채 느낌이나 종이접기 느낌이 더 괜찮게 나온다고 말합니다. 이 판단 역시 화자 개인의 감상입니다.

(선택) 토큰을 아끼면서 여러 곡 만들기

화자는 토큰(AI가 읽고 쓰는 글자 양의 단위, 사용량 한도가 여기에 걸림)이 많이 쓰이는 조건을 "많이 읽을수록, 이미지를 많이 볼수록, 여러 번 계속 주고받을수록"이라고 말합니다. 절약 요령으로는 세 가지를 들었습니다.

• 코드를 통째로 읽지 않고 필요한 부분만 읽게 한다
• 장면 코드를 한 번에 만들게 한다
• 그림 확인도 한 번에 다 찾아서 고치게 한다

지침 파일에 절약 모드가 들어 있어서 말로 요청하면 된다는 것이 화자 설명입니다. 편집자 예시 지침에도 같은 항목을 넣어 두었습니다. 화자가 읽은 요청문은 이렇습니다.

절약 모드로 해 줘

• 확인: 절약 모드로 작업이 진행됩니다.
• 주의: 화자는 "토큰 양이 많이 줄어들긴 하더라"면서도 "퀄리티는 약간 내려갈 수는 있습니다"라고 덧붙입니다.

(선택) 결과물을 레퍼런스로 다시 만들기

화자가 권한 순서는 세 단계입니다.

1. 클로드 코드로 먼저 만든다
2. 느낌이 마음에 들면
3. 그것을 레퍼런스로 삼아 AI 이미지·영상 모델로 다시 만든다

화자는 이때 이미지는 크레아 2(Krea 2로 추정), 영상은 자막상 "미니맥스"로 만들어 비교해 봤다고 말합니다. 그리고 "요거를 참조 삼아서 만드니까 원하는 가이드의 느낌이 더 정확히 살기는 하더라"고 주장합니다.

여기서 한 가지는 그대로 받아들이기 어렵습니다. 화자는 이 영상 모델을 "오픈소스 영상 모델 중에서는 퀄리티가 가장 괜찮다", "아직 컴퓨터 사양이 좀 많이 좋아야 된다"고 설명하는데, 오픈소스·고사양 로컬 실행이라는 성격은 통상 알려진 동명 서비스와 맞지 않습니다. 자막 음성인식 오류 가능성이 있어 실제 모델명은 확인하지 못했습니다. 화자는 "조금 더 낮은 사양에서도 가능해지면 소개해 볼까 준비하고 있다"고 말합니다.

이 응용의 실제 조작 단계는 영상에 나오지 않습니다. 화자는 자기 채널의 AI 이미지·영상 자동화 영상들을 참고하라고만 말합니다. 직접 해 보려면 완성 뮤비에서 마음에 드는 장면을 캡처해 이미지 생성 AI의 레퍼런스(참고 이미지)로 올리고, "이 그림체와 색감 그대로 같은 장면을 더 정교하게 그려 줘"라고 요청하는 것부터 시작하면 됩니다.

뮤직비디오 완성 전 체크리스트

• 작업 폴더 안에 노래 파일이 들어 있다
• 같은 폴더에 가사 파일이 들어 있다
• 같은 폴더에 뮤비 키트(지침) 폴더나 예시 지침 파일이 들어 있다. 또는 지침 없이 갈 것을 의식적으로 택했다
• 클로드 앱의 "코드" 메뉴에서 그 작업 폴더를 열었다
• 모델이 오퍼스 5.5(Opus 5.5)로 선택돼 있다
• 노래 파일을 지정하고 스타일이 담긴 요청문을 보냈다
• 작업 폴더 안에 아웃풋(output) 폴더가 새로 생겼다
• 완성 영상을 재생해 가사와 장면이 맞는지 확인했다
• 아쉬운 점은 말로 수정 요청해 반영했다

자주 막히는 곳

• 작업이 멈춘 것 같다: 생성에 시간이 걸립니다. 화자 기준 동요 1곡 약 15분입니다. 채팅으로 "계속 작업 중이야?"라고 물어보면 상태를 답해 줍니다.
• 인물이 이상하게 걷거나 머리 스타일이 다르다: 1차 생성물의 한계입니다. 고칠 점을 문장으로 요청합니다.
• 인물이 원하는 방향으로 움직이지 않는다: "앞으로 달려가는 느낌으로 해 달라"처럼 방향을 명시합니다.
• 실사 느낌을 시켰는데 어색하다: 코드로 그림을 그려 연결하는 방식이라는 화자 설명입니다. 수채·종이접기 같은 스타일로 바꿔 요청합니다.
• 토큰이 너무 많이 나간다: "절약 모드로 해 줘"를 요청합니다. 퀄리티는 약간 내려갈 수 있습니다.
• 결과 영상을 어디서 봐야 할지 모른다: 작업 폴더 안 아웃풋(output) 폴더를 엽니다.
• 지침 없이 했더니 시행착오가 많다: 설명란에서 뮤비 키트를 받거나 2부의 예시 지침을 작업 폴더에 넣고 다시 요청합니다.

한 문장으로 출발할 수 있는 방식

화자는 마지막에 이렇게 말합니다. "기술이 계속 발전하는 상황에서, 먼저 다양하게 테스트해 보며 어떤 작업에 접목할 수 있을까를 고민하는 사람이 더 빠르게 새로운 길을 찾게 되는 것 같다."

따라 하려면 걸리는 지점은 분명합니다. 지침 전문과 앱 다운로드 주소가 발화에 없어서, 설명란 링크를 직접 받아야 완전히 같은 조건이 됩니다. 반대로 말하면 노래 파일과 클로드 계정, 그리고 "어떤 느낌으로 만들어 달라"는 한 문장만 있으면 일단 출발은 됩니다. 영상 상당 부분이 완성된 뮤비 재생 구간이라 절차 설명 자체는 길지 않습니다.

이 글은 행글라이터 채널의 11분 36초 분량 영상을 자동 자막 기반(빠른 모드)으로 정리했고, 영상 화면은 대조하지 못했습니다. 버튼 이름이나 주소처럼 발화로 읽히지 않은 부분은 일반적인 클로드 앱 사용법으로 보충했고, 예시 지침 파일과 두 번째 요청문은 편집자가 작성한 것입니다. 자막 표기는 "클러드 코드"(클로드 코드), "저약 모드·저량 모드"(절약 모드), "크레아 2"(Krea 2로 추정)로 잡혔고, "유에 모델"과 "미니맥스"는 실제 이름을 확인하지 못했습니다.

출처: youtu.be/…