구글 Genie 4 월드 모델이란, 소리와 대화까지 만드는 방식

구글 딥마인드가 2026년 10월 27일 공개한 Genie 4는 사용자의 행동에 맞춰 장면을 실시간으로 이어 만드는 월드 모델(AI가 만든 세계 안을 돌아다니고 개입할 수 있게 하는 모델)입니다. 이 글은 구글 Genie 4 월드 모델이 Genie 3에서 무엇이 달라졌는지, 소리와 대화를 함께 만드는 방식, Gemini가 맡는 역할, 지금 쓸 수 있는 범위와 알려진 한계를 발표된 내용 기준으로 정리합니다.

구글 Genie 4 월드 모델이 하는 일

월드 모델은 사용자의 입력과 앞선 상황을 바탕으로 다음 장면을 만들어 가며, 그 안을 탐색할 수 있게 한 AI입니다. 미리 만들어 둔 영상을 재생하는 것도, 게임 엔진이 정해 둔 그래픽을 조작하는 것도 아닙니다. 한 장면씩 그때그때 생성하기 때문에, 사용자가 끼어들면 그 상황에 맞춰 세계가 이어집니다.

구글이 공개한 시연 가운데 이런 장면이 있습니다. 커피를 만들다 실수로 컵을 떨어뜨리고, 사과하자 앞에 있는 인물이 그 말에 반응합니다. 볼 지점은 영상의 화질이 아니라 내가 한 행동에 따라 상황이 벌어지고 그다음 장면이 어떻게 이어지느냐입니다. 준비된 영상과 달리 장면이 진행되는 도중에 다른 선택을 해 볼 여지가 생깁니다.

2025년 8월 공개된 Genie 3는 세계를 돌아다니거나 날씨를 바꾸는 식의 실시간 상호작용을 보여 주었습니다. Genie 4는 여기에 두 가지를 더했습니다. 세계 안의 행동에 소리와 대화가 붙는다는 점, 그리고 여러 단계로 이어지는 사건을 다루기 위해 Gemini의 추론을 함께 쓴다는 점입니다.

영상과 소리를 함께 예측하는 구조

구글은 Genie 4가 영상과 오디오를 함께 예측해 생성한다고 설명합니다. 주변 소리, 음악, 인물의 대사가 장면과 같이 만들어지고, 완성된 화면 위에 어울리는 소리를 나중에 얹는 방식이 아닙니다. 사건이 일어나는 시간과 소리가 나는 시간을 한 모델이 함께 다룬다는 점이 이 방식의 핵심입니다.

소리가 따로 놀면 곧바로 어색해집니다. 사람이 말을 멈췄는데 입과 목소리가 엇갈리거나, 물건이 바닥에 닿기도 전에 "쿵" 소리가 나는 경우입니다. 사용자가 장면을 바꾸는 동안에도 이 관계를 계속 맞춰야 합니다.

시연을 볼 때 먼저 확인할 것은 동작과 소리의 타이밍입니다. 가까운 소리와 먼 소리를 실제 공간처럼 구분해 내는지는 별도로 따져 봐야 합니다. 구글도 실시간 오디오의 정확도는 계속 연구 중인 과제로 두고 있습니다. 생성되는 모든 영상과 오디오에는 AI 생성물임을 알리는 보이지 않는 워터마크인 SynthID가 들어갑니다.

생성은 Genie, 점검은 Gemini

구글 설명에 따르면 Genie 4는 Gemini 계열 모델의 능력을 가져와 씁니다. Gemini Omni는 장면의 외형과 행동을 현실에 가깝게 만드는 쪽을 맡고, 다른 Gemini 모델은 장면 전개가 앞뒤가 맞도록 추론합니다. 보도에서는 Gemini 3.8 Flash가 안내 역할로 거론됩니다. 생성되는 화면을 지켜보며 목표를 여러 단계로 나누고, 각 단계가 제대로 끝났는지 확인하는 역할입니다.

예를 들어 "커피를 만들어서 가져다 줘"라는 지시를 생각해 봅니다. 컵에 커피를 담고, 컵을 들고, 상대에게 가져가는 순서가 필요합니다. 중간에 컵이 떨어졌다면 컵을 건네는 다음 단계로 그냥 넘어가면 앞뒤가 맞지 않습니다. 달라진 상황을 확인하고 다음 행동을 고쳐야 합니다. 사용자가 중간에 다른 요구를 하는 경우에도 같습니다.

작은 어긋남이 쌓이는 문제도 있습니다. 컵을 잡고 옮기는 동작은 매일 보는 장면이라 손과 물체가 조금만 어긋나도 눈에 띕니다. 방금 들던 컵이 다음 장면에서도 같은 사람의 손에 있는지, 내려놓았다면 어디에 있는지가 이어져야 합니다. 앞에서 틀어진 모습이 다음 장면의 조건이 되면 오류가 계속 이어지기 때문에, 중간 결과를 보며 방향을 고치는 구조가 도움이 됩니다.

다만 계획과 점검을 나눈다고 생성된 세계의 물리적 정확성까지 보장되지는 않습니다. 점검하는 쪽도 결국 생성된 화면을 보고 판단하기 때문입니다. 컵을 옮기는 모습이 그럴듯해도 실제 컵의 무게나 잡는 데 드는 힘까지 맞는지는 따로 검증해야 합니다. 구글은 로봇 작업 시연에서 Gemini 4 Argon이 다단계 계획을 세워 글로 된 설명으로 Genie 4에 넘기는 예도 보여 주었지만, 생성된 세계에서 얻은 결과를 실제 기계로 옮겨 확인한 내용은 발표에 나오지 않습니다. 영화 촬영 전 리허설은 구도와 동작의 흐름만 맞아도 쓸모가 있지만, 로봇 동작을 훈련하려면 현실의 물리와 얼마나 맞는지가 훨씬 중요합니다.

월드 모델로 해 볼 수 있는 일

아래는 구글이 약속한 기능이 아니라, 소리가 붙고 진행 중인 장면에 개입할 수 있다는 특성에서 떠올릴 수 있는 쓰임입니다.

• 촬영 전 연습: 같은 장면을 여러 방식으로 시험해 구도와 대사 타이밍을 비교합니다. 인물이 말하는 도중에 카메라를 빼는 것과 말이 끝난 뒤에 빼는 것은 느낌이 다릅니다. 화면만 보고 구도를 고르던 데서, 대사와 주변 소리까지 들으며 장면의 호흡을 판단하는 쪽으로 넓어집니다.
• 장면 초안 시험: 같은 상황에서 인물의 행동, 카메라 위치, 대사 타이밍을 바꿔 봅니다. 결과를 받아 보고 고쳐 달라고 다시 요청하는 방식보다, 진행 중인 장면을 놓고 선택을 바꿔 볼 수 있다는 점이 다릅니다.
• 선택에 따라 달라지는 이야기: 관람자가 예상 못 한 행동을 해도 앞에서 벌어진 일과 인물 관계를 이어 가는지 보는 체험형 콘텐츠입니다.

써 보기 전에 따져 볼 일관성 세 가지

월드 모델은 그럴듯한 한 장면보다 바꾼 뒤에도 앞뒤가 맞는지가 더 중요합니다. 시연이나 직접 써 본 결과를 볼 때 다음을 확인할 수 있습니다.

1. 바꾼 것만 바뀌었는가. 인물의 행동만 바꾸고 싶었는데 장소나 조명까지 달라지면 행동을 바꾼 효과를 판단하기 어렵습니다. 초현실적인 장면이라면 공간이 낯설게 변하는 것 자체가 효과일 수 있습니다. 하지만 같은 인물이 계속 나와야 하거나 소품을 다음 장면까지 가져가야 한다면 설정이 유지돼야 합니다.
2. 요청한 것과 그 요청의 연출이 구분되는가. 연인이 나오는 장면 배경에 거대한 괴수를 추가해 달라고 했다고 합시다. 괴수가 나타난 뒤에도 카메라가 계속 인물만 비춘다면 "배경에 괴수를 넣는다"와 "그 괴수가 잘 보이게 촬영한다"는 다른 요청이라는 뜻입니다. 촬영 현장에서도 배우 뒤에서 큰 사건이 벌어지면 카메라를 돌려 사건을 보여 줄지, 배우의 표정을 계속 잡을지 정해야 합니다.
3. 돌아봤을 때 같은 공간이고, 행동의 결과가 남는가. 게임 엔진은 건물과 물체의 위치를 데이터로 저장해 두고 카메라 방향이 바뀌면 그 정보로 화면을 다시 그립니다. 다음 화면을 생성하는 방식에서는 돌아봤을 때 앞서 지나온 공간이 이어져야 길을 찾거나 같은 지점으로 돌아오는 경험이 유지됩니다. 전투가 있는 게임이라면 공격을 맞았을 때 체력이 줄고 그 결과가 다음 행동과 승패에 반영돼야 합니다.

구글도 이 부분을 한계로 인정합니다. 길게 쓰거나 편집을 여러 번 하면 시각 세부 묘사와 물체의 연속성이 흐트러질 수 있고, 상호작용은 몇 분 단위입니다. 읽을 수 있는 글자는 입력 설명에 글자가 들어 있을 때 주로 나오고, 실제 장소를 완벽하게 재현하지는 못하며, 여러 행위자 사이의 상호작용도 연구 과제로 남아 있습니다.

Genie 4는 지금 쓸 수 있나

2026년 10월 기준으로 Genie 4는 신뢰된 테스터를 대상으로 한 연구 프리뷰입니다. 구글은 이후 Project Genie를 통해 Google AI Ultra 구독자에게, 그리고 Gemini API와 Google AI Studio의 초기 파트너에게 확대할 예정입니다. 일반 사용자와 개발자 대상 공개 일정, 요금은 발표된 내용에 없습니다. 관심이 있다면 구글 딥마인드의 Genie 소개 페이지에 있는 대기자 명단을 확인하면 됩니다.