Runway가 실시간 가상 세계 생성 모델 GWM Worlds 2를 발표했다. 고정된 비디오 생성을 넘어 사용자의 입력에 맞춰 비디오와 오디오를 연속으로 생성하는 모델이다. 실시간으로 공간을 탐색하고 상호작용하는 인공지능 월드 모델의 시대가 본격적으로 열렸다.

Runway가 공개한 실시간 월드 모델 GWM Worlds 2

Runway가 실시간 상호작용이 가능한 월드 모델 GWM Worlds 2를 공개했다. 이 모델은 오토리그레시브 확산 모델 아키텍처를 기반으로 설계되어 비디오와 오디오를 내부에서 동시에 네이티브로 생성한다.\n\nGWM Worlds 2는 사용자의 플레이 입력에 맞춰 720p 해상도, 초당 24프레임(24fps)의 영상과 48kHz 고음질 오디오를 실시간 생성한다. 기존 비디오 모델과 달리 정해진 세션 길이 제한이 전혀 없어서, 사용자가 입력을 계속 주는 한 고정된 한계 없이 무제한으로 가상 세계의 흐름을 이어간다.

GWM Worlds 2는 720p 해상도, 24fps 영상과 48kHz 오디오를 실시간으로 연속 생성하는 월드 모델이다.

정교한 세계 제어를 위한 WorldPrompt 구조

개발자가 가상 세계의 물리와 일관성을 보존하려면 정교한 통제가 필요하다. Runway는 이를 위해 입력 데이터를 고정 컨텍스트와 동적 행동으로 이원화한 'WorldPrompt' 구조를 고안했다.\n\nWorldPrompt의 지속적 세계 컨텍스트 영역에는 장면 묘사, 대상 캐릭터, 물리 규칙, 첫 프레임 상태를 기본 요소로 설정한다. 반면 시간에 따라 변하는 사용자의 텍스트 기반 행동 스트림은 분리하여 입력한다. 이처럼 정적 정보와 동적 스트림을 분리 처리함으로써 돌발적인 사용자 입력 속에서도 세계의 정체성과 기본 물리 법칙을 흔들림 없이 유지한다.

WorldPrompt는 지속적 세계 컨텍스트와 시간별 행동 스트림을 분리하여 생성 안정성을 높인다.

다중 캐릭터 대화부터 멀티플레이어까지 확장

GWM Worlds 2는 카메라와 제어 대상을 독립적으로 조작하여 1인칭 및 3인칭 시점 탐색을 자유롭게 제공한다. 인공지능 기반의 동적 콘텐츠 설계에 최적화된 유연한 기능을 갖췄다.\n\n구체적으로 AI 생성 음성을 더한 다중 캐릭터 대화 기능과 대규모 언어 모델을 통한 자동 세계 저작을 지원한다. 또한 LiveKit 기술을 활용한 멀티플레이어 세션을 열 수 있어 다중 접속 환경을 구축할 수 있고, 지능형 AI 에이전트를 실시간 훈련하고 검증하는 물리 시뮬레이션 환경으로도 확장된다.

1인칭 및 3인칭 시점 탐색과 LiveKit 기반 멀티플레이어 등 다양한 활용 방식을 지원한다.

연구 프리뷰 단계의 한계와 향후 과제

뛰어난 성과에도 불구하고 이 기술은 현재 연구 프리뷰 단계에 머물러 있어 극복할 과제가 많다. 카메라를 급격히 움직일 때 영상 해상도가 저하되거나 프레임 디테일이 뭉개지는 현상이 나타난다. 또한 장기 기억 처리 능력이 완벽하지 않아 이전에 지나친 지역으로 돌아갔을 때 배경 정보의 일관성이 유지되지 않는 한계가 있다.\n\n공개 API나 상용화 일정은 구체화되지 않았다. 개발자들은 당장 직접 적용하기보다 실시간 가상 세계 생성의 흐름을 파악하고, 생성형 환경을 다루는 월드 프롬프팅 설계를 선제적으로 연구하며 준비해야 한다.

참고