Runway가 실시간 가상 세계 생성 모델 GWM Worlds 2를 발표했다. 정해진 비디오를 한 번 만들고 끝나는 방식과 달리, 사용자의 입력에 맞춰 비디오와 오디오를 계속 이어서 생성하는 모델이다. 실시간으로 공간을 돌아다니며 상호작용하는 인공지능 월드 모델이 본격적으로 나오기 시작했다.

Runway가 공개한 실시간 월드 모델 GWM Worlds 2

Runway가 실시간 상호작용이 가능한 월드 모델 GWM Worlds 2를 공개했다. 오토리그레시브 확산 모델 아키텍처를 기반으로 설계되어 비디오와 오디오를 내부에서 함께 네이티브로 생성한다.

GWM Worlds 2는 사용자의 플레이 입력에 맞춰 720p 해상도, 초당 24프레임(24fps) 영상과 48kHz 고음질 오디오를 실시간으로 만든다. 기존 비디오 모델과 달리 세션 길이 제한이 없어서, 사용자가 입력을 계속 주는 한 가상 세계가 끊기지 않고 이어진다.

GWM Worlds 2는 720p 해상도, 24fps 영상과 48kHz 오디오를 실시간으로 연속 생성하는 월드 모델이다.

정교한 세계 제어를 위한 WorldPrompt 구조

가상 세계의 물리와 일관성을 지키려면 개발자가 세밀하게 통제할 수 있어야 한다. Runway는 이를 위해 입력을 고정 컨텍스트와 동적 행동 두 갈래로 나눈 'WorldPrompt' 구조를 만들었다.

WorldPrompt의 지속적 세계 컨텍스트 영역에는 장면 묘사, 대상 캐릭터, 물리 규칙, 첫 프레임 상태를 기본 요소로 넣는다. 시간에 따라 바뀌는 사용자의 텍스트 기반 행동 스트림은 따로 입력한다. 정적 정보와 동적 스트림을 나눠 처리하기 때문에 사용자가 갑작스러운 입력을 넣어도 세계의 정체성과 기본 물리 법칙이 흔들리지 않는다.

WorldPrompt는 지속적 세계 컨텍스트와 시간별 행동 스트림을 분리하여 생성 안정성을 높인다.

다중 캐릭터 대화부터 멀티플레이어까지 확장

GWM Worlds 2는 카메라와 제어 대상을 따로 조작할 수 있어 1인칭과 3인칭 시점 탐색을 모두 지원한다. 인공지능으로 동적 콘텐츠를 설계하는 데 맞춘 기능도 갖췄다.

AI 생성 음성을 입힌 다중 캐릭터 대화와 대규모 언어 모델로 세계를 자동으로 저작하는 기능을 지원한다. LiveKit 기술로 멀티플레이어 세션을 열어 다중 접속 환경을 만들 수 있고, AI 에이전트를 실시간으로 훈련하고 검증하는 물리 시뮬레이션 환경으로도 쓸 수 있다.

1인칭 및 3인칭 시점 탐색과 LiveKit 기반 멀티플레이어 등 다양한 활용 방식을 지원한다.

연구 프리뷰 단계의 한계와 향후 과제

성과는 크지만 이 기술은 아직 연구 프리뷰 단계라 풀어야 할 과제가 많다. 카메라를 급하게 움직이면 영상 해상도가 떨어지거나 프레임 디테일이 뭉개진다. 장기 기억 처리도 완전하지 않아서, 이미 지나온 곳으로 돌아가면 배경 정보가 앞서 본 것과 달라지기도 한다.

공개 API나 상용화 일정은 아직 구체적으로 나오지 않았다. 개발자라면 당장 적용하기보다 실시간 가상 세계 생성의 흐름을 지켜보면서, 생성형 환경을 다루는 월드 프롬프팅 설계를 미리 연구해 두는 편이 낫다.

참고