비디오 생성 AI가 발전하면서 현실의 물리 법칙을 이해하는 월드 모델 연구에 관심이 쏠리고 있다. 최근 장시간 상호작용 비디오 월드 모델을 만들기 위한 개방형 프레임워크 SolarWM이 전체 개발 과정과 함께 오픈소스로 공개됐다. 데이터 수집부터 사전학습 모델까지 다 공개돼 개발자가 실무에 가져다 쓰기 좋다.

개방형 비디오 월드 모델 SolarWM 공개

장시간 상호작용 비디오 월드 모델을 구축하는 개방형 프레임워크 SolarWM이 소스코드와 함께 오픈소스로 공개됐다. 공개 범위는 데이터 수집, 정제, 라벨링부터 학습·추론 코드, 사전학습 모델까지 개발 전 과정을 아우른다. 개발자는 자기 환경에서도 검증된 프레임워크로 월드 모델 학습을 바로 시험해 볼 수 있다.

이 프레임워크는 짧은 학습 영상만으로 분 단위에서 시간 단위에 이르는 장시간 롤아웃을 실시간으로 해낸다. 몇 초짜리 짧은 조건만 주어져도 오랫동안 일관된 상호작용 영상을 정밀하게 시뮬레이션할 수 있어서, 자율주행이나 로봇 제어처럼 물리적 예측이 필요한 분야에 쓸모가 있다.

대규모 데이터셋과 학습 규모

SolarWM의 성능은 대규모 물리 데이터셋에서 나온다. 약 25TB 규모의 데이터 큐레이션을 지원하며, 여러 소스에서 모은 143만 개의 영상 클립을 프레임 단위로 맞춰 균일하고 명확한 데이터 관측 계약을 제공한다. 이 파이프라인 덕분에 여러 도메인의 데이터를 일관되게 합쳐 학습할 수 있다.

원천 데이터셋 구성은 출처마다 조금 다르게 적혀 있다. 어떤 기록은 10개 데이터셋을 가공했다고 하고, 공식 프로젝트 페이지 등은 14개 데이터셋에서 추출했다고 안내한다. 그래도 다양한 구조의 백본을 유연하게 결합해 대규모 데이터를 쉽게 학습시킨다는 점은 같다.

SolarWM은 143만 개의 영상 클립과 25TB 규모의 물리 데이터를 통합하여 학습에 활용한다.

모델 구조와 단기 학습의 장기 롤아웃

SolarWM 아키텍처는 연산 효율과 활용 범위를 고려해 여러 매개변수 규모를 지원한다. 네이티브 표현을 그대로 둔 채 50억(5B)에서 330억(33B) 매개변수 범위의 모델을 골라 인스턴스화할 수 있다.

효율을 염두에 두고 설계한 이 인과 모델은 5초 길이의 짧은 학습 영상 시퀀스만으로 장시간의 관계성을 익힌다. 학습을 마친 모델은 분 단위에서 길게는 시간 단위까지 실시간 상호작용 롤아웃을 무리 없이 해내면서도 연산 부담은 크게 낮췄다.

SolarWM은 50억에서 330억 매개변수 범위를 지원하며 5초 분량의 학습만으로 수 시간의 상호작용을 구현한다.

개발자를 위한 활용 시사점

장시간 비디오 생성이나 월드 모델을 연구하는 개발자에게 SolarWM은 반가운 소식이다. 전체 소스코드와 사전학습 가중치가 오픈소스로 모두 제공되므로, 자기 데이터에 맞춰 곧바로 테스트 환경을 꾸릴 수 있다.

모델 백본 설계가 유연해서 이미 쓰고 있는 여러 비디오 생성 아키텍처 파이프라인에 붙이기도 쉽다. 커뮤니티 협업으로 데이터셋이 더 늘어나고 성능 개선이 빨라질 것도 기대해 볼 만하다. 개발자는 이 개방형 프레임워크를 바탕으로 더 정교한 상호작용 시뮬레이션 모델을 만들어 볼 수 있다.

참고