별도의 모션 캡처 장비나 비싼 슈트 없이 2D 영상만으로 3D 캐릭터 애니메이션을 구현하는 AI 오픈소스 프로젝트가 등장했다. 개발사 Patch가 선보인 anymove는 AI가 생성한 단 한 편의 영상 속에서 입체적인 모션 데이터를 추출하는 도구다. 3D 캐릭터 제작과 연출 효율을 극적으로 높이고자 하는 1인 크리에이터와 마케터에게 새로운 작업 흐름을 제시한다.

다중 시점 영상 기반 모션 캡처

anymove 프로젝트는 별도의 모션 캡처 장비 없이 단 한 편의 AI 영상만으로 3D 애니메이션 데이터를 생성한다. 핵심 기술은 하나의 프레임 안에 캐릭터의 정면과 측면 모습을 동시에 담아내는 방식이다. DINOv2 기반의 관절 추적기가 영상에 등장하는 두 시점을 시각적으로 분석하여 모든 관절의 위치를 정확하게 찾아낸다. 정면과 측면이라는 두 시점에서 관절의 높이가 서로 일치한다는 기하학적 특성을 활용하여 3D 공간 좌표를 산출한다. 개발진에 따르면 하나의 클립 동작을 변환하는 데 1분 미만의 시간이 걸리며, 늑대 모델 기준 평균 3D 관절 오차는 0.94cm 수준에 불과한 정밀도를 보여준다.

anymove는 하나의 프레임에 정면과 측면을 동시에 담은 AI 영상에서 3D 애니메이션 데이터를 추출한다.

다양한 생명체와 출력 형식 지원

이 도구는 인간 형태에 국한되지 않고 날개나 꼬리, 다수가 달린 다리를 가진 복잡한 구조의 생명체 모델까지 폭넓게 지원한다. 늑대와 드래곤, 거대 거미, 날개 달린 불꽃 악마 등 사전에 리깅된 3D 캐릭터라면 어떠한 형태든 모션 데이터를 적용할 수 있다. 최종 추출 결과물은 메시와 재질, 애니메이션 정보가 하나의 파일로 결합된 GLB 포맷으로 저장된다. 해당 포맷은 Blender 3.x 및 4.x 버전에 기본 내장된 임포트 기능을 통해 즉시 불러올 수 있다. 다만 파이프라인 구축을 위한 로컬 실행 환경에서는 Python 3.11과 PATH에 등록된 Blender 5.x 환경이 요구된다. 또한 관절 추적기 학습을 진행할 경우 24GB 이상의 VRAM을 갖춘 NVIDIA GPU가 지원되어야 한다.

이 도구는 날개나 꼬리가 있는 복잡한 생명체 모델에도 애니메이션을 적용하며 GLB 파일로 출력한다.

오픈소스 생태계와 비용 구조

anymove는 Apache 2.0 라이선스로 배포되어 개발자와 창작자 누구나 자유롭게 코드를 수정하고 활용할 수 있다. 오픈소스 프로젝트를 공개한 Patch는 깃허브를 통해 전체 소스 코드를 제공하며 로컬 환경에서의 개발 파이프라인 구축을 지원한다. 새로운 AI 기반 모션 클립을 생성할 때는 fal API 서비스(MiniMax H3 Max)를 활용하며, 이때 5초 길이의 영상 클립당 약 0.26달러의 사용료가 발생한다. 사용자는 파이썬과 블렌더 환경을 내 컴퓨터에 구성한 뒤 API 키를 연동하여 손쉽게 자동화 파이프라인을 운영할 수 있다.

오픈소스 생태계와 비용 구조 관련 사진

사진: Fotis Fotopoulos · Unsplash

3D 에셋 제작 효율화 방안

anymove 기술을 도입하면 크리에이터는 수동으로 키프레임을 잡거나 복잡한 리깅 작업을 거치지 않고 빠르게 3D 캐릭터 애니메이션을 완성한다. 생성된 GLB 포맷 파일은 Blender 등 주요 3D 작업 프로그램으로 즉시 가져와 프레임 단위로 렌더링을 진행할 수 있다. 반복적이고 소모적인 모션 작업 시간을 크게 줄여주므로 1인 창작자도 여러 소셜미디어 채널에 분량 높은 콘텐츠를 신속하게 발행하는 환경을 구축하게 된다.

3D 에셋 제작 효율화 방안 관련 사진

사진: Ion (Ivan) Sipilov · Unsplash

참고