휴대폰 영상의 동작을 3D 무용수에 입혀 무대를 연출하는 서비스

국립현대무용단 등의 비대면 무대 연출을 위한 서비스입니다.

휴대폰으로 찍은 영상만으로 동작을 3D 무용수에 옮기고 그 무용수들을 무대 위에 배치해 연출할 수 있어야 했습니다. 영상, 모션캡처, 모션과 모델의 통합, 무대 연출이 한 과정으로 끊기지 않고 이어져야 했습니다.

요구분석으로 상세 기능을 정의하고 정책과 로직을 설계한 뒤 데이터베이스를 모델링했습니다. React Three Fiber(three.js)로 3D 기능을 만들고 관리자 기능도 개발했습니다. 요구분석과 개발 PM, 개발을 맡았습니다.

핵심은 휴대폰 촬영 영상에서 모션캡처 데이터를 받아 3D 무용수에 입히는 부분입니다. 무대 화면에서는 가져온 동작을 무용수에 붙이고 속도와 구간을 조정하며 연출합니다. 사용자가 쉽게 쓸 수 있는 화면과, 영상부터 무대 연출까지 이어지는 과정의 안정성에 중점을 뒀습니다.

2023년 11월부터 2024년 4월까지 진행했습니다.