오랜만에 적는 포스팅
진행하던 업무가 1차 프로토타이핑이 끝나서 회고록 느낌으로 적습니다.
요약
-
지금 다니는 회사에서 10월에 새로운 미션이 주어졌다.(정확하게 말해선 내가 셀프로 가져온 미션이긴 하다.)
-
단일 비디오로 부터 3D 모션 캡쳐를 하여 캐릭터에 리타겟팅이 가능하도록 프로토타이핑 진행했다. (1.5개월 가량 3D Pose Estimation과 3D 캐릭터 Retargeting 관련 기술을 조사하고 검증하며 pipeline에 적용)
모션캡쳐라는 기술은 이미 게임업계나 AR/VR에서는 익숙한 단어이지만, 많은 진입장벽이 있게된다.
대표적 방법중 하나인 장비를 이용한 모션캡쳐는 촬영환경이 구축된 스튜디오에서 전문 연기자가 장비를 장착하고 실제 행동을 해야 하는 제약이 있고, 여러 카메라를 활용한 방법론은 마찬가지로 정해진 스튜디오에 카메라가 synchronization 되어 있어야하고, camera calibration도 미리 설정이 되어 있어야한다.
이러한 진입장벽에서 벗어나고자, 인터넷에서 돌아다니는 많은 영상 리소스를 활용하여 모션캡쳐 장비를 통한 수준은 아니더라도 애니메이터가 모션 애니메이션 작업을 하는데에 있어 시간 단축을 할 수 있도록, 초안(draft)정도 수준의 모션캡쳐 결과를 제공해주는게 목표이다.
어떤 기술을 사용했고, 어떤 방법론을 채택했는지는 회사업무이다 보니 자세하게 적기는 어렵지만, 최종적으로 3D Pose Estimation 단일 모델로는 다양한 Edge case들 대응이 어렵고, 후처리를 위한 모델들을 합친 형태(Pose Refinement, Skeleton-Free Method 등등)가 될 듯 하다.
Depth Ambiguity, Occlusion과 같은 모델 성능 저하를 야기하는 어려운 케이스들이 여전히 존재하지만, 차근차근 고도화해 나가며 해결해 나가는 재미가 쏠쏠할것으로 예상한다.
주도적으로 프로젝트를 하게되면, 자연스럽게 프로젝트에 오너쉽이 생기게 되는 듯 하다. 덕분에 혼자 진행하는 이 프로젝트에 업무가 적진 않지만, 보다 즐겁고 재밌게 몰입할 수 있는 원동력이 된다.
프로토타입 중간결과를 공유드리며 마칩니다.
-
Input : Mono Video(김연아)
-
output : Skeleton & 캐릭터 Retargeting
-
Input : Mono Video(쟈니 쿠에토, 투구 폼 킹받네요)
-
output : Skeleton과 캐릭터 Retargeting(gif 변환하면서 영상이 좀 느려진 듯 하네요)
-
영상에서 보는 시점
-
정면에서 보는 시점
-
