[Paper review] DeepPhase: periodic autoencoders for learning motion phase manifolds

Introduction

딥러닝을 활용한 캐릭터 애니메이션 컨트롤에서 획기적인 발전을 이루어낸 PFNN [Holden et al. 2017]부터 큰 줄기가 이어지는 DeepPhase [Starke et al. 2022] 에 대해서 논문 발표를 진행했다.

• PFNN의 논문은 링크를 참고해주세요!

• Phase를 활용한 딥러닝 캐릭터 컨트롤 관련 논문들의 큰 줄기는 다음의 그림과 같음.

• 자세한 설명은 presentation material의 pdf를 참고!

  

DeepPhase

Summary

This paper introduces a neural network design, "Periodic Autoencoder" which can autonomously learn the repetitive apsects of body movements from unstructured motion dataset.

Key point

The architecture disassembles character movements into different latent variables that track the complex and repetitive movements of different body parts over time.

github

• AI4Animation

모션 데이터에 대해 Starke가 만든 framework에서 바로 쉽게 autoencoder를 학습시킬 수 있다.

[SIGGRAPH 2022] Paper youtube link

• DeepPhase

Presentation material

• PPT material
  - PPT의 그림과 동영상 출처는 해당 논문과 발표자료로부터 가져왔습니다. (The images and videos in the PPT are taken from the relevant papers and presentation materials.)

내 생각 (My thought)

• 최근 강화학습과 GAN으로 character control하는 연구를 진행중이다. 학습시키다 보면 discriminator가 다양한 모션데이터를 학습하는 것을 어려워하는것같다!!.. phase embedding을 discriminator에 함께 학습시키면 mode collapse를 조금 완화할 수 있지 않을까?라는 생각이 들었다. 이후 시간이 된다면 실험을 해보고 싶다.

번외 (Note)

• 열심히 발표자료 만든거니 무단으로 쓰지 말아주세요!ㅠㅠ 사용 시 출처를 꼭 밝혀주세요!