[Paper review & Presentation] Phase-functioned neural networks for character control

Introduction

• 딥러닝을 활용한 캐릭터 컨트롤에서 획기적인 발전을 이룬 논문 Phase-functioned neural networks for character control [Holden et al. 2017] 논문을 발표하였다.

• 이 논문에서 제안한 시스템은 단순히 fully-connected layer만 사용하는 것이 아니라 Foot contact를 기반으로 구해진 Phase에 따라서 변화하는 neural network를 통해 character의 pose를 구하는 것이 핵심이다.

PFNN

Summary

This paper introduces a dynamic character control mechanism by computing weights using a cyclic function based on the phase, and other inputs like user controls, the character's previous state, and the scene's geometry. It can produce high-quality motions such as walking, running, and climbing, tailored to various terrains and obstacles, by training on extensive datasets of locomotion.

Key point

• Computes weights using a cyclic function based on the phase

[SIGGRAPH 2022] Paper youtube link

• PFNN

Re-implementation of PFNN

• 석사 입학 전, 인턴 기간동안 연구실 선배의 framework안에서 이 논문을 재구현해보았다.
  - Github link: PFNN Reimplementation
  

Presentation material

• PPT material
  - PPT의 그림과 동영상의 상당부분은 해당 논문과 발표자료로부터 가져왔습니다.

(+)

• PFNN부터 시작하여 "Phase를 활용하여“ character를 control하는 논문들의 큰 줄기들이 있다. (현재 작성하는 날짜 기준: 2023.11.06)

• 이와 관련된 논문들은 크게 다음 목록과 같다. 차례로 읽어보면 큰 흐름을 이해하는데에 정말 도움이 많이 될 것이다.

  • Mode-adaptive neural networks for quadruped motion control [Zhang et al. 2018]

  • Neural state machine for character-scene interactions [Starke et al. 2019]

  • Locomotion phases for learning multi-character movements [Starke et al. 2020]

  • DeepPhase: periodic autoencoders for learning motion phase manifolds [Starke et al. 2022]
    - DeepPhase 논문은 블로그 포스트에도 올렸음. 더 많은 정보가 필요하면 해당링크를 참고바람: DeepPhase

번외

• 열심히 발표자료 만든거니 무단으로 쓰지 말아주세요!ㅠㅠ 사용 시 출처를 꼭 밝혀주세요!