[SIGGAPH_2021] Neural animation Layerung for Synthesizing Martial Arts Movements

Introduction

• 기존 연구의 아쉬운 점:
  - control signal을 concatenate하는 end-to-end system의 특징은 모호함으로 입력신호의 내재적인 모호함으로 artifacts를 만드는 경우가 있다.
  • 움직임을 control하는 올바른 feature를 선택하는 것은 환경이나 목적에 따라 전체를 재 훈련시켜야 하는 task-specific함이 있다.
  • 미묘한 움직임을 만들어내는 high level control signal을 수정/합치기에 어려움이 있다.
• 본 연구 순서:
  • 1. key joinsts trajectories의 dense signal로 만들어진 full body pose를 예상하는 신경망 motion generator를 훈련시킨다.
    • motion generator는 compact network로 부터 학습하여 공격,방어와 상호 행동들을 재조립한다.또한, projector로서의 역할도 수행한다.
  • 2. 모션 데이터의 선택된 부분집합의 다른 행동들을 위한 독립적인 control module집합을 이용한다.
    • 각각의 controller는 각각의 신경말들을 이룬다. control interface로 future motion trajectory를 만들어낸다.
• 연구 특징:
  • 다양한 움직임과 그의 조합을 만들어 낼 수 있다.
  • control interface는 네트워크가 학습된 후 움직임을 수정하거나 적은 iteration으로 future motion이 추가할 수 있게 한다.
  • control module은 single,multi character의 움직임을 합성한다.

System Overview

• 본 프레임워크는 한 단계에서 layering과 motion progrssion이 되는 현 프레임에서 다음 프레임의 포즈를 예측하는 time-series 시스템이며, control process와 generation process를 가진다.
• 24개의 신체 부분으로 이루어져있는 body model의 motion capture data를 사용하여 unstructured motion capture의 분포를 학습하여 기존 animation과 새로운 상태들을 만든다. 이 네트워크는 움직임 궤적의 부분집합을 따르는 캐릭터 포즈를 만들어내도록 학습되며, 전체 데이터를 encoding한다.
• 우선, 자연스럽지 않은 궤적들을 motion manifold에 투영하여, 필터링한다.
• 새로운 control input이 motion interpolation 할 수 있도록 한다.
• motion generator가 학습된 후, 다른 control module은 독립적으로 만들어진다.
• future trajectory의 key joint가 일반적인 control interface에 더해진다.
• 새로운 trajectory는 generator로 입력되고, 전체 manifold에서 새로운 animation이 만들어진다.

Motion Generator = Gating Network + Pose Prediction Network

• mixture of experts를 이용하며, gating network와 pose predictor neteork로 구성됨.
• Pose Predictor Network

  • 정해진 수의 동일한 network(experts)의 weight를 blending함으로써 만들어짐.

  • Input : $C_i = {C_{i,1},...,C_{i,L}} = {T_i,M_{i,1},...,M_{i,N}}$,current frame의 control series($C_i$in Time wondow(-1s,1s)=13)라는 key joint의 trajectories + chracter pose($P_i$)

    • $T_i$: 2d space에서의 root joint trajectories(위치, 방향, 속도, 조정길이, 조정 각도)

    • $M_i$: 3d space에서의 key joint의 motion trajectories(위치, 앞/옆 방향, 속도)

    • Ci has L(=N+1) channels ,N=11

  • Output: future frame의 pose

• Gating Network
  • Input gi: time window(0,1s) = 7의 future joint tractories의 속력
    • 네트워크가 모션 데이터의 넓은범위를 커버하기위해 저주파 고주파를 기초로하여 모션을 구분짓기위해 위와 같은 입력 사용.
  • Output: blending weights
• $M(C_{i+1}, P_i)$ -> $(P_{i+1},F_{i+1},c_{i+1},R_i)$ = 포즈, 손가락 변형, 손과 발의 이진 접촉, root의 업데이트

Control Modules

• 목적: future control trajectory를 출력하는 특정 행동$B$를 특정짓기
• 형태 (다양): 신경망, 물리학 기초의 시뮬레이션, motion matching, animation clips, user-driven tool
• $B_k(.)$->$\hat C_{i+1}^k, k\in 1,...,K$
• 행동 k에 대한 각각의 컨트롤러 $B_k(.)$는 input에 맞게 다음 프레임의 future control series $\hat C_{i+1}^k$를 매치시킨다.
• 그 후, 다양한 layer기법이 control interface에서 수행된다.
• Locomodation/ Attacking/ Targeting/ Avidance/ Close-Interaction/ Hit Reaction Module

Conrtrol Interface

• 목적: multi task-specific motion trajectories를 하나의 새로운 control series로
• 적용: override layering, additive layering, blending operation