브런치 2개로 구성됨
- Color + Sparse Depth map -> Dense Depth map
- Sparse Depth map + Previous Predicted Dense Depth map -> Dense Depth map
Geometric Convolutional layer가 존재 -> 3D geometric cue를 encode 하기위해
CSPN++를 구현해 Dense Depth map를 개선함
CD에서는 깊이 예측을 통해 CD 정보를 추출하는 목적인 브런치
이 브런치를 통해 얻은 Dense Depth맵은 물체 경계면를 잘 인식하나, 색과, 질감의 변화에 민감
DD는 안정적인 반면 물체 경계면에 심한 노이즈가 발생
서로 상호보완적이므로 가중치를 통해 합친다. confidence map
decoder-encoder fusion strategy을 통해 CD 특징을 DD에서 Concat해 합친다.
-> multiple stages로 Color와 Depth의 modality가 합쳐진다.
3D geometry를 인코딩하기 위해 simple geometric convolutional layer가 제안됨.
3D position map을 인풋 레이어에 Concate해 컨볼류션 레이어를 증강
residual block의 conv에 적용
spars dense map의 정확한 depth값이 Dense Depth map Prediction후 보존되지 않을 수 있으므로 CSPN++ 모듈로 백본 후 예측 맵을 개선시킴.
CD는 색깔을 가지고 Depth를 추출하므로 색이 다른 데이터가 들어온다면, 성능 하락
Jacob