Depth Eestimation, Completion 공부

OpenJR·2022년 6월 25일
0

1. 딥러닝을 통한 Depth Estimation

크게 stereo 이미지를 통한 거리 추정과, 모노큘러 카메라를 통한 거리 추정이 있다.

1.1 Stereo

stereo 이미지 단에서 이미 geometry로 대부분의 픽셀 값의 depth를 얻을 수 있어 굳이 딥러닝을 쓰나? 의아해 할 수 있는데, 사실 Epipolar Geometry에서 얻은 Depth는 좀 많이 안좋다.. Plane Sweep Stereo 알고리즘으로 Dense 한 Depth Image을 얻을 수 있긴한데 빵꾸가 뚫려 있어서 사용에 용이하지 않다.
아래 그림처럼 Block Matching 이라는 알고리즘도 존재하는 것 같으나 Plane Sweep알고리즘과의 차이에 대해서는 아직 분석 중이다.


그래서 딥러닝을 사용해, 정확히 이야기하면 RGB이미지를 통해 Sementic Segmentaion정보를 사용해 윤곽을 잘 잡아주고, GT 값을 사용해 더 정확한 뎁스 추정 모델을 만든다.

1.2 Monocular

사실 depth estimation은 아무런 geometry 정보가 없이 depth를 추정하는 mono야 말로 진정한 estimation이 아닌가 싶다.
현재 SOTA 1(BinsFormer), 3(DepthFormer)위가 같은 랩에서 만들어 같은 깃허브를 공유하고 있다. 요즘 RNN계열에서 많이 쓰던 Transformer 개념이 들어간 모델이 많이 있다.

2. Depth Completion

DC는 라이다로 얻은 depth 정보를 RGB 이미지와 퓨전해 depth image를 만드는 기법이다.
라이다를 이미지에 투영해 얻은 Sparse Dense Map을 RGB 영상을 딥러닝 모델에 올려 Dense Depth Map을 얻어 depth completion이라 부른다.

profile
Jacob

0개의 댓글