강의 내용 복습

(10강) 3D Understanding

1. Seeing the world in 3D perspective

1.1 Why is 3D important?
3d 공간에 대한 이해가 AR,VR,robot,medical applications 등에 사용되므로 중요함

1.2 The way we observe 3D
우리는 2d space 에 projection된 3d를 인식함.
projection된 두개의 이미지가 있으면 다시 3d point를 생성할 수 있음 : Trangulation
--> multiple view로 확장

1.3 3D data representation

• 2d representation
  

• 3d representation
  
  Multi-view images, Volumetric 등 여러가지 방법이 있음

1.4 3D datasets

• Indoor data set
  ShapeNet : Large scale synthetic objects (51,300 3D models with 55 categories)
  PartNet : Fine-grained dataset, useful for segmentation (573,585 part instances in 26,671 3D models)
  SceneNet : 5 million RGB-Depth synthetic indoor images
  ScanNet : RGB-Depth dataset with 2.5 million views obtained from more than 1500 scans

Outdoor 3D scene datasets : KITTI, Semantic KITTI, Waymo Open Dataset

2. 3D tasks

2.1 3D recognition

3d object가 어떤 object인지 label 반환

2.2 3D semantic segmentation

3d sementic segmentation

2.3 3D object detection

3d 구조의 object detection

2.4 Conditional 3D generation
Mesh R-CNN : Mask R-CNN 을 변형하여 구현

input : 2d image
output : 3d meshes of detected objects

• Mask R-CNN
  
  최종적으로 b-box, classes, mask를 출력함

• Mesh R-CNN
  
  3d mesh 출력하는 branch 추가

Further Reading
Mesh R-CNN

---

과제 수행 과정 및 결과

De-focusing Using Depth Map

---

피어 세션

---

학습 회고

keep

논문 리뷰를 통해 개념 이해

problem

할일 미루기

try

우선순위로 그날 할일 해결하기