Frustum PointNets for 3D Object Detection from RGB-D Data

• 3D 객체 탐지 방법들과 달리 RGB-D 데이터에서 객체를 탐지하기 위해 Frustum PointNets 모델을 제안

• Frustum PointNets는 RGB-D 데이터를 이용하여 frustum(물체의 시야)을 추출한 후, frustum을 3D 포인트 클라우드로 변환하고, PointNet을 이용하여 객체 탐지를 수행

• 이를 위해 Frustum PointNets는 2D 이미지에서 3D 물체의 위치, 크기, 방향 등을 추정하기 위한 2D-3D 매핑 네트워크와 3D 포인트 클라우드를 입력받아 객체를 탐지하기 위한 PointNet 네트워크로 구성

• we reduce the search space fol- lowing the dimension reduction principle

• 기존 다른 방법들

  • Bird’s eye view based methods: MV3D [6] projects Li- DAR point cloud to bird’s eye view and trains a region pro- posal network (RPN [29]) for 3D bounding box proposal. => 작은 물체에 매우 취약함

Related Work

• 대부분의 3D OD는 Point를 이미지로 바꾸거나, volumetric 형식으로 바꿈
• volumetric grid로 바꾸고 2D CNN을 3D CNN으로 바꿈
  • 이런 cnn 방식 가장 큰 문제 : CNN based methods still require quantitization of point clouds with certain voxel resolution

---

참고로 봐야할 논문들

논문 제목	Publish	한줄 설명	링크
2D-Driven 3D Object Detection in RGB-D Images	ICCV 2017	본 논문과 비슷, but 성능 Bad + Using hand-crafted features (based on histogram of point coordinates)	Link