[ICP] point-to-plane VS intensity

"포인트-투-플레인 매칭(Point-to-Plane)"과 "영상 강도(Intensity) 매칭"은 3D 포인트 클라우드나 RGB-D 이미지에서 카메라의 움직임을 추정하기 위한 두 가지 대표적인 접근법입니다. 이 두 방법은 각각 장단점이 있으며, 상황에 따라 더 적합한 방법을 선택해야 합니다. 아래에 이 두 접근법의 차이와 장단점을 비교해 설명하겠습니다.

1. 포인트-투-플레인 매칭 (Point-to-Plane Matching)

장점

1. 3D 정보 활용: 포인트-투-플레인 매칭은 깊이 정보를 활용하여 3D 공간에서 두 포인트 클라우드 간의 변환을 추정하기 때문에, 카메라 움직임 추정에 더 직접적이고 명확한 수학적 모델을 제공합니다.
2. 높은 정밀도: 포인트 간의 거리 뿐만 아니라, 타겟 포인트의 평면 법선(normal)을 고려하여 매칭을 수행하므로, 움직임 추정 시 미세한 변화를 감지하는 데 효과적입니다.
3. 노이즈 저항: 깊이 데이터의 노이즈에 대해 어느 정도 강인성을 가지고 있습니다. 특히, 잔차를 최소화할 때 일반적으로 "허버(Huber)" 또는 "평균 제곱 오차(Mean Squared Error)"와 같은 강건한 손실 함수를 사용하여 노이즈의 영향을 줄일 수 있습니다.
4. 거리에 대한 민감도 감소: 포인트 간의 짧은 거리를 기반으로 움직임을 추정하므로, 멀리 있는 객체보다는 카메라와 가까운 객체에 더 민감하게 반응합니다. 이로 인해 근거리 움직임을 더 정확하게 파악할 수 있습니다.

단점

1. 좋은 초기화 필요: 포인트-투-플레인 매칭은 그라디언트 기반 최적화 방법을 사용하기 때문에, 초기 변환 추정이 정확하지 않다면 국소 최적점에 빠질 수 있습니다.
2. 깊이 데이터 의존: 이 방법은 깊이 정보에 크게 의존하므로, 깊이 정보가 없는 경우 또는 깊이 데이터의 노이즈가 심한 경우 정확한 매칭을 얻기 어렵습니다.
3. 평면이 필요한 경우: 포인트-투-플레인 매칭은 타겟 포인트가 평면 위에 있어야 하는 상황을 가정합니다. 따라서 복잡한 형태의 구조나 물체에는 덜 효과적일 수 있습니다.

2. 영상 강도(Intensity) 매칭 (Intensity Matching)

장점

1. 컬러 정보 활용: 깊이 정보뿐만 아니라 RGB 정보를 활용하므로, 영상의 디테일(에지, 코너 등)을 이용한 매칭이 가능합니다. 이는 표면의 질감이나 색상 패턴이 중요한 상황에서 유리합니다.
2. 다양한 상황 적용: 3D 포인트가 잘 정의되지 않은 경우(예: 깊이 데이터가 없거나 노이즈가 심할 때)에도 적용할 수 있습니다. 특히, 단일 컬러 카메라로도 오도메트리를 추정할 수 있습니다.
3. 광범위한 특징 추출: 이미지의 에지, 코너와 같은 다양한 시각적 특징을 추출하고 활용할 수 있어, 평면이 아닌 복잡한 지형에서도 매칭이 가능합니다.
4. 좋은 초기화가 덜 필요: 영상 강도 매칭은 에지 등 이미지의 시각적 특징을 이용하므로 초기 추정이 다소 부정확해도 일정 수준의 매칭을 수행할 수 있습니다.

단점

1. 조명 및 색상 변화에 민감:

• 이미지의 강도는 조명 조건, 반사, 그림자 등의 변화에 민감하므로, 환경이 바뀌거나 조명 조건이 다를 경우 매칭이 어려워질 수 있습니다.

2. 높은 연산 비용: 강도 매칭은 이미지의 모든 픽셀에 대한 그레디언트 계산이 필요하며, 이를 이용한 잔차를 최소화하기 때문에 연산 비용이 높아질 수 있습니다.
3. 노이즈에 민감:

• 영상 강도는 노이즈와 이미지의 저품질(예: 블러, 모션 블러 등)에 민감하므로, 노이즈가 많은 상황에서는 매칭 정확도가 떨어질 수 있습니다.

4. 깊이 정보 부족:

• RGB 이미지 자체로는 정확한 깊이 정보를 제공하지 않으므로, 깊이 기반 매칭보다 위치 추정의 정확도가 떨어질 수 있습니다.

3. 장단점 비교 및 활용 방안

• 포인트-투-플레인 매칭: 3D 깊이 데이터가 정확히 주어진 경우, 포인트 간의 직접적인 3D 관계를 이용해 움직임을 추정하므로 높은 정확도를 제공합니다. 그러나 초기 추정이 좋지 않으면 수렴이 어렵고, 평면 구조가 부족한 복잡한 지형에서는 어려움이 있을 수 있습니다.
• 영상 강도 매칭: 깊이 데이터가 없거나 매칭 시 시각적 특징(예: 에지, 코너)을 활용하고자 할 때 유용합니다. 컬러 정보로도 매칭이 가능하며, 초기화에 덜 민감하지만 조명 변화와 노이즈에 취약합니다.

4. 하이브리드 접근법

두 방법의 장단점을 보완하기 위해, 실제 응용에서는 두 가지 방식을 결합한 하이브리드 매칭(예: RGB-D 오도메트리)을 사용하기도 합니다. 이는 깊이 데이터와 영상 강도 정보를 모두 활용하여 더 정확하고 강건한 움직임 추정을 가능하게 합니다.