[SLAM] key frame 선택

About_work·2024년 4월 3일
0

global mapper

목록 보기
5/37

개요

  • RGB 이미지는 로봇의 pose와 매칭되어 별도로 저장할 수도 있다. (point cloud의 채널에 반영하는 것이 아닌)
  • Keyframe 선택 이라고 함: 키 프레임은 환경의 변화, 새로운 정보의 추가, 또는 로봇의 상당한 이동을 기반으로 선택
    • 이때, 아래와 같은 기법들을 통해, 저장되는 양을 줄여서 저장할 수 있다.

key frame 선택의 여러가지 기법

  • 키 프레임 선택 알고리즘의 주요 목표
    • 데이터의 양을 효과적으로 관리하고, 시스템의 계산 부담을 줄이며, 매핑의 정확성을 최적화하는 것
  • 여기서는 몇 가지 대표적인 키 프레임 선택 알고리즘과 그들의 적용 상황 및 장단점에 대해 소개

1. 기본 거리 기반 선택

알고리즘 설명

  • 이 방법은 가장 간단하고 직관적인 접근 방식 중 하나

  • 로봇이나 카메라가 마지막으로 선택된 키 프레임으로부터 일정 거리 이상 이동했을 때, 새로운 키 프레임을 선택

  • 오도메트리 기반 선택:

    • 이동체의 오도메트리 데이터를 사용하여 이동 거리나 회전 각도를 측정하고, 일정 기준을 초과할 때마다 키 프레임을 선택

  • IMU(관성 측정 장치) 데이터 활용:

    • IMU 센서에서 제공하는 선형 가속도와 각속도 정보를 활용하여 이동체의 동적 상태를 평가하고, 특정 임곗값을 기준으로 키 프레임을 선택

적용 상황

  • 정적인 환경 또는 변화가 적은 환경에서 효과적
  • 로봇의 이동 경로가 주로 직선적이거나 예측 가능할 때 유용

장단점

  • 장점: 구현이 매우 간단하고 계산 비용이 낮음
  • 단점: 동적인 환경이나 복잡한 경로에서는 변화를 효과적으로 포착하지 못할 수 있음

2. 정보 이득 기반 선택 & 시각적 변화 기반 선택

알고리즘 설명

방법 1: 센싱된 RGB와 서버 내 RGB 와의 비교

  • 새로운 RGB 프레임이 기존 맵에 얼마나 많은 새로운 정보를 추가하는지를 평가하여 키 프레임을 선택
  • 방법 2: 센싱된 RGB에 대한 절대적 기준 적용
    • RGB 이미지에서 특징점을 추출하고, 추출된 특징점들 중에서, 정보량이 많은 특징점들을 키 프레임으로 선택
    • 이를 위해 특징점의 정보량을 평가하는 메트릭(예: 응답 강도, 정보 이득)을 사용할 수 있음
  • 방법 3: 센싱된 연속적인 RGB들간 상대적 기준 적용 (방법 1에도 쓰일 수 있음)
    • 이미지 간의 시각적 변화(예: 특징점의 변화, 광학 흐름)를 기반으로, 두 이미지 간의 변화가 임곗값 이상일 때, 새로운 이미지를 키 프레임을 선택
  • 구체적인 알고리즘들 소개

1. SIFT(Scale-Invariant Feature Transform):

  • 이미지 내의 특징점을 추출하고, 연속적인 프레임 간의 특징점 변화를 기반으로 시각적 변화를 평가
  • 변화가 큰 경우 키 프레임으로 선택합니다.
  • https://velog.io/@jk01019/SIFTScale-Invariant-Feature-Transform-ORBOriented-FAST-and-Rotated-BRIEF
  • 장점: 스케일과 회전에 불변하는 특징점을 검출하여, 다양한 관점에서 환경을 인식하는 데 강력한 도구입니다. 키 프레임 사이의 매칭과 재구성에 유리합니다.
  • 단점: SIFT는 계산 비용이 높고, 실시간 처리에는 제약이 있을 수 있습니다.

2. ORB(Oriented FAST and Rotated BRIEF):

3. Entropy-based Selection

4. Mutual Information:

5. Optical Flow

  • 장점: 동적인 환경에서의 움직임을 정확히 포착하여, 변화가 큰 순간을 키 프레임으로 선택하는 데 매우 유용합니다.
  • 단점: 광학 흐름의 계산은 상당한 계산 자원을 요구할 수 있으며, 카메라 움직임에 의한 변화와 실제 환경 변화를 구분하기 어려울 수 있습니다.
  • https://velog.io/@jk01019/Entropy-based-Selection-Mutual-Information-Optical-Flow

3. 결합 기반 선택

알고리즘 설명

  • 위의 방법들(거리, 정보 이득, 시각적 변화 등)을 결합하여 키 프레임을 선택

  • 각 기준에 가중치를 부여하고, 종합적인 평가를 통해 키 프레임을 결정

  • Adaptive Keyframe Selection: 거리, 시각적 변화, 정보 이득 등 여러 기준을 동적으로 조정하고 결합하여 키 프레임을 선택합니다. 이 방법은 각 상황에 따라 가중치를 조정하여 최적의 키 프레임 세트를 생성합니다.

  • Hybrid Approaches: 이동 기반, 시각적 변화, 그리고 정보 이득 기반 선택 기준을 결합하는 하이브리드 접근 방식입니다. 예를 들어, ORB 특징점 변화와 오도메트리 정보를 함께 고려하여 동적 환경에서의 키 프레임을 효과적으로 선택할 수 있습니다.

profile
About_work
새로운 것이 들어오면 이미 있는 것과 충돌을 시도하라.
이전 포스트

자료조사

다음 포스트

SIFT(Scale-Invariant Feature Transform) / ORB(Oriented FAST and Rotated BRIEF)

0개의 댓글