크기 불변 특징과 SIFT 알고리즘

크기 불변 특징

영상의 특징 중 corner의 특징
flat, edge 영역에 비해 변별력이 높음
이동, 회전 변환에 강인
크기 변환에 취약 $\rarr$ 다양한 크기 관점에서 특징 검출 필요

크기 불변 특징점

scale-space 또는 image pyramid를 구성
영상의 크기가 바뀌더라도 반복적으로 검출될 수 있는 특징점을 찾으면 매칭 등의 응용에서 사용 가능
주요 크기 불변 특징점 알고리즘 : SIFT, SURF, KAZE, AKAZE, ORB
특징점(feature point) $\approx$ 키포인트(keypoint) $\approx$ 관심점(interest point)
기술자(descriptor) $\approx$ 특징 벡터(feature vector)

SIFT

Scale Invariant Feature Transform
Scale & rotation invariant, local feature detector & descriptor

SIFT 계산 단계

1. Scale-space extrema detection
   Gaussian(Blur), Subsampling(Resize) $\rarr$ Difference of Gaussian
2. Keypoint localization
3. Orientation assignment
4. Keypoint description

SIFT - Detector

키포인트 찾기

Laplacian of Gaussian
$L=\sigma^2(G_{xx}(x,y,\sigma)+G_{yy}(x,y,\sigma))$
Difference of Gaussian
$D=G(x,y,k\sigma)-G(x,y,\sigma)$
LOG와 DOG 형태가 유사
LOG 대신 DOG 영상의 모든 점에서 local maxima 또는 local minima 선택
$\rarr$ 연산 속도 향상

동일 스케일 DOG 영상에서 주변 8개 점과 상/하 스케일 DOG 영상에서 18개 점, 총 26개 점을 비교하여 local maxima 또는 local minima 선택

서브픽셀 정확도
낮은 대비 극점 제거
엣지 성분 제거

SIFT - Descriptor

방향 불변 특성을 위한 주 방향 성분 추출

키포인트 근방의 부분 영상을 추출
부분 영상의 모든 픽셀에서 그래디언트 성분(크기 & 방향)을 계산
$\rarr$ 방향 성분에 대한 히스토그램 생성(360$\degree$에 대해 36개 빈)
히스토그램 최댓값 방향과 최댓값의 80% 이상 크기를 갖는 빈 방향을 키포인트 방향으로 설정
$\rarr$ 하나의 좌표에서 여러 개의 키포인트 표현 가능

각 키포인트에 대해 기준 방향 성분을 설정

각 키포인트는 위치, 스케일, 기준 방향 정보를 가짐
$\rarr$ 크기, 방향에 불변한 특징 벡터를 추출

키포인트 기술자(descriptor, feature vector)

각 키포인트 위치에서 스케일과 기준 방향을 고려하여 사각형 영역을 선택
사각형 영역을 4x4 구역으로 분할하고, 각 구역에서 8방향의 방향 성분 히스토그램을 구함
4 $\times$ 4 $\times$ 8 = 128차원의 벡터(flaot 자료형 : 512bytes)

기타 특징점 알고리즘

SURF

Speed-Up Robust Features
SIFT를 기반으로 속도를 향상시킨 크기 불변 특징점 검출 방법
DOG 함수를 단순한 이진 패턴으로 근사화
적분 영상을 이용하여 속도 향상

KAZE

KAZE : 비선형 스케일 스페이스에서 공기의 흐름
가우시안 함수 대신 비선형 확산 필터(nonlinear diffusion filter)를 이용하여 특징점을 검출
SURF보다는 느리지만 SIFT보다 빠르고 동등한 성능

BRIEF

Binary Robust Independent Elementary Features
이진 기술자를 이용한 빠른 키포인트 기술 방법
키포인트 주변 픽셀 쌍을 미리 정하고 픽셀 값의 크기를 비교하여 0 또는 1로 특징을 기술
매칭 시 Hamming distance 사용

ORB

Oriented FAST and Rotated BRIEF
FAST 방법으로 키포인트를 찾고 Harris 코너 방식으로 순위를 매김
피라미드 영상에 적용하여 크기 불변성 확보
키포인트의 방향 성분을 이용하여 BRIEF 방법에서 픽셀 쌍의 좌표를 회전하여 특징 벡터를 추출 (이진 기술자)
SIFT, SURF보다 훨씬 빠르고 SURF보다 성능이 좋음

AKAZE

Accelerated KAZE
KAZE 알고리즘의 속도 향상 버전
비선형 공간에서 피라미드를 구축
이진 기술자를 사용