🟩33개 실전키트 완성 Part1. (1)

Faster R-CNN

Object detection의 가장 기본적인 방법으로 소개 되고 있는 R-CNN이다. R-CNN이란 Region을 검출해 CNN으로 어떤 범위에 객체가 있는지, 어떤 범주에 속하는지를 구분하는 모델이다. 가장 기초가 되는 모델로 이번에는 이 모델에 대해서 파헤쳐보려 한다. 여기에서 ROI는 Region of Interest이다.

R-CNN

다음은 R-CNN의 네트워크 구조다.

이 모델은 다음과 같이 작동한다.

1. Image를 입력받는다.
2. Selective search 알고리즘에 의해 regional proposal output 약 2000개를 추출한다.
3. 추출한 regional proposal output을 모두 동일 input size로 만들어주기 위해 warp해준다.
4. 2000개의 warped image를 각각 CNN 모델에 넣는다.
5. 각각의 Convolution 결과에 대해 classification을 진행하여 결과를 얻는다.

여기서 굳이 사이즈를 통일해야 하는 이유를 묻는 사람들이 있을것이다. CNN의 특성에 의해 input size가 227 x 227 size로 고정이 되어 있다고 한다. 따라서 bounding box가 제각각인 ROI를 R-CNN을 활용하여 분리하기 위해서 사이즈를 먼저 조절하고 진행한다.

Selective Search Algorithm

이 알고리즘은 다양한 ROI가 존재하게 되는데 그리다 보면 객체가 겹쳐지기도 하고 좋지 않은 ROI가 생기기도 한다. 이러한 ROI들 중에 가장 의미가 깊은 bounding box를 만들기 위해 진행하는 알고리즘이다. 알고리즘 진행 순서는 다음과 같다.

1. 사용하는 이미지를 pixel 단위로 segmentation을 진행한다.

2. 유사한 종류의 segment를 결합한다. 이로써 더 큰 region을 만든다.

3. 최종적으로 남은 segment를 구분자로 설정한다.

여기에선 흔히 그리디 알고리즘을 사용한다고 한다. 유사한 segment를 결합하다보면 언제까지 결합해야하는지 궁금증이 생길 수 있다. 기준점으로는 유사한 region이 하나만 남을때 까지 반복한다고 한다. 두 영역의 차이를 기준짓는 threshold를 통해 결합할지를 결정한다.

SVM

feature map을 classifier에 적용할 때 CNN을 활용하지 않고 SVM을 사용하는 이유에 대해 한번 생각해 볼 필요가 있다. 이유는 바로 성능 때문인데 SVM을 활용했을 때 CNN보다 성능이 더 좋았다는 결과가 있기 때문이다.

Fast R-CNN

그러나 R-CNN은 여러가지 단점이 있다고 한다. 대표적으로 모델을 활용할 때 각 ConvNet별로 별도 시행을 해야하기 때문에 시간이 오래걸린다는 단점이 있고, input size가 고정되어있기 때문에 정보의 손실 또한 존재한다는 단점 때문에 이를 보완하기 위해 나온 모델이다. 이 모델은 다음고 같은 장점이 있다.

1. inference를 향상
   • 필터를 1회 통과시키고 그 필터를 재사용해 computation cost를 줄인다.

2. end to end
   • SVM을 과정을 없애고 Gradient를 도입시켰다.

3. 멀티태스크 러닝
   • BBoxRegressor을 적용해 박스를 적용시키고 ROI pooling 방법이 추가적으로 들어간다.

구조 및 특징

Fast R-CNN은 다음과 같은 구조를 지녔다.

Conv feature map에서 필터를 한번 통과해 feature matrix를 생성한 뒤 ROI feature vector을 통해 마찬가지로 bbox와 class를 판별해 내는 모델이다.

사용되는 과정은 다음과 같다.

1. selective search를 이용해 ROI를 추출해낸다.
2. 풀링을 위한 선택형 window화를 진행한다.
3. pooling 기법을 이용하여 각 윈도우 별로 풀링을 적용한다.

ROI Pooling

pooling은 다음과 같이 window를 기존에 설정한 크기에 맞게 조절해 주기 위해 사용한다. 아래의 이미지 과정처럼 Pooling을 진행한다.

과정은 다음과 같다.

1. 미리 설정한 HxW크기로 만들어주기 위해서 (h/H) * (w/H) 크기만큼 grid를 RoI위에 만든다.
2. RoI를 grid크기로 split시킨 뒤 max pooling을 적용시켜 결국 각 grid 칸마다 하나의 값을 추출한다.

위 작업을 통해 feature map에 투영했던 hxw크기의 RoI는 HxW크기의 고정된 feature vector로 변환된다.

Faster R-CNN

그럼에도 불구하고 여전히 보완할 점은 있다. Selective search 알고리즘 또한 이미지에서 segmentation을 선택하는 과정에서 시간이 오래걸린다. 이 또한 Conv Layer에서 진행하면서 활용 속도를 줄이고 성능은 더 높일 수 있는 Region Proposal을 활용한다.

구조 및 특징

Faster R-CNN의 구조는 다음과 같다.

Conv Layer과 RPN을 공유하여 제안된 모델이라고 한다. 이 모델의 특징은 다음과 같다.

• 박스를 랜덤화나 오버레이를 적용하지 않고 전체 이미지를 격자 무늬로 쪼갠다.
• 앵커박스(Anchor box)를 도입하였다.

앵커박스에 대한 정의는 MathWorks에서 확인할 수 있다.

Multiple scale & size를 다루는 방법은 다음과 같이 세가지가 있다.

1. 하나의 scale&size classifier을 사용해 scale을 바꾸는 방법
2. 영상의 크기를 줄이는 대신 filter size를 다양화
3. Reference를 여러개 사용

여기서 앵커박스는 3번에 가까운 방법이다. 확실하진 않지만 가장 가까운 방법이다.

RPN

RPN은 다음과 같은 구조를 가지고 있다.

k개의 앵커박스를 활용해 격자무늬 이미지에 대해 sliding window방법으로 이미지 틀을 만든다음 각 앵커박스와 대조하여 탐지해내고 클래스를 분류하는 방식을 활용한다. 최적의 앵커박스를 찾아내기 위해 Non-Maximum Suppression(NMS)방법을 사용하여 두가지 피처를 산출해낸다.

2k scores: 물체가 존재하는지 하지않는지 구분하는 분류기
4k coordinates: 앵커박스의 중심위치, 높이, 넓이

NMS

최적의 앵커박스를 찾아내는 방법으로 활용되었으며 다음과 같은 특징을 가지고 있다.

• 한 물체를 가리키는 여러개의 박스를 하나로 추리는 과정
• 앵커박스들 중에서 가장 큰 박스 하나를 선택해 겹쳐있는 앵커박스 모두를 통해 confidence score과 IoU score을 산출한다.
• Confidence score은 객체가 포함되어 있는 정도를 나타내고 IoU score은 다른 앵커박스와의 겹치는 구간이 많은가를 계산한다.
• Confidence score이 높고 IoU score이 낮을수록 앵커박스가 선택될 가능성이 높다.

학습 전략

Loss는 다음과 같이 계산한다.

최종적으로 classification과 detection을 같이 하기 때문에 두 경우의 Loss를 합친 값을 최종 Loss로 활용한다.

또한 훈련 단계에서 다음과 같은 과정을 통해 학습시킨다.

1. 이미 train된 ImageNet으로 RPN을 end-to-end train한다.
2. RPN을 이용하여 Faster R-CNN을 학습시킨다.
3. feature extraction을 진행하기 위해 RPN, Faster R-CNN의 하이퍼파라미터를 순서대로 학습시킨다.

퍼포먼스 측정 방법

이미지 탐지에 가장 많이 쓰이는 정밀도와 재현율을 활용한 Average Precision을 여기서 또한 활용한다. waytoliah에서 정리를 매우 잘해두었다. 참고해서 보면 좋을것 같아서 가져왔다.

• ZF: Conv Layer을 다섯개만 사용한 모델을 칭한다.

출처

R-CNN 논문 리뷰
Selective Search Algorithm
Fast R-CNN 논문 리뷰
Faster R-CNN 논문 리뷰