Paper Review : Intra-class Feature Variation Distillation for Semantic Segmentation

정석화·2022년 6월 2일

ECCV2020 Knowledge distillation paper-review segmentation

Paper Review

목록 보기

2/3

이 논문은 이전의 pairwise relation에서 knowledge distillation을 하던 것들과 달리 새로운 방법론을 제시한다. intra-class feature variation distillation (IFVD)인데 intra-class feature variation을 teacher 모델에서 student 모델로 전이하는 방법이다.

Main Contribution

Semantic Segmentation 분야에서 Intra-class Feature Variation Distillation 이라는 새로운 KD 방법론을 제시
Semantic Segmentation 분야에서 현존하는 KD 방법론 중 가장 뛰어난 성능을 보임

Method

이 방법은 각각의 class마다 feature center를 연산한 뒤 각각의 픽셀에 대한 feature와 이것과 일치하는 class-wise feature center와의 유사도를 연산한다. 아래 figure 1의 이미지에서 feature center는 각 색상의 별 모양이 되고 이를 중심으로 픽셀들의 유사도를 판별해 class 마다의 각각의 feature의 다양성들을 뽑아내 student 모델이 teacher 모델을 따라하도록 학습을 진행한다.

이 유사도는 Intra-class feature distribution이 어느정도 compact한지를 나타내는 지표가 된다. 더 성능이 좋은 모델은 robust한 intra-class feature representation을 나타낸다. 이러한 차이가 semantic한 관점에서의 segmentation에서 차이를 보여주며 다른 feature 분포들은 각기 다른 segmentation 결과들을 초래한다.

IFVD Pipeline

Figure 2는 제안하는 IFVD 방법론의 파이프라인이다. 각 모델의 encoder를 거쳐 feature map을 생성하게 되고 IFV 모듈을 통과해 IFV map을 얻게된다. Student 모델은 teacher 모델의 IFV map을 따라하도록 학습을 진행한다. 추가로 일반적인 Knowledge Distillation 방법도 학습에 추가되는데 이는 teacher 모델과 student 모델의 각각의 output을 KL Divergence를 이용해 생성한다. 마지막으로 Adversarial learning을 추가해 학습을 진행한다.

IFV Module

Figure 3은 IFV 모듈에 대한 설명이다. input으로 feature map이 들어오게 되면 각 클래스의 masked feature를 생성한다. 이 masked feature를 Average Pooling을 통해 class-wise prototype을 구한뒤 Unpooling 과정을 통해 최종 Prototype을 생성하고 input으로 들어왔던 Feature map과의 Cosine simillarity를 연산하여 IFV map을 생성해낸다.

Final Loss

최종적으로 나타나는 loss 값은 Segmenation prediction을 통해 생성된 loss, 일반적인 KL Divergence를 통해 생성된 KD loss, Adversarial Learning을 통해 생성된 loss, IFV 모듈을 통해 생성된 loss 이 4가지의 합으로 구성된다.