Abstract
Data augmentation 방법에 trade-off가 존재 => Fourier 관점에서 해석
=> A type에 대한 corruption에 대해 robustness를 늘려주면, B type에 대한 corruption에 대해 퍼포먼스가 감소
=> 최근 Gaussian data augmentation, adversarial training 방법이 high frequency의 정보를 가진 corruption[noise, blurring]에 대한 성능 개선을 하는 것을 관찰 (low frequency 에 대한 corruption[constrast]에 대해서는 robustness 성능이 떨어짐)(실험적으로 알아냈다고는 말함)
본 trade-off 완화를 위해 data augmentation을 이용하여 더 diverse set을 모델에 제공
AutoAugment 방법이 CIFAR-10-C가 SOTA를 찍은 것을 확인
Introduction
Data augmentation은 모든 corruption type에 대해 robustness를 개선하는 것이 아니다. A corruption type에 대한 performance gain은 B corruption에 대한 성능 감소를 야기한다.
What is different about the corruptions for which augmentation strategies improve performance vs. those which performance is degraded?
=> 본 논문에서는 각자 다른 corruption에 대한 frequency 정보가 본 trade-off를 설명할 수 있다.
=> 본 실험에서 살펴본 바로, 앞서 소개한 두개의 Augment 방법이 입력의 low frequency 정보를 이용하도록 모델을 편향했다.
=> 이 low frequency가 high frequency 특성을 가지고 있는 corruption에 대한 robustness 성능 개선을 시키며, low frequency에 대한 corruption의 robustness 성능을 저하시킨다.
Finally, high freq의 특성을 가진 adversarial perturbation에 대해, adversarial training을 통해 low freq에도 집중할 수 있도록 만들어줌.
Fourier Heatmap
The robustness problem
frequency에 대한 perturbation을 다양하게 줘봤을 때, 성능이 얼마나 나오는지에 대한 실험 => low freq에 perturbation을 줬을 때 성능 저하가 큼
Gaussian data augmentation and adversarial training bias models towards low-frequency information
각 corruption 마다 특성이 다 다르다. (ex. fog는 low freq 특성이 많음)
본 그림은 CIFAR-10 dataset에 대한 모델의 sensitivity에 대한 분석으로 빨갈 수록 sensitive함. Adverserial train 과 Gaussian Aug.는 natural trained에 대해 high frequnecy 부분에 대하여 robustness를 개선했다.
ImageNet에 대한 model의 sensitivity 계산. Gaussian Augmentation은 high에 대한 부분의 robustness 성능은 개선했지만, low에 대한 부분은 악화시켰다. AutoAugment는 가운데에 hole이 셋 중 가장크므로 low에 대한 robustness 상대적으로 개선시킴.
다양한 freq 영역대의 noise를 입혔을 때, natural 성능과 augmentation 성능을 보면 후자가 확실히 high에 대한 robustness가 개선되었음을 알 수 있다.
fog에 대한 perturbation을 additive 모델 형태로 augment하여 학습하였더니 성능이 오히려 떨어짐 => low freq에 대한 corruption은 생각보다 복잡한 문제다.
