[TIL] RandAugment: Practical automated data augmentation with a reduced search space

Introduction

• Data Augmentation은 모델의 robust를 위해 거의 필수 요소
• AutoAugment 등 NAS 방식의 augmentation 추론법이 대두
• 다만 방대한 Search Space로 인해 많은 연산량이 요구되어 개선이 요구 됨

본 논문은 적절한 DA(data augmentation)가 모델, 데이터셋의 크기와 관련이 있다는 가정 하에 방법론을 설명 후, 증명함

RandAugment

Magnitude

• 이전 연구인 AutoAugment에서 operation의 적용 정도인 magnitude와 적용 확률 probabiltiy가 DA선정과 연관이 있음을 발견

• Magnitude에 대한 scheduling을 통해 적절한 Search space를 찾을 수 있음

Operation and Probability

• 적용 확률과 어떤 augmentation을 적용할 것인지를 정하는 operation의 search space 설정
• AutoAug는 operation을 2로 고정하고 K개의 operation과 probability를 탐색
• RangAug는 K개의 operation과 probability를 고정하고 N을 탐색

여러 실험에서 operation의 개수가 많아지면 전부 비슷한 성능을 내는 것을 확인하였으므로 search space를 합당하게 축소

(N,M)의 grid search만으로 Sota에 가까운 성능을 유도

Experiment

• 모델과 데이터셋의 크기에 따라 augmentaation의 적용 효과가 상이
• 모델 사이즈가 클수록 높은 M이 좋은 성능
• dataset 사이즈가 클수록 높은 M이 성능
• 즉 모델과 데이터셋과 높은 Magnitude가 성능에 비례함을 알 수 있음