WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions

Key Figure

총 3단계 구성: 초기 단계에서는 간단한 날씨 조건으로 시작하여 마지막 단계에서는 폭우나 폭설같은 심한 날씨 조건으로 진행된다. 각 단계에서 laug(날씨 조건이 적용된 이미지, 실제 데이터)&lcst(비교 대상이 되는 다른 날씨 조건의 이미지) 두가지 유형의 이미지 쌍을 입력받는다.
이미지 쌍에서 depth supervised(daug, dcst)생성한다. 그리고 차이를 계산하여 손실을 구하여 업데이트 한다.

Main Idea

날씨 변화에 강건한 self supervised depth estimation 모델인 WeatherDepth로 복잡한 날씨 조건에서의 성능 저하 해결
이를 위해curriculum contrastive learning으로 날씨 변화에 적응하도록 하였음.

Contribution

• 수동 개입을 줄이고 자동 curriculum 조정자를 설계하여 다양한 모델에 더 잘 적응할 수 있도록 하였다.
• WeatherKITTI 데이터셋도 구축하였다.
• 여러 curriculum 을 통해 모델은 점진적으로 다 다른 날씨 조건에서 depth 인식 능력을 향상시킬 수 있다.