Real-ESRGAN: 순수 합성 데이터를 사용하여 현실적으로 블라인드 초해상도 학습시키기
Abstract
임의의 복잡한 열화를 포함하는 저해상도 이미지를 복원하기 위해 블라인드 초해상도(주: 임의의 열화 방식이 적용된 저해상도 이미지의 해상도를 높이는 기술) 분야에서 많은 시도가 있었지만, 여전히 실제 세상에서 볼 수 있는 저해상도 이미지를 고해상도로 변환하는 것과는 거리가 있었습니다. 본 연구에서는 기존의 강력한 ESRGAN을 순수 합성 데이터 위주로 학습시켜서 현실에서 볼 수 있는 이미지의 해상도를 복원하는 모델인 Real ESRGAN을 제안합니다. 특히 이 모델엔 현실 세계의 이미지 열화 현상을 잘 재현하기 위해 고차 열화(high order degradation) 모델링 절차가 도입됐습니다.
또한 이미지 생성 과정에서 나타나는 링잉 결함(ringing artifact, 테두리 선이 여러 겹으로 겹쳐져서 생성되는 현상) 및 오버슈트 결함(overshoot artifact, 테두리가 강조되는 현상)도 고려합니다. 또한 판별기 기능을 향상하고 훈련 역학을 안정화하기 위해 스펙트럼 정규화 기능을 갖춘 U-Net 판별기(discriminator)를 사용합니다. 우리의 모델과 이전에 나온 모델을 다양한 실제 데이터 세트에 대해 광범위하게 비교해보니, 우리 모델의 시각적 성능이 더 뛰어났습니다. 또한 우리는 학습 쌍을 즉시 생성하기 위한 효율적인 구현을 제공하려고 합니다.
그림 1: 왼쪽부터 순서대로 실제 이미지의 초해상도에 대한 bicubic 업샘플링과 ESRGAN, RealSR, Real-ESRGAN을 적용한 결과입니다. AI로 생성된(pure synthetic?) 이미지로만 학습한 Real-ESRGAN 모델은 일반적인 현실 이미지에서 발생하는 성가신 결함을 제거하면서 이미지 디테일을 향상시킬 수 있습니다. (확대하면 이미지 간 품질 차이를 쉽게 비교할 수 있습니다)
Introduction
저해상도(LR) 이미지를 고해상도(HR) 이미지로 만드는 것을 목표로 하는 단일 이미지 초해상도(SR)는 현재 활발히 연구되고 있는 주제입니다. SRCNN의 선구적인 작업 이후 심층 컨볼루션 신경망(CNN) 접근 방식은 SR 분야를 획기적으로 발전시켰습니다. 그러나 대부분의 접근 방식은 현실에서 실제로 이미지가 열화되는 방식과 다른, 이론상 이상적인 바이큐빅 다운샘플링 커널을 가정합니다. 이러한 이미지 열화 과정의 불일치 때문에 바이큐빅 다운샘플링 방식으로 학습시킨 모델은 실제 이미지 해상도를 복원하는데 실용적이지 않습니다.
반대로 블라인드 초해상도 분야는 예측할 수 없고 복잡한 열화로 고통받는 저해상도 이미지를 복원하는 것을 목표로 합니다. 기존 접근 방식은 기본 이미지 열화 과정에 따라 명시적(explicit) 모델링과 암시적(implicit) 모델링으로 대략적으로 분류될 수 있습니다. 명시적 모델링에는 전통적으로 많이 쓰이는 블러, 다운샘플링, 노이즈(blur, down sampling, noise) 및 JPEG 압축방식(자세한 내용은 섹션 3.1 참조)이 널리 사용됩니다. 그러나 현실에서 일어나는 일반적인 화질 저하는 여러 열화 방식을 간단히 조합해서 모델링하기에 너무 복잡합니다. 따라서 이러한 방법으로 현실의 이미지 해상도를 복원하면 쉽게 실패합니다. 암시적 모델링 방법은 해상도 열화 모델을 얻기 위해 데이터 분산을 학습한 GAN(Generative Adversarial Network) 을 활용합니다. 그러나 이는 학습이 훈련 데이터 세트 내의 이미지 열화로 제한되며 학습 데이터에 없는(out-of-distribution) 경우를 일반화할 수 없습니다. 좀 더 포괄적인 분류를 원하시면 최근 진행된 블라인드 SR 설문조사(Blind image super-resolution: A survey and beyond)를 참고하시기 바랍니다.
