AnimeGANv2 알아보기

AnimeGAN은?

https://leemeng.tw/generate-anime-using-cartoongan-and-tensorflow2-en.html

AnimeGAN은 real-world scenes를 애니메이션 스타일 이미지로 변환하는 새로운 접근 방식을 제안한다. neural style transfer와 generative adversarial networks (GANs)를 결합하여 이 작업을 수행한다.

기존의 몇몇 방법들은 만족스러운 애니메이션 결과를 얻지 못했다. 기존 방법들은 보통 몇 가지 문제점을 가지고 있는데, 그 중 주요한 문제점은 다음과 같다.

• 생성된 이미지에는 애니메이션 스타일의 특징이 뚜렷하게 나타나지 않음.
• 생성된 이미지가 원본 이미지의 내용을 잃어버림.
• 네트워크의 매개변수가 큰 메모리 용량을 요구함.

AnimeGAN은 경량화된 새로운 GAN을 제안하여 애니메이션 스타일로의 빠른 변환이 가능하다. 추가적으로, 생성된 이미지가 더 나은 애니메이션 시각 효과를 가지도록 세 가지 새로운 loss function(손실 함수)을 제안한다.

• grayscale style loss(흑백 스타일 손실)
• grayscale adversarial loss(흑백 적대 손실)
• reconstruction loss(색상 재구성 손실)

AnimeGAN은 unpaired training data(비라벨링 데이터)로 쉽게 end-to-end로 훈련될 수 있다. AnimeGAN의 매개변수는 더 낮은 메모리 용량을 요구하며, 변환 결과는 real-world photos를 빠르게 고품질 애니메이션 이미지로 변환할 수 있음을 보여준다.

AnimeGAN의 새로운 버전인 AnimeGanv2는 네트워크 내의 기능 정규화 방식을 변경하여 이미지에서 발생하는 불필요한 artifacts(이미지 생성시 발생하는 특징적인 결점)를 줄였으며, generator network의 크기를 줄여서 더 효율적인 스타일 변환을 가능하게 했다.

오픈 소스

https://github.com/TachibanaYoshino/AnimeGANv2

이 저장소는 학술 및 비학술 단체에게 학술 연구, 교육, 과학적 출판물과 같은 비상업적 목적으로 무료로 제공된다. AnimeGANv2를 사용하기 위해서는 라이선스 조건에 동의해야 하며, 상업적 사용 요청에 대해서는 이메일을 통해 문의하면 수권서를 받을 수 있도록 도와주고 있다.

원작자에게 문의한 결과 AnimeGANv2은 오픈소스이며, 상업적으로 이용할 수 있다고 한다.

활용 사례

https://huggingface.co/spaces/akhaliq/AnimeGANv2 (웹 데모)

https://dream.mokpo.ac.kr/bbs/ce/614/192100/download.do (Deep Leaning + Animation, 목포대학교 컴퓨터공학과 손현승 교수)

참고 문헌

Chen, J., Liu, G., Chen, X. (2020). AnimeGAN: A Novel Lightweight GAN for Photo Animation. In: Li, K., Li, W., Wang, H., Liu, Y. (eds) Artificial Intelligence Algorithms and Applications. ISICA 2019. Communications in Computer and Information Science, vol 1205. Springer, Singapore. https://doi.org/10.1007/978-981-15-5577-0_18

성장하는 나날들, "artifacts 뜻", https://study-grow.tistory.com/entry/gan-%EB%85%BC%EB%AC%B8%EC%97%90-%EB%93%B1%EC%9E%A5%ED%95%98%EB%8A%94-artifact-%EB%9C%BB, (2023.08.08)