# cycleGAN

simon5287

cycleGAN을 사용해서 사진을 만화로 바꾸는 style transfer를 진행했다. baseline 모델의 성능을 측정해보고 기존 모델보다 성능을 개선하고자 한다. introduction 요즘 스노우, 틱톡 등 많은 플랫폼에서 자신의 얼굴을 만화풍의 그림으로 바꿔주는 기능을 제공하고 있다. 이와 같이 이미지를 특정 스타일로 변환하는 task를 Image to image translation 혹은 style transfer라고 한다. 이는 대부분 딥러닝에서 이미지 생성을 위한 모델인 GAN을 활용해서 구현했는데 그 중에서

jaejuna

13장 생성 모델 생성 모델이란 생성 모델(generative model) : 주어진 데이터를 학습하여 데이터 분포를 따르는 유사한 데이터를 생성하는 모델. 기존의 모델들은 주어진 데이터로 분류하는 판별 모델(discriminative model)이다. 판별 모델들은 보통 주어진 데이터의 특성들을 찾는 것을 목표로 한다. 그리고 판별자 모델이 추출한 특성들의 조합을 이용하여 새로운 데이터를 만드는 것이 생성 모델이다. 생성 모델의 유형 명시적 방법(explicit density) : 변형 오토인코더(variational autoencoder), 확률 변수 $p(x)$를 정의하여 사용한다. 암시적 방법(implicit density) : GAN(Generative Adversarial Network), 확률 변수 $p(x)$에 대한 정의 없이 $p(x)$를 샘플링하여 사용한다. 변형 오토인코더(p.513)

danbibibi

CycleGAN Image-to-Image Translation은 pair 형태의 train 이미지(ex. 흑백 - 컬러)를 이용해 input 이미지와 output 이미지를 매핑하는 것을 목표로 한다. 하지만 많은 task에 있어서 pair 형태의 train 데이터를 얻는 것은 어렵다. CycleGAN은 pair 형태의 이미지가 아니더라도, 도메인 X의 이미지를 타겟 도메인 Y로 바꾸는 방법을 제안한다. 따라서 앱 v2v의 "사용자의 사진을 고흐 또는 에곤실레가 그린 그림처럼 바꿔주는"기능을 제공하기 위해 CycleGAN 모델을 사용하였다. 데이터 준비 데이터는 [크롤링 과정](https://velog.io/@danbibibi/AI-%EC%95%B1-%EA%B0%9C%EB%B0

danbibibi

✔️ v2v 배경 > - 최근 특정 화가의 풍으로 그림을 그려주는 AI 기술이 등장했고, 그 이면에는 Style Transfer, GAN 등의 기술이 이용되고 있다. 다양한 GANs을 학습하고, 이에 대한 이해와 함께 최종적으로 사용자가 원하는 화가를 선택하면 해당 화가의 풍으로 사용자의 사진을 그려주는 앱 개발을 목표로 한다. v2v 앱을 통해 앱 사용자의 추억(value)에 좋아하는 화가의 화풍(value)을 더하는 경험을 제공한다. ✔️ 주기능 > 유저가 원하는 화가를 선택하고, 사진을 업로드하면 해당 사진을 선택한 화가의 화풍이 담긴 그림으로 변환해 준다. ✔️ project 진행과정에서 배우고자 하는 것 1. GANs

gregorioha

이번 시간에 배울 컴퓨터 비전 모델은 CycleGAN이라는 것이다. CycleGAN은 쌍을 이루지 않은(unpaired) 이미지 데이터셋으로 학습 가능한 이미지에 이미지 사이의 이동(image-to-image translation) 방식을 제안한다. 한 쌍으로 묶이지 않은 데이터셋을 학습할 수 없는 Pix2Pix의 문제점을 해결한 모델이다. 다음과 같이 그림을 사진 처럼 바꿔주거나 사진 속의 대상을 다른 비슷한 대상으로 변환하거나, 그 반대로 적용할 수 있다. CycleGAN이 작동하는 방식을 보자면 이미지 데이터 x가 주어졌을 때 타겟 도메인 Y의 특성으로 바꾸어 Y에 있는 그럴싸한 이미지로 바꾸는 것이다. ![](https://images.velog.io/images/gregorioha/post/ee6

victory

수업에서 기말 프로젝트를 위해 제가 처음으로 정독한 논문입니다 다른 소스들을 참고하지 않고 오로지 논문만을 보고 이해했고, 그것을 바탕으로 리뷰하겠습니다 기본적인 GAN만 아는 배경지식에서 시작하였습니다 경험해본 결과 GAN의 기본적인 concept만 알아도 충분히 이해할 수 있는 논문입니다. 참고로 GAN 공부는 나동빈씨의 유튜브를 통해 하였습니다 이해도 잘 되고 코드설명까지 해주셔 귀에 쏙쏙 들어오니 적극 추천합니다👍👍👍 Introduction 제안배경 ![paper's figure](https://images.velog.io/images/victory/post/a4c9e851-c374-42d6-8260-bda22a

gongsam

1. 딥러닝 개념 1) 생성 모델링(Generative Modeling) > cf) 판별 모델링(Discriminative Modeling) 입력받은 데이터를 특정 기준에 따라 판별하는 것이 목표인 모델링 의미: 존재하지 않던 데이터를 생성하는 것이 목표 학습한 데이터셋과 유사하면서도 기존에 없던 새로운 데이터를 생성하는 모델 생성 모델링 기법 Pix2Pix: 간단한 이미지를 입력하면 실제 사진처럼 보이도록 변환, (그림, 사진) 쌍의 데이터셋 필요 CycleGAN: 양방향 변환이 가능 (이미지 ↔ 사진), 쌍으로 된 데이터가 필요 없음 Neural style transfer: 신경망을 기반으로 base image와 style image를 이용해 새로운 이미지를 생성함 GAN 가장 간단한 형태의 생성 모델 생성자: 의미가 불명한 랜덤 노이즈로부터 신경망에서의 연산을 통해 이미지 형상의 벡터를

alsbmj012123

Contents Abstract Introduction Related work Formulation Implementation Results Limitations and Discussion 0. Abstract Image-to-Image translation의 목적은 input 이미지들에서 output 이미지로 가는 매핑을 이해하는 것이다. 이 연구의 의의는 짝지어진 이미지 쌍들 없이, 이미지를 source domain X에서 target domain Y로 변환한다는 것이다. 이 연구의 목적은 도메인 X에서 Y로 가는 매핑 $G : X \to Y$ 을 배

tobigs1516_image

기존의 GAN 기존의 GAN의 경우 완벽히 한 쌍을 이루는 데이터만을 이용해 학습이 가능하였다. 하지만, 완벽히 같은 조건을 지니는 데이터를 구하기에는 어려운 부분이 존재한다. 이러한 점을 해결한 논문이 바로 CycleGAN이다. 말 그림을 얼룩말 그림으로 바꾸기 위해서는 똑같은 배경의 얼룩말 사진을 학습시켜야 했다면 CycleGAN의 경우 어떤 이미지든 얼룩말이 있는 이미지가 있다면 학습을 시킬 수 있다. Abstract Image-To-Image Translation은 pair image를 활용해 input과 output을 매핑하는 것이 목표인 task이다. 하지만 앞서 설명했듯이 완벽히 한 쌍을 이루는 train 이미지를 구하는 일은 쉽지 않기 때문에, CycleGAN은 **pa

tobigs16gm

본 게시글에 첨부한 이미지는 논문에서 발췌하였거나, 출처를 표기하였습니다. 0. Image-to-Image Translation Image-to-Image Translation 이미지를 입력으로 받아 또다른 이미지로 변환하는 과정을 Translation이라고 합니다. Image-to-Image Translation은 Input 이미지와 Output 이미지 간 Mapping을 목표로 하는 생성모델의 한 분야입니다. (이미지 간 도메인 변화를 다루는 분야) Examples 1. pix2pix > 논문 : https://arxiv.org/pdf/1611.07004.pdf Introduction Image Prediction 문제는 주로 **Convol

sjinu

Paper: https://arxiv.org/abs/1703.10593 Abstract image-to-image Translation은 보통 pair-image를 이용해 학습합니다. 다만, 같은 이미지에 대해 2개의 특성을 갖는 이미지 쌍은 구하기 쉽지 않습니다. 가령, 사계절 내내 고정되어 있는 CCTV가 아닌 이상 같은 구도의 여름-겨울의 pair image는 많이 구할 수가 없겠죠. Cycle-GAN은 이런 pair-image를 사용하지 않고 단지 X 도메인 데이터세트와 Y 도메인 데이터세트만을 이용해 두 도메인 간에 이미지를 변환하는 법을 학습합니다(아래 그림). Introduction 이렇듯, 다이렉트

tobigs-gm1

작성자 : 건국대학교 응용통계학과 정재윤 Image to Image Translation image to image translation이란 이미지 데이터셋을 사용하여 input 이미지와 output 이미지를 mapping하는 것을 목표로 하는 생성모델의 한 분야입니다. 흑백 이미지에 컬러를 입힌다든지, 낮 사진을 밤 사진으로 만든다든지, 테두리만 주어진 사진을 실제 물건같이 만드는 것이 가능하죠. > 2 >3 이런 image to imag