🤖 이미지 생성 원리

VAE (Variational Auto-Encoder)

정의

• Variational: 확률 및 통계에 기반하여
• Auto-Encode: input과 output을 같게 만드는 ‘latent’를 찾아내는 기법 (압축/압축해제 알고리즘과 비슷)
• ~r: 위 역할을 수행하는 AI 모델

Load VAE	VAE Decode

비유

• 우리가 그림을 그리고 싶을 때 어떤 물체를 보면서 특징(평균,표준편차=latent)을 파악하고 나면
• 해당 물체를 보지 않아도 상상만으로 그릴 수 있는 것과 비슷함

상세

• 이미지 생성 과정에서의 VAE는 이미지를 latent(잠재 공간)로 변환
• 이미지 가로/세로를 8로 나누고 색상 채널은 늘림 (→ 이미지 가로 세로 크기는 8의 배수 권장)
• 768x512 컬러 이미지 → 가로x세로xRGB → 768x512x3 행렬
• Flux 모델의 VAE (ae) → (3x5.33..)x(768/8)x(512/8) → 16x96x64 행렬
• 인코딩 시 원본 데이터 일부 손실 (Flux는 1/12 만큼) → 손실 압축이기 때문에 아래 그림에서 x ≠ x’
• AE는 input이 동일하면 output이 동일한데
• 노이즈를 도입한 VAE는 input이 동일해도 output이 다를 수 있음 → 결과물에 변화를 줄 수 있음 = 창의성

AutoEncoder

Variational AutoEncoder

ControlNet

• ControlNet을 사용하면 아래와 같이 결과 이미지의 형태에 영향을 줄 수 있음

ControlNet 원본 이미지	ControlNet 결과 이미지

원래 결과 이미지	변형된 결과 이미지

설정

• ControlNet 영향도(strength)와 영향 시점(start/end_percent)을 설정할 수 있음

• ControlNet 영향도가 낮아질수록 ‘ControlNet 원본 이미지’ 모습이 사라짐
• 아래와 같이 초기 시점에 영향을 줄수록 포즈/위치는 비슷해지지만 세부 디테일은 자유로워짐

결과 이미지 (1.0/0.0/1.0)	ControlNet 영향도를 낮춘 이미지 (0.3/0.0/1.0)

초기 시점에만 ControlNet을 적용한 이미지 (1/0/0.4)	중간 시점에만 적용한 이미지 (0.9/0.1/0.5)

strength

• strength 값을 비유하자면 해당 값이 낮아질수록 위와 같이 흐려진 이미지가 적용된다고 할 수 있음
• 그래서 값을 낮게 주면 결과 이미지 형태가 의도한대로 안 나올 수 있음

strength 1.0	strength 0.3

종류

• Canny - 테두리를 땀 → 무난한 선택
• OpenPose - 인물의 자세/표정/손 위치를 분석함 → 인물일 때
• Depth - 이미지의 깊이를 분석함 → 건물/사물/풍경 등 이미지에 깊이감이 있을 때

참고
ComfyUI: Advanced Understanding (Part 1~3) - Latent Vision