🎨 ComfyUI에서 이미지 생성하기

ComfyUI 용어

• AI 모델 실행 과정을 노드로 표현한 오픈 소스 프로그램
• 프로그래밍을 GUI로 작성한다는 점에서 전반적으로 Scratch랑 비슷
• 노드 : 네모 박스
• 커스텀 노드 : 다른 사람이 프로그래밍해서 제공하는 노드

(선택) Termius

• https://termius.com/free-ssh-client-for-mac-os
• GUI 기반 SSH 클라이언트

공통 진행 사항

• 모델 불러오기 오류 → 파일 불러오기 경로 수정하기
• Missing Node Type 오류 → 브라우저 우측 상단 Manager → Install Missing Custom Nodes

(선택) 유용한 Custom Node

• https://github.com/crystian/ComfyUI-Crystools : CPU/RAM/GPU 등 자원 사용량 모니터링 도구
• https://github.com/tzwm/comfyui-profiler : 개별 노드 왼쪽 위에 걸린 시간 표시

Text to Image

• 입력한 프롬프트대로 새로운 이미지를 생성할 수 있음
• 아래 workflows 파일을 ComfyUI가 실행 중인 브라우저에 드래그/드랍하기
  • https://github.com/gwak2837/comfyui-workflow/blob/main/flux-t2i.json
  • https://github.com/gwak2837/comfyui-workflow/blob/main/flux-t2i-advance.json
    • 첫번째 워크플로우랑 과정은 동일한데 과정이 더 세분화된 버전
• AI 모델 다운로드
  • 브라우저 우측 상단 Manager → Model Manager
    • 모델 - kijai/FLUX.1 [dev] Diffusion model (float8_e4m3fn) - 11.9GB
    • t5 - comfyanonymous/flux_text_encoders - t5xxl (fp8_e4m3fn) - 4.89GB
    • VAE - FLUX.1 VAE model - 335.0MB
    • CLIP - comfyanonymous/clip_l - 246.0MB
  • SSH 터미널에 다운로드 상태 표시됨
  • 브라우저 우측 상단 Manager → Restart
• 파일 불러오기 경로 수정하기 (파일 이름은 다를 수 있으니 키워드만 확인)
  • Load Diffusion Model
    • unet_name : flux.1 dev fp8 …
  • DualCLIPLoader
    • clip_name1 : t5/t5xxl_fp8 …
    • clip_name2 : clip_l.safetensor
    • clip_name1, clip_name2 순서는 중요하지 않음
  • Load VAE
    • vae_name : ae.safetensor
• 하단 중앙 Queue 버튼 클릭

Image to Image

• 입력한 이미지를 입력한 프롬프트대로 새로 그릴 수 있음
• 아래 workflows 파일을 드래그/드랍하기
  • https://github.com/gwak2837/comfyui-workflow/blob/main/flux-i2i.json
• 브라우저 우측 상단 Manager → Install Missing Custom Nodes
• 전부 설치 후 Restart

Image Inpainting

• 입력한 이미지의 특정 부분만 다시 그릴 수 있음
• 아래 workflows 파일을 브라우저에 드래그/드랍하기
  • https://github.com/gwak2837/comfyui-workflow/blob/main/flux-inpaint.json

Pose to Image (ControlNet)

• 특정 자세의 인물 이미지를 생성할 수 있음
• 아래 workflows 파일을 브라우저에 드래그/드랍하기
  • https://github.com/gwak2837/comfyui-workflow/blob/main/flux-controlnet.json
• Missing Node Type
  • 브라우저 우측 상단 Manager → Install Missing Custom Nodes
• AI 모델 다운로드
  • 브라우저 우측 상단 Manager → Model Manager
  • Control Net - Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro - 6.60GB
• 전부 설치 후 Restart

Image Upscaling

• 이미지의 화질을 높이거나 세부 표현을 개선할 수 있음
• workflows 파일
  • https://github.com/gwak2837/comfyui-workflow/blob/main/flux-upscale.json
• AI 모델 다운로드 - Model Manager
  • Control Net - jasperai/FLUX.1-dev-Controlnet-Upscaler - 3.58GB
• 아래 업스케일 모델 다운로드 후 SFTP로 EC2에 해당 모델 파일 업로드하기
  • https://openmodeldb.info/models/4x-FaceUpDAT

sftp ec2-user@EC2-주소.compute.amazonaws.com
cd ~/ai/ComfyUI/models/upscale_models
put 업스케일_모델_위치

인물/스타일 고정하기 (LoRA)

• seed 등 파라미터 값이 변해도 인물/스타일이 일정한 이미지를 생성할 수 있음
• workflows 파일
  • https://github.com/gwak2837/comfyui-workflow/blob/main/flux-lora.json
• https://civitai.com/models
  • 오른쪽 위 Filters
    • Model types : LoRA
    • Base model : Flux .1 D
  • 원하는 파일 다운로드
    • Trigger words 확인 후 prompt에 넣어 주기
• SFTP로 EC2에 해당 모델 파일 업로드하기

sftp ec2-user@EC2-주소.compute.amazonaws.com
cd ~/ai/ComfyUI/models/loras
put LoRA_모델_위치

• Power Lora Loader (rgthree)
  • Add Lora 버튼을 클릭하거나 기존 입력창에서 모델 경로 선택하기

설정 비교하기

• seed, sampler, scheduler 등 파라미터 값이 결과 이미지에 어떤 영향을 주는지 비교할 수 있음
• workflows 파일
  • https://github.com/gwak2837/comfyui-workflow/blob/main/flux-params-comparison.json
• Sampler, Scheduler 원리 비교
• Flux - Sampler, Scheduler, Guidance, Shift 느낌 비교
• Sampler
  • 기본 모델에 따라 가능한/불가능한 샘플러가 존재함
  • 고전 계열
    • Euler
    • Heun
    • Heun++2
    • LMS (Linear Multi-Step)
  • Ancestral 계열 : 거듭된 step에도 결과 이미지가 수렴하지 않음
    • Euler ancestral
    • DPM2 ancestral
    • DPM++ 2s ancestral
  • Diffusion 계열
    • DPM2 (Diffusion Probabilistic Model)
    • DPM fast
    • DPM adaptive
    • DPM++ 2m
    • LCM
    • IPNDM (Improved Pseudo Numerical methods for Diffusion Models)
    • IPNDM V (Variable steps)
    • DEIS (Diffusion Exponential Integrator Sampler)
    • DDIM (Denoising Diffusion Implicit Model)
    • UniPC (Unified Predictor-Corrector)
    • UniPC bh2
• Scheduler
  • 기본 모델에 따라 가능한/불가능한 스케줄러가 존재함
  • Karras - DPM2, DPM adaptive 만 가능
  • SGM uniform
  • simple
  • DDIM uniform - 다른 스케쥴러와는 사뭇 다른 이미지로 수렴함
  • beta
  • linear quadratic - IPNDM V 불가능

참고

• https://www.youtube.com/@sebastiankamph/videos - 구독자 15.5만명
• https://www.youtube.com/@latentvision/videos - 3.17만명
• https://www.youtube.com/@CgTopTips/videos - 2.39만명
• https://www.youtube.com/@pixaroma/videos - 2.38만명
• ControlNet : https://ar5iv.org/html/2302.05543
• DWPose : https://ar5iv.org/html/2307.15880
• LoRA : https://ar5iv.org/html/2106.09685