🪄NEW
새로운 스터디를 시작하게 되었다!!
주제는 IT 트랜드이다!!
세상에 너무많은 기술이 나오고있고, 나왔던 것들이 훨씬 더 발전해가면서 어떤 주제를 선택해야할지 어려웠는데, 나의 관심사 중 최근에 나왔던 기술을 선택하기로 했다.
ControlNet
사전 지식
- Stable Diffusion: stability ai에서 만든 이미지 생성 모델
개념
diffusion 모델을 활용한 ControlNet은 생성 과정을 최대한 사용자가 정의 할 수있는 최소한의 인터페이스를 제공한다. ControlNet을 통해 사용자는 depth map, segmentation map, scribble, keypoints 등과 같은 다양한 변수로 생성을 쉽게 조절할 수 있다!
💡 즉, ControlNet은 기존 텍스트-이미지 모델에 조건 제어 기능을 추가한 것이다.
예시
개념을 더 잘 이해하기 위해 ControlNet을 사용한 결과를 예시로 들었다.
왼쪽과 같은 사진을 입력값으로 넣어주고, 실제 사람처럼 만들어주라는 조건을 넣어주면 오른쪽과 같은 사진이 출력된다!!
뿐만 아니라, 아래와 같이 가볍게 그려진 그림과 "방 안에 있는 강아지" 라는 주제를 던져주면 오른쪽과 같이 다양한 결과물을 그려줄 수도 있다.
구조
어떻게 이게 가능할까?
구조를 정말! 간단히! 나타내면 아래와 같다.
- 잠긴 블록🔒과 학습가능한 블록🔓을 만든다.
- 학습 가능한 블록으로만 학습하고, 잠긴 블록을 통해 기존 모델을 보존한다.
- 이를 통해 원래 모델에서 파괴나 왜곡이 일어나지 않아 안전하다.
👉 때문에 더 좋은 결과를 낼 수 있다.
필요성
그렇다면 이러한 이미지 생성 모델의 필요성은 무엇일까?
ControlNet이 이미지를 생성한 결과만 두고 보면 그냥 귀여움과 신기함을 느낄수있는 정도였다. 그래서 그 원리가 궁금하고 대단하긴 하지만, 비즈니스적 측면에서 필요성을 크게 느끼지 못했으나, 검색하고 살펴본 결과 필요성은 다음과 같다.
인공 지능의 학습
많은 관심을 받고있는 인공지능은 대규모 데이터 셋을 학습해 서비스화된다. 하지만 그 데이터를 수집하고 정제하기엔 시간이 매우 오래걸리는데, 그 시간을 줄여 효율을 높일 수 있다.
디자인 및 예술 분야
광고, 그래픽 디자인 및 비디오 게임 개발과 같은 다양한 창의적 응용 프로그램에서 사용할 수 있는 새롭고 고유한 이미지를 생성하는 데 사용할 수 있다.
의료 영상 분야
환자의 장기, 조직 및 뼈에 대한 새로운 이미지를 생성하여 환자의 상태에 대한 보다 상세하고 정확한 정보를 제공할 수 있다.
🤓 Insight
뉴스에 소개되는 인공지능과 기사를 통해 최근 이러한 이미지 처리 애플리케이션에 대한 관심이 커지고 있고 그 중요성 또한 늘어가고 있다고 느낀다.
따라서 이러한 모델이 계속 발전함에 따라 비즈니스적 측면의 중요성도 늘어가지만, 그만큼 가치 있는 것은 '시각'과 '두뇌'를 인공적으로 만들어내기 위해 연구하는 과정에서 얻는 깊은 이해라고 생각한다!
[사진 출처 및 참고] : 더 구체적인 설명과 코드를 볼 수 있습니다.
https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/controlnet.ipynb
