11/23~11/30 WIL

sean3819·2022년 11월 30일
0

WIL

목록 보기
5/7

1. DeepFake Disrupter(11/25)

비전 아티클 콘텐츠를 고민하던 중, 재밌어 보이는 논문이 나와서 읽어봤다. 딥페이크가 심각한 사회문제라는 것은 알고 있었지만, 어떤 방식으로 생성되고 어떻게 이를 방지하는지에 대해서는 이번 논문을 통해 처음 알게 됐다.

딥페이크는 생성모델의 발달로 인해 인간의 눈으로 구분 불가능한 수준까지 발전했다. 이를 구별해내기 위해, 기존에는 이미지 자체에 pertubation을 넣어 이미지 자체를 protect 해주거나, DeepFake Generator를 거친 이미지와 진짜 이미지를 구별해주는 Detector를 사용했다.

본 논문은 인간의 눈과 detector의 눈이 이미지를 바라보는 시각이 다르다는 생각으로부터 시작한다. 인간의 눈에는 가짜가 분명한 사진을 detector가 진짜라고 판단하는 기존 연구의 한계를 극복하여 end-to-end 모델을 구현해냈다. 대략적인 작동 방식은 다음과 같다.

먼저, 이미지에 인간의 눈, 그리고 'Detector의 눈'도 구분 불가능한 Pertubation을 넣는다. 이 이미지가 DeepFake Generator를 통과하면 인간이 봤을 때도 사진이 매우 일그러지고, Detector가 판단했을 때도 가짜로 판명하는 결과물이 나오게 된다. 이를 GAN의 loss 함수를 약간 변형하여 구현해낸다.

DeepFake와 같이 기술의 발전이 예상치 못한 부작용을 가져오는 안타까운 상황은 비단 생성 모델만의 이야기가 아니다. AI 기술이 점차 발달하면서 생기는 부작용들을 인지하고, 이에 대한 후속 연구들을 진행하는 '책임감 있는 연구' 자세에 대해 다시 생각해보게 해주는 논문이었다.

2. 선형대수 스터디(11/27)

k-mooc에서 제공하는 '딥러닝을 위한 선형대수' 강의를 같이 듣고 연습문제까지 풀어봤다. 강의가 선형대수를 이미 들은 사람을 대상으로 진행되고 있어서, 상당히 많은 부분을 생략하고 있다. 팀원들과 상의 후에 다른 강의로 바꿀 듯하다. 만약 바꾼다면 Gilbert Strang 교수의 Linear Algebra 강의를 들을 예정이다.

회의 결과 : Gilbert Strang 교수 강의를 듣다가 너무 딥해지면 k-mooc으로 다시 돌아가기로..!!

0개의 댓글