Stable diffusion을 통한 영상 변형

https://twitter.com/LighthiserScott/status/1567355079228887041

You record a video, render it out as singles images, take one frame, drop it on stable diffusion and change it as you like, them go on ebsynth and make it propagate to the rest of the video

https://www.youtube.com/watch?v=sP3u09_YFxk
이걸 보고 혹해서 나도 해봄!

흠 여기에 적힌대로 한 번 해보도록 하겠습니다.
대충 책상에 앉아서 찍은 영상으로 해봤는데 확실히 자연스러움

내껀 부족한 이유
1. 정면만 넣어야됨
정면을 통해 변형해서 움직이기 때문에
정면을 보지 않는 슬라이드는 엄청 깨짐
2. 입을 벌린게 함정
입을 벌리지 않은 슬라이드를 key로 사용한 것은 약간 미스였다.
3. 배경이 불분명하고 마스킹도 안했음ㅎㅎ
그러니까 주변 배경과 나의 모습 분리도 잘안되고
4. 나를 싹 변형 시킬 최고의 prompt를 찾은 것 같지도 않음
prompt에 pencil sketch 넣었었는데 이거말고 쨍하게 하이퍼리얼리즘 넣고 하면
영상과 비슷하게 될 듯