---

layout: single

title: 카메라 스티커 앱을 만들어 보자

카메라 스티커 앱을 만들어 보자

• 할것 : 동영상 처리, 검출, 키포인트 추정, 추적, 카메라 원근

목표

---

• 얼굴인식 카메라 흐름의 이해
• blib 라이브러리 사용
• 이미지 배열의 인덱싱 예외 처리
  
  
  

준비물

---

• png 파일을 사용(배경이 없는 것)

사진 준비하기

• 눈, 코, 입 등의 얼굴 각각의 위치를 정확히 아는 것이 중요
  -> 이 위치를 찾아내는 기술을 landmark 또는 조정(alignment) 라고 함
• face landmark 데이터셋은 눈, 코, 입과 턱을 포함
• 머리의 위치는 떨어져 있는 정도로

준비 세부

---

• 얼굴이 포함된 사진
• 사진으로부터 얼굴영역 face landmark 를 찾음
• landmark를 찾기 위해 얼굴의 bounding box를 찾음
• 찾아진 영역에 스티커 넣기

얼굴이 포함된 사진

• 파일명 image.png
  -폴더구조
  aiffel
  ├── camera_sticker
  └── models
  └── images
  ├── king.png
  ├── hero.png
  └── image.png

파일 디렉토리 생성
$ mkdir -p ~/aiffel/camera_sticker/models$

$ mkdir -p ~/aiffel/camera_sticker/images$<br> <br> 파일 복사$ ln -s ~/data/* ~/aiffel/camera_sticker/images$

OpenCV 설치

pip install opencv-python
→ opencv-python : OpenCV 메인 모듈

pip install opencv-contrib-python
→ opencv-contrib-python contrib 모듈(래터 패키지)

cf.
pip install numpy
→ numpy : 데이터 분석 환경에서 많이 사용되는 행렬 연산을 위한 라이브러리
pip install matplotlib
→ matplotlib : 도표, 차트, 그래프 등을 구현할 수 있게 만든 그래픽 라이브러리

모듈 import

일단 모듈을 불러와야 에러가 안나니까 ㅋ

import os
import cv2
import matplotlib.pyplot as plt
import numpy as np
import dlib

준비한 이미지 읽기

my_image_path = './camera_sticker/images/image.png'
img_bgr = cv2.imread(my_image_path)  # OpenCV로 이미지를 불러옵니다
img_show = img_bgr.copy()            # 출력용 이미지를 따로 보관합니다
plt.imshow(img_bgr)                  # 이미지 출력하기
plt.show()                           # 이건 왜 써야할까요???

푸른색감이 도는 것은 opencv의 특징
matplotlib, dlib 등은 RGB순으로 사용하나
opencv는 예외적으로 BGR로 바꾸어 사용하여
붉은색 → 푸른색, 푸른색 → 붉은색으로 바뀌어 출력
보정이 필요

이미지 보정하기

참고 : OpenCV : 이미지 다루기

# plt.imshow 이전에 RGB 이미지로 바꾸는 것을 잊지마세요. 
img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB)
plt.imshow(img_rgb)
plt.show()

참고.
cv2.imread('img.png', 0) 에서 0 의 의미

• 문서에 따르면 이미지 읽기의 flag는 다음 3가지가 있습니다. 순서대로 1, 0, -1의 값을 갖습니다.

• cv2.IMREAD_COLOR : 이미지 파일을 Color로 읽어들입니다. 투명한 부분은 무시되며, Default값입니다.

• cv2.IMREAD_GRAYSCALE : 이미지를 Grayscale로 읽어 들입니다. 실제 이미지 처리시 중간단계로 많이 사용합니다.

• cv2.IMREAD_UNCHANGED : 이미지파일을 alpha channel까지 포함하여 읽어 들입니다.

• cv2.imread('img.png', 0)이라고 호출했다면 이미지를 Grayscale로 읽어 들이겠다는 뜻

얼굴 검출 face detection

• dlib의 face detector는 HOG(Histogram of Oriented Gradients)와 SVM(Support Vector Machine)을 사용

• HOG는 이미지에서 색상의 변화량
  → 이미지로부터 물체의 특징을 잘 잡아낸다.

• 2000년대 초반 많이 사용(얼굴 촛점 잡는 용도)

→ HOG를 시각화한 이미지

SVM 선형 분류기

• 다차원 공간을 한 벡터라고 본다면 여러 이미지는 여러 벡터
• SVM 선형 분류기는 얼굴이냐 아니냐를 구분하기 좋음
• → 이미지가 HOG를 통해 벡터로 만들어졌을 때 SVM이 잘 작동

• 얼굴의 위치를 찾는 방법

  • sliding window 를 사용
    • 작은영역(window)를 이동해가며 확인하는 방법
    • 큰 이미지의 작은 영역을 잘라 얼굴이 있는지 학인하고 옆으로 이동하여 확인
    • 이미지가 클수록 오래걸림
    • → 이걸 해소하기 위해 딥러닝이 필요함.

  dlib를 활영 hog detector를 선언.

# detector를 선언합니다
import dlib
detector_hog = dlib.get_frontal_face_detector()
print("🌫🛸")

🌫🛸

얼굴의 bounding box 찾기

detector_hog를 이용 얼굴의 bounding box 추출

img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB)
dlib_rects = detector_hog(img_rgb, 1)   # (image, num of image pyramid)
print("🌫🛸")

🌫🛸

dlib은 rgb 이미지를 입력으로 받기 때문에
cvtColor() 를 이용해서
opencv 의 bgr 이미지를 rgb로 변환

• detector_hog의 두 번째 파라미터는 이미지 피라미드의 수
  • 이미지피라미드 : 이미지를 upsampling 방법을 통해 크기를 키우는 것
    • upsampling
      • 간단하게 데이터의 크기를 키우는 것
      • 일반적으로 CNN의 레이어를 통과하면서 이미지의 크기를 줄이는 것
        -> down sampling
      • down sampling의 반대 개념이 upsampling
  • 이미지 피라미드에서 얼굴을 검출하면 작게 쵤영된 얼굴을 크게 볼 수 있음
  • → 더 정확한 검출이 가능
  • 참고 : Image Pyramids

<# 찾는 얼굴을 화면에 출력
# 찾은 얼굴 영역 박스 리스트
# 여러 얼굴이 있을 수 있습니다
print(dlib_rects)   

for dlib_rect in dlib_rects:
    l = dlib_rect.left()
    t = dlib_rect.top()
    r = dlib_rect.right()
    b = dlib_rect.bottom()

    cv2.rectangle(img_show, (l,t), (r,b), (0,255,0), 2, lineType=cv2.LINE_AA)

img_show_rgb =  cv2.cvtColor(img_show, cv2.COLOR_BGR2RGB)
plt.imshow(img_show_rgb)
plt.show()

rectangles[[(485, 1252) (1635, 2403)]]

• dlib detector 는

  • dlib.rectangles 타입의 객체를 반환

• dlib.rectangles 는

  • dlib.rectangle 객체의 배열 형태

• dlib.rectangle객체는

  • left(), top(), right(), bottom(), height(), width() 등의 함수를 포함

참고 : dlib.rectangles

• 녹색 박스가 정상적으로 출력되지 않는 경우가 있을 수 있음
• face detection이 정상적으로 진행되고 있는지 체크해 본 후 진행할 것.

얼굴의 face landmark 찾기

• 이목구비의 위치를 아는 것이 중요
• 이목구비의 위치를 추론하는 것을 face landmark localization 기술
  
  
  
• face landmark
  • detection 의 결과물인 bounding box 로 잘라낸(crop) 얼굴 이미지를 이용

Object keypoint estimation 알고리즘

• Face landmark와 같이 객체 내부의 점을 찾는 기술

1. top-down : bounding box를 찾고 box 내부의 keypoint를 예측
2. bottom-up : 이미지 전체의 keypoint를 먼저 찾고 point 관계를 이용해 군집화 해서 box 생성

• 우리가 할것은 1번 방법

Dlib landmark localization

• Dlib은 ibug 300-W 데이터셋으로 학습한 pretrained model 제공
• 학습 알고리즘은 regression tree의 앙상블 모델을 사용

이 점의 개수는 데이터셋과 논문마다 다름

참고: AFLW dataset

• Dibl의 제공되는 모델 사용
  → 먼저 아래의 내용을 다운로드

wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
mv shape_predictor_68_face_landmarks.dat.bz2 ~/aiffel/camera_sticker/models
cd ~/aiffel/camera_sticker && bzip2 -d ./models/shape_predictor_68_face_landmarks.dat.bz2

저장한 landmark 모델을 불러오기.

import os, dlib
model_path = os.getenv('HOME')+'/aiffel/camera_sticker/models/shape_predictor_68_face_landmarks.dat'
landmark_predictor = dlib.shape_predictor(model_path)
print("불러오기 완료")

불러오기 완료

landmark_predictor 는 RGB 이미지와 dlib.rectangle을 입력 받아 dlib.full_object_detection 를 반환

list_landmarks = []

# 얼굴 영역 박스 마다 face landmark를 찾아냅니다
for dlib_rect in dlib_rects:
    points = landmark_predictor(img_rgb, dlib_rect)
    # face landmark 좌표를 저장해둡니다
    list_points = list(map(lambda p: (p.x, p.y), points.parts()))
    list_landmarks.append(list_points)

print(len(list_landmarks[0]))

68

points 는 dlib.full_object_detection 의 객체이기 때문에 parts() 함수로 개별 위치에 접근할 수 있습니다. 조금 더 직관적인 (x, y) 형태로 접근할 수 있도록 변환해 주었습니다. 따라서 list_points 는 tuple (x, y) 68개로 이루어진 리스트가 됩니다. 이미지에서 찾아진 얼굴 개수마다 반복하면 list_landmark에 68개의 랜드마크가 얼굴 개수만큼 저장

for landmark in list_landmarks:
    for point in landmark:
        cv2.circle(img_show, point, 10, (0, 255, 255), -1)

img_show_rgb = cv2.cvtColor(img_show, cv2.COLOR_BGR2RGB)
plt.imshow(img_show_rgb)
plt.show()

스티커 붙이기

랜드마크를 기준으로 '눈썹 위 얼굴 중앙' 에 스티커를 씌우면 될 것 같습니다. 구현 방법은 여러 가지가 있습니다. 위 그림처럼 코 중심을 기준으로 높이 x 이상에 그려도 되고 눈썹 위 n 픽셀 위에 스티커를 구현

중요한 것은 얼굴 위치, 카메라의 거리에 따라 픽셀 x 가 다르기 때문에 비율로 계산을 해줘야 합니다. 계산할 수치는 두 가지

for dlib_rect, landmark in zip(dlib_rects, list_landmarks):
    print (landmark[30]) # 코의 index는 30 입니다
    x = landmark[30][0]
    y = landmark[30][1] - dlib_rect.height()//2
    w = h = dlib_rect.width()
    print ('(x,y) : (%d,%d)'%(x,y))
    print ('(w,h) : (%d,%d)'%(w,h))

(984, 1899)
(x,y) : (984,1323)
(w,h) : (1151,1151)

준비해둔 스티커 이미지를 읽어서 적용.

sticker_path = './camera_sticker/images/king.png'
img_sticker = cv2.imread(sticker_path) # 스티커 이미지를 불러옵니다
img_sticker = cv2.resize(img_sticker, (w,h))
print (img_sticker.shape)

(1151, 1151, 3)

왕관 이미지를 읽고 윗단계에서 계산한 크기로 resize

원본 이미지에 스티커 이미지를 추가하시 위해서 x,y좌표 조정
이미지 시작점은 top-left 좌표

refined_x = x - w // 2
refined_y = y - h
print ('(x,y) : (%d,%d)'%(refined_x, refined_y))

(x,y) : (409,172)

# 결과값이 음수가 계산
# 스티커의 시작점이 얼굴 사진의 영역을 벗어나면 음수로 표현
# opencv 데이터는 numpy ndarray 형태의 데이터 사용
# ndarray는 음수 인덱스 접근 불가
# 원본 이미지의 범위를 벗어난 스티커 부분을 제거 필요

스티커의 시작점 + 스티커 사진의 크기가 원본 이미지의 크기보다 큰 경우입니다. 스티커 사진의 오른쪽이나 아래쪽으로 넘어가는 경우죠. 이 경우는 어떻게 처리할까.

if refined_x < 0: 
    img_sticker = img_sticker[:, -refined_x:]
    refined_x = 0
if refined_y < 0:
    img_sticker = img_sticker[-refined_y:, :]
    refined_y = 0

print ('(x,y) : (%d,%d)'%(refined_x, refined_y))

(x,y) : (409,172)

-y 크기만큼 스티커를 crop하고 top의 x,y 좌표를 각각의 경우에 맞춰 원본 이미지의 경계값으로 수정

# 원본 이미지에 스티커 적용
# 길어서 복잡해 보이지만 img_show[from:to] 형식입니다
sticker_area = img_show[refined_y:refined_y+img_sticker.shape[0], refined_x:refined_x+img_sticker.shape[1]]
img_show[refined_y:refined_y+img_sticker.shape[0], refined_x:refined_x+img_sticker.shape[1]] = \
    np.where(img_sticker==0,sticker_area,img_sticker).astype(np.uint8)
print("슝~")

슝~

sticker_area는 원본이미지에서 스티커를 적용할 위치를 crop한 이미지 입니다. 예제에서는 (344,0) 부터 (344+187, 0+89) 범위의 이미지를 의미합니다.

스티커 이미지에서 사용할 부분은 0 이 아닌 색이 있는 부분을 사용합니다. 따라서 np.where를 통해 img_sticker 가 0 인 부분은 sticker_area를 사용하고 0이 아닌 부분을 img_sticker를 사용하시면 됩니다. img_show 에 다시 적용

# 결과 이미지를 출력하면 
plt.imshow(cv2.cvtColor(img_show, cv2.COLOR_BGR2RGB))
plt.show()

bounding box와 landmark를 제거하고 최종 결과만 출력해 봅시다. img_show 대신, 지금까지 아껴 두었던 img_rgb를 활용

sticker_area = img_bgr[refined_y:refined_y +img_sticker.shape[0], refined_x:refined_x+img_sticker.shape[1]]
img_bgr[refined_y:refined_y +img_sticker.shape[0], refined_x:refined_x+img_sticker.shape[1]] = \
    np.where(img_sticker==0,sticker_area,img_sticker).astype(np.uint8)
plt.imshow(cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB))
plt.show()