DryHand Project

🙋‍♂️소개 및 목적

---

• Hand gesture를 이용한 Window Controller!
• 사용자의 손의 특정 행위를 웹캠으로 인식하여 특정 행동 수행
• 손으로 직접 입력 기기를 활용하여 어플리케이션을 작동하기 어려운 경우, 'DryHand'를 이용하여 영상 플랫폼을 편히 제어할 수 있는 프로젝트
• 키보드와 마우스를 제스처로 대신하는 프로젝트이기 때문에 웹 서비스보다는 exe 실행파일이 적합하도 판단하였습니다.

프로젝트 진행 방식

---

• 저는 webcam으로 찍힌 데이터에서 제스처 추출 알고리즘 구현 및 데이터 전처리를 맡아 프로젝트를 진행하였습니다.

• Agile 방식으로 프로젝트를 진행하였습니다.
  
  

• 유지보수, 관리를 쉽게하기 위해 모듈을 세분화하여 구현하였습니다.
  

기술 스택

---

사용 언어 : Python
Computer Vision : Tensorflow, MediaPipe, OpenCV
Control : Pyautogui
GUI & .exe : PyQt5, Pyinstaller
Collaboration : Slack, Trello, Github, Google-meet, Google-drive

진행 과정

---

제스처 추출 모듈 구현

---

• 전반적으로 손을 인식하는 과정을 Google의 MediaPipe 라이브러리를 가져와 사용하였습니다.
  
• 위의 구현한 모듈을 통해 Sliding Window 기법을 이용하여 이미지에서 손이 인식되는 시점부터 특정 프레임만큼의 좌표 데이터를 매 순간 수집하여 CSV 파일로 추출하였습니다.

  📌문제점

  문제점1. Sliding Window 기법으로 데이터를 추출하여 원하는 데이터를 얻기 위해서는 노이즈 데이터가 생성되는 문제 발생 -> 향후 실제 프로그램상에서 불필요한 모델 추론 발생
  문제점2. 다양한 제스처의 동작으로 특정 프레임을 지정하여 데이터를 추출하는 것은 부적합하다고 판단
  문제점3. RNN 데이터(csv, etc) 특성상 데이터 증강의 어려움 발생

  📍 해결방안

  • 문제점1-불필요한 모델 추론 발생 야구에서 선수끼리 사인을 주고받는 것에 영감을 받아 특정 동작을 했을 때만 제스처 인식 모드로 변환하는 함수 구현
    -> 이를 위해 HandDetector 모듈의 fingersUp 함수 구현
    -> 또한 인식률에 대한 threshold를 지정하여 엉뚱한 제스처가 동작하는 것을 방지하였습니다.
    

  • 문제점2-적당한 frame을 지정? 제스처 인식 모드구현으로 인하여 특정 프레임을 넉넉하게 설정하여 긴 동작과 짧은 동작은 모두 구분할 수 있게 구현하였습니다.
    -> 짧은 동작의 경우 남는 프레임 값을 0으로 채워 넣었습니다.

  • 문제점3-데이터 증강의 어려움 상대적으로 데이터 증강이 편한 이미지 데이터로 변환
    -> numpy의 zeros함수를 이용하여 검은색 캠퍼스를 생성
    -> 위에서 생성한 캠퍼스 위에 제스처 좌표를 선으로 연결하여 이미지 파일을 생성

• 위의 문제해결로 인한 학습 데이터 생산 능률이 50% 이상 증가하게 되었습니다.

모델링

---

• CNN 모델의 Back-Bone으로 VGG16, MobileNetV2, RNN 모델(LSTM) 이렇게 3가지 모델로 실험을 진행하였습니다.
• 데이터 증강의 어려움으로 RNN 모델보다는 CNN 모델의 초점을 맞추어 실험을 진행하였습니다.
• 인식률이 가장 높았던 VGG16모델을 선택하게 되었습니다.

각 모델별 인식률 보고서

프로젝트 데모 영상 및 기타 기능

• https://drive.google.com/file/d/19RqjRpDAPNROPFmS6t7JyyLEZPh2x0ml/view?usp=sharing

📍느낀점

---

• 이전 프로젝트에서 부족했던 부분들(github 활용, 협업 등등)을 채워가며 진행하여 더 뜻깊었던 프로젝트가 되었습니다.
• 팀원들과 함께 gitflow에 대해 스터디를 진행하였고 다양한 협업 툴을 사용하여 개발의 생산성을 높였습니다.
• 매주 금요일마다 팀원들끼리 회고를 진행하여 비대면으로 진행된 Project였지만 잘 끝 맞출 수 있었습니다.
• 이번 프로젝트로 학습 데이터의 질이 얼마나 중요한지 상기하게 되었습니다.
• 아쉬운 점은 RCNN 모델을 구축해보지 못했던 점과 GAN을 이용하면 RNN 데이터도 증강할 수 있다는 사실을 프로젝트 끝난 직후에 알게 된 점입니다.

DryHand github