지속가능한 AI 서비스를 위한 개발자용 MLOPS 플랫폼

개요

• 해당 프로젝트는 실제 사람의 걷는 영상으로부터 OpenPose 알고리즘을 통해 관절의 움직임을 프레임단위로 추적하고, Unity 환경에서의 모방학습을 거쳐 실제 사람의 거동과 유사한 움직임을 보이는 Walker를 구현하는 것을 목표로 함
• 사람의 걷는 움직임은 각 관절간의 유기적인 연결에 의해 구현됩니다. 이를 세부적으로 각각 모델링하여 구현하기는 거의 불가능하며, 많은 연산량을 필요로 합니다. 그렇기 때문에, 데이터 플랫폼을 구축하여 모델 학습환경을 분산시켜 더 많은 데이터를 학습합니다.
• 쿠버네티스 클러스터링을 통해 효과적으로 컨테이너를 관리

프로젝트 기간

• 2022.03.14 ~ 2022.06.01==10

사용기술

• Backend
  • Django
  • Unity
• DB
  • Hadoop
  • AWS S3
• Frontend
  • Unity
• ML
  • Openpose
  • Tensorflow
  • Pytorch
  • Unity
• Platform
  • Docker
  • Helm
  • Kubernetes
  • Kafka
  • Zookeeper
  • Spark
  • Prometheus
  • Grafana
    Lens
• CI/CD
  • Github
  • Jenkins
  • Helm

시스템 흐름도

데이터 파이프라인

• Video DATA
  • Client -> Django -> S3 -> Spark -> S3 -> Unity
• Message Queue
  • Django -> Kafka -> Spark -> Kafka -> Unity
• 모든 컴퓨터의 상태
  • Kubernetes -> Prometheus -> Grafana
  • Kubernetes 아래 모든 Pods의 정보를 Prometheus에서 받고 상태를 Grafana로 시각화

발표 ppt

• 담당 파트 : 30p ~ 42p
• URL

URL

github URL