[MLOps] Model Serving

1. Serving이란?

ML 모델을 서비스화 하는 것.

서비스 제공 방식

• HTTP API Request
• 챗봇과의 대화
• Netflix 영상 좋아요 버튼
• Youtube 구독 버튼
• 네이버 길찾기 버튼
  ....
  ...

서빙 단계에서 막히는 이유

• 모델 개발과 소프트웨어 개발의 방법과 괴리
• 모델 개발 과정과 소프트웨어 개발 과정의 파편화
• 모델 평가 방식 및 모니터링 구축의 어려움

서빙의 간편화를 도와주는 툴

• Seldon Core
• TFServing
• KFServing
• Torch Serve
• BentoML