[Update]
- 28 Feb - 7번 Tutorial repo 추가
Triton으로 inference server를 구축하는 과정에서 정보가 많이 없어 고생을 많이 하고 있다. 예시도 많이 없을 뿐더러, Nvidia에서 나온 공식 문서도 이곳 저곳 흩어져 있어서 이곳에 정리해보려 한다.
삽질하는 시간을 줄이는 방법은, 공식 문서를 보는 것이기 때문에..!
Triton Inference Server Offical Docs
1. Triton Inference Server Release Notes -> Link
Triton의 이전 버전부터 최신 버전까지의 release note를 확인할 수 있다.
또한, 가장 중요한 driver requirements(CUDA, CuDNN, NVIDIA Driver 최소 버전), GPU requirements에 대한 정보가 있다. NVIDIA Driver 버전과 CUDA 버전을 맞추는 것이 까다로워 꼭 공식 문서를 확인하는 것이 정신 건강에 좋다 ;;;
Docker container로 서버 구축 시, container 내부의 ubuntu, triton inference server, CUDA Toolkit, TensorRT의 버전도 확인 가능하다.
2. Nvidia Triton Docker Containers -> Link
Triton docker container 아카이브. tag 탭에서 다양한 버전, 종류별 container를 다운로드 받을 수 있다.
3. Nvidia Triton Inference Server User Guide -> Link
1번에서 적당한 Driver와 CUDA 버전을 찾아 container image를 빌드했다면, triton 서버에 대한 상세한 설명은 이 공식 문서에서 확인 할 수 있다. 글자도 작고 보기도 여럽게 만들어 놓은 Nvidia 개발자 사이트의 다른 공식 문서들과 다르게 이 문서는 펜시하다!
4. Triton Inference Server Github Docs -> Link
Triton github에 있는 공식 문서이다. 2번에 있는 공식 문서와는 살짝 다르다;; 참고할 내용들이 많으니 확인해보면 좋다.
5. Fast and Scalable AI Model Deployment with NVIDIA Triton Inference Server (Blog) -> Link
Nvidia에서 운영하는 공식 블로그로 triton 서버의 장점을 설명하고 있다.
6. NVIDIA Triton Inference Server Boosts Deep Learning Inference (Blog) -> Link
Nvidia에서 운영하는 공식 블로그로 예시와 함께 빠르게 훑어보는 triton 서버 구축 튜토리얼.
7. NVIDIA Triton Inference Server Github Tutorial -> Link
최근에 생긴 repo. Triton 빌드 하면서 너무 예시도 없고, 공식 문서는 정보가 없다고 느꼈는데, tutorial 예시들을 보고 응용하면 이해가 빠를듯하다.
8. Deploying a Model for Inference at Production Scale (NVIDIA Deep Learning Institute course) -> Link
공식 문서는 아니지만, 돈내고 봐야하는.. production scale의 모델 배포 강의
