# Triton Inference Server
총 4개의 포스트

Stable Diffusion Inference 최적화 및 서버 구성
Stable Diffusion 모델은 Large-Scale Model이므로, 서비스를 위해선 고성능 GPU와 높은 Latency가 발생함효율적인 Stable Diffusion 서비스를 위해, 모델의 Latency를 줄이고 안정적인 Server 구성이 필요함Diffuse
2023년 3월 23일
·
0개의 댓글·
1
Triton Inference Server 부수기 2
모델 종류 : Yolov7-TensorRTGPU : V100 x 2Maximum batch size 8concurrency : 동시성inference/Second : 1초당 inference 처리량concurrecy가 36일때 가장 높은 효율(765 inference/
2022년 9월 30일
·
0개의 댓글·
0
Triton Inference Server에서 TensorRT Engine Inference
Triton Inference Server GitHub: https://github.com/triton-inference-server/server Triton Inference Server? Triton Inference Server(이하 TRTIS)는 모델을 넣어
2021년 5월 26일
·
3개의 댓글·
4