TensorRT
1.TensorRT Polygraphy를 활용하여 간단하게 trt engine 추론 과정 알아보기
OnnxRuntime.InferenceSession 이용backend/onnxrt/loader.py : class SessionFromOnnx(BaseLoader)@mod.export(\*funcify\*=True) 역할인스턴스 초기화 및 호출을 한 번에 실행\*\*\
2.TensorRT 8.5version Testing
TensorRT의 경우 꾸준히 version 업데이트가 진행되고 있습니다.아래의 깃허브를 참고해보면, 버전이 계속해서 업데이트 되고 있습니다. 아직 다른 프레임워크에서 지원되는 layer 및 operation이 지원되지 않는 경우가 있습니다. 매 버전마다 지원을 늘리고
3.텐서플로우 TensorRT 변환 후 추론하기
Tensorflow Inference Testing 결과 (114개 PyTorch Operation 중 114개 Onnx 변환)“tf2onnx의 경우 변환은 다 됨. 하지만 node및 내용이 비어있는 모델도 있음.”TensorRT 지원되지 않은 Operations 리스
4.파이토치 TensorRT 변환 후 추론하기
PyTorch Inference Testing 결과 (110개 PyTorch Operation 중 102개 Onnx 변환)“Onnx 변환 지원 안되는 레이어(opset 17기준)”AsinhLayerAtanhLayerBitWiseRightLayerCoshLayerGath
5.TensorRT Version별 프레임워크 Operation 지원 여부
TensorRT의 경우, 아직까지 계속해서 엔비디아에서 업데이트를 해주고 있기 때문에 새로운 버전에 맞춰 따라가야한다. 이전 버전에서 지원되지 않는 Operation이 새로운 버전에서 지원이 되기도 한다.물론 추가된 Operation(layer)에 대한 소스코드는 공개