파이토치 TensorRT 변환 후 추론하기

PyTorch Inference Testing 결과 (110개 PyTorch Operation 중 102개 Onnx 변환)

“Onnx 변환 지원 안되는 레이어(opset 17기준)”

• AsinhLayer
• AtanhLayer
• BitWiseRightLayer
• CoshLayer
• GatherElementsLayer
• GatherLayer
• SinhLayer
• TileLayer

TensorRT 지원되지 않은 Operations 리스트(10개 ops 유의)

1. TensorRT Engine으로 생성 X
   • DetLayer
   • IsInfLayer
   • LocalResponseNormLayer
   • UniqueLayer
2. TensorRT 결과값, Onnx 결과값 유사도가 낮은 ops
   • LogLayer(0.501)
   • MatMulLayer(0.04)
   • NonzeroLayer(None)
   • SqrtLayer(0.49)
   • SumLayer(0.000073)
   • TopkLayer(None)