텐서플로우 TensorRT 변환 후 추론하기

Tensorflow Inference Testing 결과 (114개 PyTorch Operation 중 114개 Onnx 변환)

“tf2onnx의 경우 변환은 다 됨. 하지만 node및 내용이 비어있는 모델도 있음.”

TensorRT 지원되지 않은 Operations 리스트(15개 ops 유의)

1. TensorRT Engine으로 생성 X
   • BitRightShiftLayer
   • DetLayer
   • HardMaxLayer
   • IsInfLayer
   • MultinomialLayer
   • OneHotLayer
   • ReduceLogSumExpLayer
   • TileLayer
   • UniqueLayer
2. TensorRT 결과값, Onnx 결과값 유사도가 낮은 ops
   • ArgMaxLayer(None)
   • ArgMinLayer(None)
   • LogLayer(0.49)
   • MatMulLayer(0.03)
   • PowLayer(0.50)
   • SqrtLayer(0.50)