參與:3追蹤:0
關於NPU的疑問
針對方案:基于NXP i.MX8QM的AI影像辨识与车辆识别方案
<p>你好想請教幾個問題 （在<span style="color:rgb(33,33,33);background-color:rgb(255,255,255);">i.MX8M Plus</span>）</p><p> </p><p>1. ONNX RunTime 要如何使用或確定有使用到npu 因為在文件 https://www.nxp.com/docs/en/user-guide/IMX-MACHINE-LEARNING-UG.pdf chapter 1中有明確的說明支援npu</p><p> </p><p>2.對於ONNX Runtime中的onnx model 要quantization的話有特別需要使用何種工具 還是只使用onnxruntime中的api (onnxruntime.quantization)就好了</p><p> </p><p>3.假設我沒有quantization的話使用float model，在npu 之下會比沒使用npu快嗎？</p><p> </p><p>謝謝</p>
0得分
最佳解
<p>Hi, Davison</p><p>1. ONNX 是可以使用 NPU 的 ; 如下指令 onnx_test_runner -j 1 -c 1 -r 1 -e <span style="color:#A6A6A6;">vsi_npu </span> ./mobilenetv2-7/</p><p> 但實際如何內化成自己的代碼，還須深入探討(目前沒研究)</p><p>2. ONNX 量化方式據我目前理解，應該是用 ONNX API 即可 </p><p>3. 無論有沒有量化模組，使用 float 對於 NPU 就是不適合， NPU 僅支援整數運篹</p><p> </p>
1F
0得分
最佳解