電腦視覺深度學習演算法在邊緣裝置推論之效能比較

想解決什麼問題

邊緣 AI 平台百百種，速度、功耗、溫度、模型支援度差很多，單看廠商規格很難選。本研究在同樣條件下實測比較。

怎麼做

1. 平台：Jetson Orin Nano、Raspberry Pi 4、Kneron Kneo Pi、Raspberry Pi 5、Raspberry Pi 5＋AI HAT+ 2，以及桌上型 GPU 作為基準
2. 四類任務 10 個模型：影像分類（RegNetX、ResNet18、EfficientNetV2、MobileNetV2）、物件偵測（YOLOv5、YOLOv8）、語意分割（DeepLabV3+、PIDNet）、目標追蹤（ByteTrack、FairMOT）
3. 量測 FPS、準確率、記憶體、功耗、溫度，並比較 FP32／FP16／INT8 精度、模型大小、輸入解析度與 Batch Size

做出了什麼

• Raspberry Pi 5＋AI HAT+ 2：邊緣平台中速度與省電平衡最好，FPS/W 最佳
• Jetson Orin Nano：最穩定、模型支援最廣（TensorRT）；Kneo Pi：最省電、溫度最低，但模型轉換與批次大小受限
• 沒有加速器的 Pi 4／Pi 5 只適合輕量任務，Pi 4 沒裝散熱片溫度最高；INT8 量化能加速，但部分模型準確率下降
• 結論：沒有單一最佳平台，要依速度、功耗、模型彈性的需求來挑

成果圖