機械學習推理引擎 ONNX
Runtime 從 1.10 版本開始,支援使用 Xamarin 以 C# 建置 App。
ONNX Runtime 1.10 版本的 NuGet 套件中,包含對 Android 和 iOS 的支援,令開發人員可以於存在 ONNX Runtime 的行動裝置上執行 ONNX 模型,即是賦予開發人員建置跨行動裝置人工智能應用程式的能力。
ONNX Runtime 為一個機械學習開源項目,能夠加速各種框架、作業系統和硬體平台的機械學習模型運算,而 ONNX
Runtime Mobile 則是針對 Android 和 iOS 裝置的輕量級推理引擎版本,開發人員可以建置占用較小磁碟容量,經過最佳化智能 App。
在這個新釋出的 1.10 版本,官方支援開發者使用 Xamarin.Forms,建構 Android 和 iOS 跨平台 App,包括使用預設 CPU
Execution Provider,在裝置 CPU 上執行 ONNX 模型,而對於部分行動裝置所使用的專用硬件,ONNX Runtime Mobile 套件提供 Execution Provider,讓開發者能夠在 Android 使用 NNAPI,在 iOS 上使用 CoreML。
Xamarin 是一個開源應用程式平台,供開發者以 C# 和 .NET,建構現代且高效能的 iOS 和 Android App,由於 NuGet 套件中加入對 Android 和 iOS 的支援,開發人員便可以利用 ONNX Runtime,在 App 加入人工智能功能。
除了對 Android 和 iOS 的支援之外,ONNX Runtime 1.10 的新功能還包括加入 X64 和 ARM64 上的新量化核心,提升運算效能。在硬件的靈活度方面,新版本更新了 TensorRT、DirectML、OpenVINO 和 DNNL Execution Providers,在 Nvidia GPU 上,Python GPU 套件同時支援 CUDA 和 TensorRT Provider,讓用戶能夠更易於測試和使用。
新版本也簡化對 Mac 的部署,Rosetta 允許單個二進位文件跨 Apple Silicon 和英特爾晶片運作。另外,ONNX Runtime Web 則支援 WebAssembly SIMD,改進量化模型 (Quantized Model)的效能。