作者：子賢 購買商品傳送門-超連結

 

簡介

ASUS UGen300 USB AI 加速器是全球首款專為生成式 AI 打造的 USB 加速器。它採用隨插即用的 USB-C 介面，能為既有的邊緣設備瞬間注入高效率的本地 AI 推論算力。   該加速器搭載先進的 Hailo-10H 晶片，僅需 2.5W 的超低功耗即可提供高達 40 TOPS (INT4) 的 AI 算力。搭配內建的 8GB LPDDR4 記憶體，讓使用者能以極高的能源效率，在本地端執行大型語言模型 (LLM)、視覺語言模型 (VLM) 及語音轉文字模型 (Whisper) 等多元 AI 應用。   在相容性方面，UGen300 支援 x86 與 Arm 雙架構，並全面相容 Windows、Linux 及 Android 作業系統，能輕鬆實現跨平台的 AI 開發與部署，無論是 PC、單板電腦或嵌入式系統皆可完美適應。   此外，它更支援 PyTorch、Keras、TensorFlow、TensorFlow Lite 及 ONNX 多種主流 AI 框架，並提供超過 100 種預訓練模型，大幅降低了 AI 開發的入門門檻，協助使用者快速落實各式 AI 應用部署。

適用場景

• 邊緣運算：部署於工廠產線、無人機、無人搬運車 (AGV) 或智慧攝影機，在 2.5W 的極低功耗下進行高效率的即時物體偵測、影像分類與生成式 AI 等應用。
• 離線環境：在受限於環境 (地下、偏遠地區) 或是資安因素 (隱私、保密) 等無法連接網路的情況，提供低延遲的本地端 AI 運算能力。
• 教學用途：透過隨插即用的加速器裝置，快速將 AI 運算導入教學環境，實際體驗與學習 AI 應用實作。

開箱

外盒採用牛皮紙盒包裝，正面印有 UGen300 USB AI 加速器的輪廓圖。   正面下方標註記憶體類型與容量、連接介面和支援的架構及系統。   打開後內容物包含加速器本體、USB-C to USB-C 連接線，還有一本使用手冊。   加速器外殼採用鋁合金，減輕重量的同時也方便導熱，正面印有 ASUS LOGO，背面還內藏有磁鐵，可以吸附在金屬表面。   側邊用於連接主機的 USB-C 10Gbps 接口，一旁還有狀態指示燈。   附帶的白色 USB-C to USB-C 連接線。   簡易使用手冊與保固卡，在華碩官網支援頁面也可以下載電子版。  

如何連接

使用時，用 USB-C to USB-C 連接線將加速器連接到主機上的 USB-C 10Gbps 接口。   接上主機後，加速器接口旁的狀態指示燈就會亮起，綠色代表正常啟動，之後就可以在主機上進行進一步的操作。

結論

以上是華碩 ASUS UGen300 USB AI 加速器的簡介與外觀概覽，在之後的幾篇文章中我們將會說明如何在 Windows 11 環境中逐步進行設定，使用 UGen300 USB AI 加速器執行大型語言模型的推論，並在 OpenWebUI 介面中與其進行對話。

參考文件

華碩 ASUS UGen300 8GB 產品頁面：https://www.asus.com/tw/motherboards-components/ai-accelerator/ugen/ugen300-usb-8g/