簡介

承接上文，我們已經能夠在 Windows 11 環境下執行 hailo-ollama，讓 UGen300 USB AI 加速器成功運行大型語言模型，接下來將會說明如何在主機上安裝並使用 Open WebUI 應用程式，串接先前建立的 hailo-ollama 伺服器，在圖形化介面與大型語言模型進行對話。

文中使用的硬體

帶有 USB-C 10Gbps 介面的 Windows 11 電腦主機 ASUS UGen300 USB AI 加速器

測試系統版本

Windows 11 25H2

透過 Open WebUI 對話

直接使用 curl 指令對話時，回傳的內容會因為串流格式而變得不易閱讀。這時可以改為使用 Open WebUI，透過圖形化介面進行操作，首先要到 Open WebUI Desktop 的 Github 下載安裝檔案：   https://github.com/open-webui/desktop   將 Github 頁面向下拉動後，應該可以看到各個版本的安裝檔案，這邊選擇 Windows x64 平台的安裝檔案   下載完成後執行安裝檔案，進行 Open WebUI Desktop 的安裝，等待安裝完成後後就會彈出程式視窗，選擇 開始使用 進入下一步。   在正式安裝 Open WebUI 前會詢問是否要安裝其他功能套件，可以根據需求選擇。   按下繼續後，程式會自動將所需的套件逐一安裝，花費時間根據網路速度而定，大約需要 10~15 分鐘。   安裝完成後就會進到空白的介面，點擊左上角的按鈕將側邊欄展開。   點擊側邊欄中的 Open WebUI，進入 Open WebUI 介面，再點擊 開始使用 開始設定程式。如果是在剛開啟程式時，這個畫面可能還未載入完成，等待 Open WebUI 前方的燈號變為綠色後就會出現介面。   第一次進入 Open WebUI 時會要求建立一個管理員帳號，在各欄位輸入對應的資訊後，按下方的 建立管理員帳號 即可正式進入。   首次使用時，需要先修改連線設定，讓 OpenWebUI 能夠連線到 hailo-ollama，點擊左上的 選擇模型，在點擊 管理連線 進入連線設定介面   進入連線設定後，點擊 Ollama API 中 管理 Ollama API 連線後方的齒輪，進入編輯連線介面    將 URL 欄位中的內容改為 http://localhost:8000，改完後可以按一下後方的重新整理，如果成功連線會彈出 伺服器連線已驗證 的提示。   如果沒有回應的話可能是 hailo-ollama 沒有啟動，參考前面文章中的 啟動 hailo-ollama 步驟將它啟動後再次設定後應該會正常回覆。   確定能夠連線後，記得要按下儲存套用設定，然後按一下左上角的小圖案就可以回到對話介面。   返回對話介面後，剛才選擇模型的位置會變為之前下載的模型名稱，假如下載了多個模型，也可以使用下拉選單切換。     選擇想要的模型後，就可以直接與模型對話。  

結論

透過這一系列文章中的 Windows 11 環境配置與實作引導，我們展示了如何輕鬆地在既有的設備上使用 UGen300 USB AI 加速器，快速體驗本地端大型語言模型（LLM）的推論能力。憑藉著 Hailo-10H 晶片的高算力與低功耗優勢，搭配隨插即用的 USB-C 介面，UGen300 加速器不僅大幅降低了生成式 AI 的硬體門檻，更讓高效、便捷的在地 AI 應用觸手可及。

參考文件

華碩 ASUS UGen300 8GB 產品頁面：https://www.asus.com/tw/motherboards-components/ai-accelerator/ugen/ugen300-usb-8g/   Hailo Model Zoo GenAI Github： https://github.com/hailo-ai/hailo_model_zoo_genai   Open WebUI Desktop Github： https://github.com/open-webui/desktop