MIT App Inventor 重磅更新，使用Personal Audio Classifier 來做「聲音」的AI訓練吧！

作者/攝影

曾吉弘

 AI 行動化（AI on mobile）呼應了人類生活早已離不開手機的事實，另一方面，手機處理晶片速度一日千里，今天跑不動的東西，很快就不再是問題。對於 AI 這個議題，大家可以期待的事情就是一般化（大家都可以用）與 行動化 （網頁或app中就能直接使用），不需要理解複雜的技術理論也可以享受 AI 帶給我們的便利。 延續去年所推出的 Personal Image Classfier  （我說這個 PIC 網站的介面可以再改良一點啊...），MIT App Inventor 於 4/21 進一步推出了 Personal Audio Classifier，可以讓使用者錄製固定時間的短音效檔並使用該網站來訓練神經網路，訓練好的模型也可以放在 app 中離線執行。請參考 MIT App Inventor 團隊提供的 PAC 教學 根據文件，這概念都是來自於 Google Teachable Machine，並使用 TensorFlow.js (MobileNet) 來訓練網路，但 TM還可以用 poseNet 來偵測人體姿勢，希望 App Inventor 也可以支援（敲碗~）。

哪些手機可以用：

   MIT App Inventor 小組已表示 PAC extension 目前只有較新的 android 機種才可使用，並提供一個 apk 檔來測試，請下載並安裝這個 apk (或掃描以下 QRCODE)   把這個 apk 安裝在您想要執行 PAC 功能的 android 手機。開啟app，會先看到畫面左上角有一個 “Waiting…” 字樣，之後如果變成 “Ready and working!” 代表您的手機可以執行 PAC 聲音辨識，如果沒有的話就無法...   快去續約換新手機吧（誤） [caption id="attachment_40212" align="aligncenter" width="409"] 測試用 apk 執行畫面，本手機可用PAC功能[/caption]  

開始訓練神經網路！

STEP1. 進入 PAC 網站，點選 + 來新增一個 label，例如下圖的 hello。

STEP2. 按下 Record 來錄製聲音，錄好就會多一個綠色的頻譜(spectrum)方塊，如果錄錯了也可以刪除該檔案

STEP3. 根據 MIT App Inventor 教學，一個類別準備5~10個 sample就可以進行訓練了。訓練前可以設定一些超參數，對於進階需求的朋友可說是相當方便 。（PIC網站可以讓你新增網路層! 但是也要先知道這些網路層在幹嘛才行。）

[caption id="attachment_40216" align="aligncenter" width="555"] MIT App Inventor PIC 網站的超參數設定[/caption]  

STEP4. 訓練中，請稍等......

STEP5. 完成可以進行驗證，按下 Record 錄製一段聲音，稍等一下就會載入頻譜並在畫面右邊看到辨識結果與信心程度。老話一句，要有好的辨識結果就要有好的樣本資料，多多提供不同語氣的聲音樣本才是重點喔！（試著加入喜怒哀樂七情六慾的感覺來說 good morning 吧~）

STEP6. 匯出檔案 (mode.mdl) ，再將這個模型檔匯入您 app inventor 專案中的 PAC 元件就可以了，或者您可以用 MIT App Inventor 團隊提供的 aia檔案 （PAC元件已經在裡面了）來玩玩看。happy inventing~

 

相關文章：

• App Inventor 中文學習網 - PIC 相關文章