NVIDIA Jetson專案 製作樂高輸送帶 執行自動光學檢測 AOI(Automated Optical Inspection)

在2022年的南港瓶蓋工廠Maker Faire所展出RK-AOI樂高自動光學檢測專題，受到很多大朋友小朋友的喜愛，吸引了很多好奇的民眾來觀看，紛紛都來詢問是如何透過樂高與微控器和reComputer來做結合，本篇就來分享這三者的協作溝通，以及原理說明。 [embedyt] https://www.youtube.com/watch?v=QPwoszgk7-0[/embedyt]  

RK-AOI光學檢測專題設備介紹

  由以下設備所組成:

• C270 Webcam-連結
• L298N馬達驅動板-連結
• IR感測器-連結
• 伺服馬達-連結
• 樂高PF馬達-連結
• LinkIt7697-連結
• NVIDIA Jetson Nano reComputer J2022-連結

  將不同顏色的積木放置輸送帶中，IR感測器偵測到後，便會停止馬達，使得攝影機能夠辨識積木。當攝影機辨識完畢，輸送帶便會重新啟動運輸積木，撥桿也會開始分類。流程圖如下。  

嵌入式系統和MCU之溝通

再來是reComputer和Link7697的溝通，是藉由UART的模式來做溝通，這類的溝通模式不限定reComputer和Link7697，只要是嵌入式系統和MCU(Microcontroller)搭配即可，如下圖所示:   即是reComputer和Link7697之間，是藉由一條Micro USB傳輸線來溝通，如下圖所示。     先說明reComputer接那些設備，如下圖所示:  

樂高PF馬達控制

接下來是樂高PF馬達控制。筆者是透過L298N馬達驅動板，接上樂高PF馬達來控制，樂高PF馬達配線說明，如下圖所示。   c1和c2的線可以配合Arduino程式，來控制樂高PF馬達的正/反轉。也就是說，馬達轉向若有錯，是可以直接互換c1和c2位置，或者改Arduino程式。  

LinkIt7697與其他感測器的腳位說明

再來以下說明的是LinkIt7697擴充板與感測器及樂高PF馬達腳位接法，如下圖所示。   以及LinkIt7697擴充板和reComputer溝通的接線圖，是為了控制伺服馬達撥桿。    

機器學習軟體

那重點來了，輸送帶AI識別積木顏色的軟體是用甚麼甚麼呢?筆者是透過微軟的Lobe.ai，不僅免費使用，還可直接安裝在電腦中，且可離線收集資料、訓練、推論及匯出模型。     有鑑於之前有使用過Google Teachable Machine做過類似顏色辨識的專題，但是效果卻差強人意，於是選擇Lobe.ai。 其最大優點是Lobe.ai有提供Optimize for Speed 和 Optimize for Accuracy 兩種優化模型。前者精度低，辨識率差，但辨識速度快，模型較小，適合資料集外型特徵差異大時使用；後者精度高，辨識率佳，但模型較大，適合資料集特徵外型差異小時用。本專案便選了Optimize for Accuracy ，在真實使用上除了在辨識樂高積木顏色時需要等10~20秒，時間稍久時，其辨識率也非常準確。  

控制介面說明

筆者設計了可以辨識樂高積木顏色的畫面，以及控制伺服馬達撥桿，和馬達轉速控制的控制介面，如下圖所示。   以上是本次的分享，如果對製作輸送帶方面的專題想更多了解，歡迎聯繫我們。