影像辨識技術結合Q1ARM機器手臂進行物品分類
前言
本篇的專題教學主要是透過Microsoft LOBE.ai的影像分類神經網路訓練平台進行影像分類模型的訓練，匯出的影像分類神經網路模型將會以Tensorflow-Lite格式進行後續延伸的機器手臂影像分類辨識的操作，本篇教學採用的機器手臂是採用香港的一個Maker所設計的Q1-ARM機器手臂進行機械的運作，這位香港Maker朋友所設計的Q1-ARM機構非常簡單可靠，機械的動作也非常地確實，非常適合所有想嘗試製作機器手臂控制的初學者進行實作，本篇教學也會針對Q1-ARM的機構簡單介紹，而Q1-ARM相關的實作教學基於尊重原作者的智產權，以下提供原作者分享的連結https://wikifactory.com/@jason-workshop/q1-arm-mark-2，請各位有興趣的朋友可以至該原廠網站參考相關實作教學文件，本篇教學的主題將會區分成兩個部份的章節主題進行教學，分別如下：- Q1-ARM的控制核心Linkit-7697微控器的程式設計
- 嵌入式（或個人電腦）Python控制核心的程式設計
| 分類 | 技術教學文 | 標籤 | LOBE.ai、Tensorflow-Lite、Classification、Python、Q1ARM |
| 撰寫/攝影 | 曾俊霖 | ||
| 前情提要 | 在此之前CAVEDU部落格有一篇「Raspberry Pi 4 之輸送帶影像辨識分類機電整合專題」，該篇主要是透過Teachable Machine進行影像分類神經網路的訓練，並且匯出Tensorflow-Lite模型至樹莓派進行輸送帶的分類操作，透過樹莓派的GPIO的控制，進行伺服馬達與直流輸送帶馬達的控制。 | ||
| 時間 | 6小時以上 | 材料表 | 1. Q1-ARM 2. Linkit-7697 3. Robot Shield V2 Servo Control Board for LinkIt 7697 4. 嵌入式系統或個人電腦 |
本篇專題教學，主要是要針對影像辨識的結果進行機器手臂的動作操作，由於機器手臂是透過Linkit-7697微控器進行控制，本身受限於微控器的運算效能不足以進行影像辨識運算，因此必須結合能夠進行神經網路模型運算的嵌入式系統（或個人電腦）運算能力較強大的平台進行操作，因此本篇專題教學是一個跨平台操作的系統，以下列出這個跨平台操作的系統架構圖。
一、Q1-ARM的操作概念說明
Q1-ARM是一個具有5個自由度的機器手臂，五個自由度分別是：底座（左右旋轉）、下臂（上下旋轉）、上臂（上下旋轉）、腕部（上下旋轉）、夾爪（開閉旋轉），基本上都是透過SG-90伺服馬達進行機構的運動，因此無法乘載過重的負載，但用於機器手臂基礎控制教學是非常合用的，相關機器手臂的組裝檔案連結如下：組裝說明
Q1-ARM是透過聯發科的Linkit-7697微控器進行控制，在本篇專題教學，我們將會採用Arduino IDE開發環境進行程式的設計，完整的Arduino IDE的原始程式碼為 q1arm_serial.ino，請由此取得
以下簡要介紹重要程式片段：
[pastacode lang="cpp" manual="%23include%20%3CServo.h%3E%0AServo%20__myservo16%3B%0AServo%20__myservo11%3B%0AServo%20__myservo9%3B%0AServo%20__myservo8%3B%0AServo%20__myservo7%3B%0A" message="透過標準的Servo.h程式庫進行伺服馬達的設定，總共有5個伺服馬達，控制信號分別接至Linkit-7697的D16、D11、D9、D8、D7數位信號接腳。 D16：底座旋轉 D11：下臂 D9：上臂 D8：腕部 D7：抓爪" highlight="" provider="manual"/]
[pastacode lang="cpp" manual="if%20(Serial.available())%20%7B%0A%20%20%20%20%2F%2F%20%E8%AE%80%E5%8F%96%E5%82%B3%E5%85%A5%E7%9A%84%E5%AD%97%E4%B8%B2%E7%9B%B4%E5%88%B0%22%5Cn%22%E7%B5%90%E5%B0%BE%0A%20%20%20%20str%20%3D%20Serial.readStringUntil('%5Cn')%3B%0A%0A%20%20%20%20String_to_Int(str%2C%202)%3B%0A%20%20%20%20Serial.println(SA%5B0%5D)%3B%0A%20%20%20%20Serial.println(A%5B1%5D)%3B%0A%20%20%7D%0A" message="透過Serial.readStringUntil函數擷取UART串列資料，判斷 \n 決定命令字串是否結束。 String_to_Int(str, 2)：擷取字串2欄資料(分別是第0欄與第1欄，第0欄設定「馬達編號」，第1欄設定「馬達轉動角度」。" highlight="" provider="manual"/]
[pastacode lang="cpp" manual="%20%20if%20(SA%5B0%5D%20%3D%3D%20%22%E6%95%B8%E5%80%BC%22)%20%7B%0A%20%20%20%20int%20PRE_angle%20%3D%20__myservo16.read()%3B%0A%20%20%20%20if%20(A%5B1%5D%20%3E%3D%20PRE_angle)%20%7B%0A%20%20%20%20%20%20for%20(int%20angle%3DPRE_angle%3Bangle%3C%3DA%5B1%5D%3Bangle%2B%2B)%7B%0A%20%20%20%20%20%20%20%20%20__myservo16.write(angle)%3B%0A%20%20%20%20%20%20%20%20%20delay(20)%3B%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20Serial.println(%22Servo_OK%22)%3B%0A%20%20%20%20%7D%0A%20%20%20%20if%20(A%5B1%5D%20%3C%20PRE_angle)%20%7B%0A%20%20%20%20%20%20for%20(int%20angle%3DPRE_angle%3Bangle%3E%3DA%5B1%5D%3Bangle--)%7B%0A%20%20%20%20%20%20%20%20%20__myservo16.write(angle)%3B%0A%20%20%20%20%20%20%20%20%20delay(20)%3B%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20Serial.println(%22Servo_OK%22)%3B%0A%20%20%20%20%7D%20%20%20%20%0A%20%20%7D%0A" message="" highlight="" provider="manual"/]
擷取字串第0欄位(SA[0])，判斷控制哪個伺服馬達。擷取字串第1欄位(A[1])，判斷伺服馬達的轉動角度。程式會讀取伺服馬達目前的初始角度狀態，決定增加或減少角度。角度控制透過for迴圈逐漸增減伺服馬達轉動角度，防止機器手臂因伺服馬達轉動速度太快導致機器手臂整體晃動不穩的狀況發生。
[pastacode lang="cpp" manual="void%20String_to_Int(String%20temp%2C%20int%20count)%0A%7B%0A%20%20int%20index%3B%0A%0A%20%20index%20%3D%20temp.indexOf('%2C')%3B%0A%20%20SA%5B0%5D%20%3D%20temp.substring(0%2C%20index)%3B%0A%0A%20%20for%20(int%20i%20%3D%201%3B%20i%20%3C%20count%3B%20i%2B%2B)%20%7B%0A%20%20%20%20temp%20%3D%20temp.substring(index%20%2B%201%2C%20temp.length())%3B%0A%20%20%20%20index%20%3D%20temp.indexOf('%2C')%3B%0A%20%20%20%20SA%5Bi%5D%20%3D%20temp.substring(0%2C%20index)%3B%0A%20%20%20%20A%5Bi%5D%20%3D%20SA%5Bi%5D.toInt()%3B%0A%20%20%7D%0A%7D%0A" message="" highlight="" provider="manual"/]
判斷來自UART接收的字串內容，透過.indexOf(',')判斷各字串的分隔符號。
透過.substring(0, index)取出字串欄位內的資料。
由上述的程式運作可知，Linkit-7697透過USB-UART介面進行串列資料的接收，這樣的操作方式，其實非常適合進行跨平台的操作，只要能夠收發UART資料便可以進行操控。以下便要介紹命令機器手臂動作的運算中心的操作概念。
二、嵌入式系統（或個人電腦）運算操作的概念說明
本篇專題教學採用的Python程式運算主要是處理影像分類神經網路模型運算，這部分的運算由於有著較大的運算負荷，因此需要由具有較佳運算較能的嵌入式系統（如：樹莓派、Jetson系列、ASUS-Tinker系列等）或是個人電腦進行操作，此外，為了降低運算的負荷，對於訓練後匯出的神經網路模型，本篇專題教學將以Tensorflow-Lite模型進行後續的影像推論應用。 以下列出整個操作影像辨識與控制機器手臂的流程：
對於影像分類神經網路模型的訓練，本篇專題教學將是以Microsoft LOBE.ai平台進行神經網路模型的訓練，LOBE.ai的操作教學請參考本篇教學：微軟 LOBE ai – 離線訓練影像辨識模型！
此外，由於本篇專題教學為了提高訓練用影像資料集的品質，因此設計了一個蒐集影像照片的Python程式，這個Python主要的功能是能夠在即時影像畫面中指定一個特定的區域，或稱ROI（Region of Interest）區域，進行影像資料的蒐集，可以大幅降低訓練用資料集的照片不必要的影像干擾，使用者可以透過鍵盤的上下左右鍵進行ROI區域的位置，也可以透過鍵盤的「+」與「-」按鍵進行ROI區域的大小調整，在選定好特定的監控區域後按下「Enter」鍵確定拍照區域，接下來便可以按「空白鍵」進行拍照的動作，依照LOBE.ai的運作特性，我們建議針對每個要辨識的類別，約莫進行30張照片的蒐集，並且指定正確的分類資料夾名稱，拍照程式的程式碼為PHOTO_ARM.py，請由此取得。
請注意，操作拍照程式時，必須要確定機器手臂也確實連接至嵌入式系統（或個人電腦）上，並且確定攝影機連接的編號，拍照的檔案都是以Photo開頭命名的JPG圖檔，拍照完成後使用者必須確實轉存到指定的資料夾中。
嵌入式系統Python程式操作的方式：
[pastacode lang="bash" manual="python3%20PHOTO_ARM.py%20--video%20%E6%94%9D%E5%BD%B1%E6%A9%9F%E7%B7%A8%E8%99%9F%20--com%20UART%E9%80%A3%E6%8E%A5%E5%9F%A0%E7%B7%A8%E8%99%9F%0A%23%E4%BE%8B%E5%A6%82%0Apython3%20PHOTO_ARM.py%20--video%200%20--com%205%0A" message="" highlight="" provider="manual"/]
個人電腦透過Anaconda虛擬環境的操作方式：
[pastacode lang="bash" manual="python%20PHOTO_ARM.py%20--video%20%E6%94%9D%E5%BD%B1%E6%A9%9F%E7%B7%A8%E8%99%9F%20--com%20UART%E9%80%A3%E6%8E%A5%E5%9F%A0%E7%B7%A8%E8%99%9F%0A%23%E4%BE%8B%E5%A6%82%0Apython%20PHOTO_ARM.py%20--video%200%20--com%205" message="" highlight="" provider="manual"/]
在完成拍照後，請將拍照的照片轉存到自行定義的類別資料夾中，類別資料夾名稱可以自行定義，但必須採用英文或數字，且名稱不可以有空格，在進行LOBE.ai平台運作的時候，也建議以資料集(Data-Set)的方式進行資料集匯入，請參考以下三張畫面截圖。
[gallery ids="43508,43509,43510"]
LOBE.ai在完成匯入訓練資料集與神經網路模型訓練後，本篇專題教學採用Tensorflow-Lite的模型進行匯出模型應用。
在完成匯出Tensorflow-Lite神經網路模型後，便可以進行後續影像辨識控制機器手臂的動作，這部分的程式必須確定以下三件事情都有確實完成連接或設定：
- Webcam攝影機完成連接於嵌入式系統（或個人電腦），並且確認攝影機連接編號。
- Q1-ARM完成連接於嵌入式系統（或個人電腦），並且確認UART串列通訊埠的編號。
- ai訓練後的神經網路模型資料夾與Python程式存放在同一個資料夾中。
- UART串列資料傳輸設定
- Tensorflow-Lite模型匯入
- 影像分類推論
- 推論結果控制機器手臂
python3 LOBE_WEBCAM_ARM.py --video 攝影機編號 --com UART連接埠編號 --model "模型資料夾"
例如：
python3 PHOTO_ARM.py --video 0 --com 5 --model "ARM_MODEL_LOBE TFLite"
個人電腦透過Anaconda虛擬環境的操作方式：
python LOBE_WEBCAM_ARM.py --video 攝影機編號 --com UART連接埠編號 --model "模型資料夾"
例如：
python PHOTO_ARM.py --video 0 --com 5 --model "ARM_MODEL_LOBE TFLite"
以下針對LOBE_WEBCAM_ARM.py的程式內容，進行簡要說明：
[pastacode lang="python" manual="Condition_1%20%3D%20'OBJ_1'%0ACondition_2%20%3D%20'OBJ_2'%0ACondition_3%20%3D%20'OBJ_3'%0ACondition_4%20%3D%20'OBJ_4'%0ACondition_Other%20%3D%20'Other'%0A" message="設定影像辨識分類的名稱，這部分必須要和LOBE.ai訓練神經網路模型時，各指定的類別名稱一致。" highlight="" provider="manual"/]
[pastacode lang="python" manual="def%20get_prediction(image%2C%20interpreter%2C%20signature)%3A%0A%20%20%20%20%E5%BD%B1%E5%83%8F%E6%8E%A8%E8%AB%96%E7%9A%84%E7%A8%8B%E5%BC%8F%E7%89%87%E6%AE%B5(%E7%95%A5)%0A%20%20%20%20return%20outputs%0A%23image%E6%98%AF%E5%8D%B3%E6%99%82%E5%BD%B1%E5%83%8F%E8%B3%87%E6%96%99%0A%23interpreter%E6%98%AF%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF%E6%A8%A1%E5%9E%8B%0A%23signature%E6%98%AF%E6%A8%A1%E5%9E%8B%E5%8F%83%E6%95%B8%E6%AA%94%E5%85%A7%E5%AE%B9%0A" message="get_prediction是影像推論的函式" highlight="" provider="manual"/]
[pastacode lang="python" manual="def%20process_image(image%2C%20input_shape)%3A%0A%20%20%20%20%23%E5%BD%B1%E5%83%8F%E5%89%8D%E8%99%95%E7%90%86%E7%9A%84%E7%A8%8B%E5%BC%8F%E7%89%87%E6%AE%B5(%E7%95%A5)%0A%20%20%20%20return%20image.reshape(input_shape).astype(np.float32)%0A%23image%E6%98%AF%E5%8D%B3%E6%99%82%E5%BD%B1%E5%83%8F%E8%B3%87%E6%96%99%0A%23input_shape%E6%98%AF%E8%BC%B8%E5%85%A5%E5%BD%B1%E5%83%8F%E7%9A%84%E8%A7%A3%E6%9E%90%E5%BA%A6%E8%B3%87%E8%A8%8A%0A%0A" message="process_image是影像預處理函式" highlight="" provider="manual"/]
[pastacode lang="python" manual="%20%20%20%20COM_PORT%20%3D%20args.com%20%20%23COM_PORT%E8%AE%8A%E6%95%B8%E8%A8%AD%E5%AE%9AUART%E9%80%9A%E8%A8%8A%E9%80%A3%E6%8E%A5%E5%9F%A0%E7%9A%84%E7%B7%A8%E8%99%9F%0A%20%20%20%20BAUD_RATES%20%3D%209600%20%20%23BAUD_RATES%E8%AE%8A%E6%95%B8%E8%A8%AD%E5%AE%9ARAUD%E7%82%BA9600BPS%0A%20%20%20%20ser%20%3D%20serial.Serial(COM_PORT%2C%20BAUD_RATES)%20%20%23%20%E5%BB%BA%E7%AB%8B%20ser%20%E7%89%A9%E4%BB%B6%E5%95%9F%E5%8B%95%E5%BA%8F%E5%88%97%E9%80%9A%E8%A8%8A%0A" message="" highlight="" provider="manual"/]
[pastacode lang="python" manual="if%20(times%3D%3D1)%20and%20(key_flag%20%3D%3D%200)%20and%20(Motion_Busy%20%3D%3D0)%3A%0A%20%20%20%20prediction%20%3D%20get_prediction(image%2C%20interpreter%2C%20signature)%0A" message="進行影像辨識" highlight="" provider="manual"/]
[pastacode lang="python" manual="if%20(classification_flag%20%3D%3D%201)%20and%20(Label_name%20%3D%3D%20Condition_1)%20and%20(prob%20%3E%200.5)%3A%0A%20%20%20%20Condition_1_count%20%3D%20Condition_1_count%20%2B%201%0A%20%20%20%20Condition_2_count%20%3D%200%0A%20%20%20%20Condition_3_count%20%3D%200%0A%20%20%20%20Condition_4_count%20%3D%200%0A" message="針對Condition_1條件1進行穩定辨識次數的計數。Condition_n條件n，以此類推。" highlight="" provider="manual"/]
[pastacode lang="python" manual="if%20(Condition_1_count%20%3D%3D%2050)%3A%0A%20%20%20%20Motion_Busy%20%3D%201%0A%20%20%20%20%E4%BC%BA%E6%9C%8D%E9%A6%AC%E9%81%94%E5%8B%95%E4%BD%9C%E8%A7%92%E5%BA%A6%E8%A8%AD%E5%AE%9A%E7%89%87%E6%AE%B5%E7%A8%8B%E5%BC%8F(%E7%95%A5)%0A%20%20%20%20%20Motion_Busy%20%3D%200%0A" message="Condition_1連續穩定辨識次數達50次時開始進行機器手臂伺服馬達的動作設定。 Condition_n，以此類推。" highlight="" provider="manual"/]
[pastacode lang="python" manual="times%3Dtimes%2B1%0Aif%20(times%20%3E%3D%2010)%20and%20(Motion_Busy%20%3D%3D0)%3A%0A%20%20%20%20times%3D1%0A" message="降低影像辨識推論的運算負荷，times>=10：表示每10個Frame進行一次影像辨識推論。" highlight="" provider="manual"/]
[pastacode lang="python" manual="read_dir_key%20%3D%20cv2.waitKeyEx(1)%0Aif%20(read_dir_key%20!%3D%20-1)%3A%0A%20%20%20%20print(read_dir_key)%0A%20%20%20%20%23%E9%80%B2%E8%A1%8C%E5%90%84%E7%A8%AE%E6%8C%89%E9%8D%B5%E5%81%B5%E6%B8%AC%E7%9A%84%E5%8B%95%E4%BD%9C%E7%A8%8B%E5%BC%8F%E7%89%87%E6%AE%B5(%E7%95%A5)%0A%20%20%20%20%23%20%E6%8C%89%20q%E9%8D%B5%20%E6%88%96%20Esc%E9%8D%B5%20%E7%B5%90%E6%9D%9F%E7%A8%8B%E5%BC%8F%20%20%20%20%0Aelif%20((read_dir_key%20%3D%3D%20113)%20or%20(read_dir_key%20%3D%3D%2027))%3A%0A%20%20%20%20key_detect%20%3D%201%0A" message="偵測各種按鍵" highlight="" provider="manual"/]
[pastacode lang="python" manual="if%20(key_flag%20%3D%3D%201)%3A%0A%20%20%20%20cv2.rectangle(image_src%2C%0A%20%20%20%20%20%20%20%20(box_left%2Cbox_top)%2C(box_left%2Bscale%2Cbox_top%2Bscale)%2C%0A%20%20%20%20%20%20%20%20(0%2C255%2C0)%2C2)%0Aelif%20(key_flag%20%3D%3D%200)%3A%0A%20%20%20%20cv2.rectangle(image_src%2C%0A%20%20%20%20%20%20%20%20%20(box_left%2Cbox_top)%2C(box_left%2Bscale%2Cbox_top%2Bscale)%2C%0A%20%20%20%20%20%20%20%20(0%2C0%2C255)%2C2)%0A" message="即時繪製影像辨識框" highlight="" provider="manual"/]
[pastacode lang="python" manual="box_center_x%20%3D%20box_left%20%2B%20int(scale%20%2F%202)%0Abox_center_y%20%3D%20box_top%20%2B%20int(scale%20%2F%202)%0A%0Adw%20%3D%20int(frame_width%20%2F%202)%20-%20box_center_x%0Adh%20%3D%20frame_height%20-%20box_center_y%0Aangle%20%3D%20(math.atan(dw%20%2F%20dh))%20%2F%20math.pi%20*%20180%0A%0Acv2.line(image_src%2C%0A%20%20%20%20%20(int(frame_width%20%2F%202)%2Cframe_height)%2C%0A%20%20%20%20%20(box_center_x%2Cbox_center_y)%2C%0A%20%20%20%20%20(0%2C255%2C255)%2C2)%0A%0A%20cv2.putText(image_src%2C%20str(round(angle%2C3))%2C%0A%20%20%20%20%20(int(frame_width%20*%200.6)%2C30)%2C%20cv2.FONT_HERSHEY_SIMPLEX%2C%201%2C%0A%20%20%20%20%20(0%2C255%2C255)%2C%206%2C%20cv2.LINE_AA)%0Acv2.putText(image_src%2C%20str(round(angle%2C3))%2C%0A%20%20%20%20(int(frame_width%20*%200.6)%2C30)%2C%20cv2.FONT_HERSHEY_SIMPLEX%2C%201%2C%0A%20%20%20%20(0%2C0%2C0)%2C%202%2C%20cv2.LINE_AA)%0A" message="繪製辨識框中心的連線，並且標示角度值。" highlight="" provider="manual"/]
[pastacode lang="python" manual="cv2.imshow('Detecting_1%20....'%2Cimage_src)" message="顯示即時影像畫面" highlight="" provider="manual"/]
即時影像辨識與機器手臂的控制，影片連結如下
[embedyt] https://www.youtube.com/watch?v=tl_S7lon3Qo[/embedyt]
相關文章
- Raspberry Pi 4 之輸送帶影像辨識分類機電整合專題：https://blog.cavedu.com/2020/05/25/raspberry-pi-4-conveyor01/
- 【教學】LinkIt 7697 也能玩AI圖像辨識：https://blog.cavedu.com/2020/12/15/linkit-7697-ai/
- 【Arduino首次接觸就上手】快速執行AI圖像辨識：https://blog.cavedu.com/2021/11/23/arduino-ai/
- 微軟 LOBE ai – 離線訓練影像辨識模型！：https://blog.cavedu.com/2020/11/11/microsoft-lobe-ai/
- LOBE connect – 本機端 api 呼叫：https://blog.cavedu.com/2021/04/06/lobe-connect-api/
- Q1 arm Mark 2，網址：https://wikifactory.com/@jason-workshop/q1-arm-mark-2
留言 💬 (0)
還沒有留言,來當第一個。