進入21世紀的這18年中,發生了一系列令人振奮的電子創新,其中包括專為工業(特別是智慧工廠)應用而開發的「智慧」機器人。

5G通訊的出現將使工廠能夠從生產車間獲取資料,從而改善品質並提高自動化程度。5G低延遲、加快的邊緣運算,以及快速採樣能力等,都將提高製造速度,並實現製造零部件的閉環線上檢測。

據慧與科技(Hewlett Packard Enterprise,HPE)稱,「邊緣運算是一種分佈、開放的IT架構,具有分散式處理能力,可支援行動運算和物聯網(IoT)技術。在邊緣運算中,設備本身可以處理資料,或透過本地電腦或伺服器來處理資料,而不必傳輸到資料中心。」(圖1)。

20190401NT31P1 圖1 加速的資料處理進展到在邊緣設備上完成。(圖片來源:《Trends in 3D Inspection: Edge Computing, Acceleration, and 3D Smart Sensors for IIoT》)

機器視覺

智慧型機器人性能的一個關鍵組成部分就是機器視覺(machine vision,MV)技術,這是電腦與高速攝影鏡頭的完美結合。透過結合這兩種技術,就可以執行複雜的檢查任務及數位影像採集和分析,這些資料可以用來控制機器人手臂、對物體進行分類、對圖案進行辨識,以及很多我們尚未想到的事情。

聯盟

首先,本文要從嵌入式視覺聯盟(Embedded Vision Alliance)談起,它將嵌入式視覺定義為將電腦視覺(CV)應用在機器上,而使其能夠透過視覺手段來瞭解周圍環境。

接下來,來看看機器人視覺感測架構的工業應用。機器視覺最佳和最複雜的一個方面就是3D成像,攝影鏡頭與其他支援設備相結合,可執行許多工,包括影像訊號處理(ISP)、視訊傳輸、格式轉換、壓縮和分析等。

隨後介紹一些來自微軟(Microsoft)、英特爾(Intel)和Occipital的3D攝影鏡頭成像技術。

微軟

微軟Azure透過雲端運算提供了一個簡潔的電腦視覺產品,利用這一平台為機器人帶來了智慧優勢。該公司官網上有一個示例可以說明他們是如何分析影像,其電腦視覺API非常引人注目。Jabil Circuit是他們的一個客戶,已經將其工廠車間連接到雲端,從《From the factory floor to the cloud: integrating predictive analytics with real-time manufacturing》一文中可以瞭解到他們如何將預測性分析與即時製造相結合。Jabil在其製造中採用了感測器、無線通訊、精密機器、光學、自動化和機電一體化等技術。

在2018年末,微軟宣佈與Open Robotics和ROS工業聯盟(ROS-I)合作,將機器人作業系統(ROS)導入Windows 10。

英特爾

英特爾採用硬體方法來加速智慧視覺的開發。即透過基於FPGA的加速器解決方案技術(歸功於其2015年收購Altera),結合英特爾CPU,開發下一代視覺系統。

攝影鏡頭感測器技術正在不斷改進,因此有一種趨勢是用智慧網際網路通訊協定(IP)攝影鏡頭來取代類比攝影鏡頭。此外,在與IP攝影鏡頭的新組合中,還有基於人工智慧(AI)深度學習的視訊分析。FPGA特別適用於基於視覺的系統,因為它具有高性能功耗比、低延遲和靈活性等優點(圖2)。

20190401NT31P2 圖2 FPGA具有支援不同感測器和機器視覺介面的靈活性。(圖片來源:英特爾)

由於FPGA可以使用不同的影像感測器和機器視覺專用介面實現機器視覺攝影鏡頭設計,因此機器視覺技術可透過使用其來得到增強。FPGA還可用作邊緣運算平台中的視覺處理加速器,借助人工智慧深度學習功能來分析機器視覺資料輸出。

可在機器人視覺攝影鏡頭中使用FPGA來增強和實現的其他領域包括:多個千兆乙太網路(GigE)攝影鏡頭的使用,其中FPGA可以整合影像擷取、攝影鏡頭介面、通訊和預處理等;在機器視覺攝影鏡頭和執行演算法的主機之間建立訊框抓取器鏈路;利用德州儀器(TI)的Channel Link介面實現Camera Link的使用、USB 3視覺、CoaxPress,以及Thunderbolt等。

Occipital

Occipital這家公司針對機器視覺的Occipital Tracking技術,具有6自由度(6DoF)位置追蹤、繪圖和障礙物感知等功能。該公司還有Structure感測器和Structure Core等產品可用於機器人系統。

Occipital利用Structure Core設計了一個袖珍型電腦視覺設備,具有板載廣角攝影鏡頭、立體紅外線功能、板載DSP,以及彩色模組。圖3顯示了三顆攝影鏡頭:一個160度視場角的廣角攝影鏡頭和兩個紅外線攝影鏡頭。它還有一個板載慣性測量單元(IMU),以及一個用於運算深度並也具有可程式設計DSP的NU3000處理器。

20190401NT31P3 圖3 Occipital Structure Core是一種高階深度感測器。(圖片來源:Occipita)

高階機器視覺和3D位移檢測

康耐視(Cognex)

康耐視提供3D雷射輪廓儀解決方案,例如3D位移感測器可用於產品的3D檢測(圖4)。

20190401NT31P4 圖4 康耐視DS1000和DS925B 3D雷射位移感測器。(圖片來源:康耐視)

康耐視還擁有基於VISIONPRO VIDI深度學習的軟體,可用於工廠自動化應用中的工業影像分析。該軟體結合了人工智慧、VisionPro和Cognex Designer軟體,可以處理缺陷檢測、紋理和材料分類、裝配驗證、變形零件定位,以及字元讀取,包括失真列印。

半導體解決方案

接下來,本文將從設計人員角度考察一些半導體專家,瞭解它們可以為定制和/或專有硬軟體設計提供哪種解決方案。

TI

TI為機器視覺攝影鏡頭提供了一些非常不錯的參考設計。TI為3D機器視覺提供的一種獨特的解決方案,利用了其數位光源處理器(DLP)技術。透過圖5中的例子可以看到,如何可在3D機器視覺應用中利用DLP。

20190401NT31P5 圖5 針對3D機器視覺的DLP解決方案。

除硬體外,TI還提供DLP結構光軟體開發套件(SDK),以及基於其TIDA-00254的3D機器視覺完整參考設計。

ADI

ADI選擇為條碼掃描器開發解決方案。機器視覺系統設計因為需要辨識和讀取大量的各類標籤,而無論其大小、形狀、顏色或條件如何,所以需要使用這類基於影像的系統。該公司認為條碼掃描器市場目前正在從基於雷射的系統轉向成像解決方案,從而獲得更高的掃描解析度、輸送量和專一性。為此,嵌入式處理器需要進行邊緣檢測與分類,腐蝕、膨脹、重定位和感興趣區域選擇,以及掃描演算法包含顏色和範本匹配部分。

在機器視覺攝影鏡頭領域,要求攝影鏡頭本身就能即時檢測缺陷或異常,Blackfin DSP的分析處理功能可以提高效率,並提供更具成本效益的線掃描和故障檢測解決方案。

ADI還推出了一款六足蜘蛛機器人,它可以部署在對人類來說過於危險的惡劣環境中,例如地震或其他自然災害地區。

協作型機器人

機器人將在智慧工廠和太空中與人類一起工作,這類協作型機器人被稱為cobot(collaborative robot的簡稱)。電腦視覺和影像辨識的新技術進步,將幫助這些cobot避免與其人類同事相接觸。VEO Robotics是一家為工業cobot開發感知和智慧方案的公司典範。

NASA自動漫遊車的機器視覺

現在我們來看看NASA用於自動漫遊車的機器視覺技術。最新的火星漫遊車是Mars 2020 Rover,它有一個非常獨特的「SuperCam」—不像大多數其他機器視覺攝影鏡頭那樣看影像,而是使用紅外線和綠色雷射光束來遠端分析土壤和岩石等材料的化學成分。使用的技術是雷射誘導擊穿光譜法(LIBS),利用漫遊車上的遠端RAMAN光譜系統進行礦物分析(圖6)。欲瞭解更多資訊,可參閱《"SuperCam" Update: Multi-purpose Instrument Coming Together for 2020 Launch to Mars》一文。

20190401NT31P6 圖6 Mars 2020 Rover使用SuperCam。(圖片來源:NASA)

使用機器人視覺的創新和教育應用

6自由度機械手

人工智慧正在成功地應用於電腦視覺系統,特別是機器人視覺(robotic vision)。電腦視覺可以獲取、分析、處理和理解影像,《Computer Vision Based Object Grasping 6DoF Robotic Arm Using Picamera》一文中提供了基本的機械手臂設計,它可以在特定位置執行起吊、運輸和卸放物體等多種任務。這個機械手臂與基於攝影鏡頭的3D視覺系統相配合—該系統連接到一台具有視覺演算法功能的電腦,能夠辨識物體的變形,以及空間協調,從而使機械手臂能夠遵循特定程式來完成其任務。

這種機器人設計使用了Picamera—這是一款官方的Raspberry Pi產品,能夠拍攝照片、錄製視訊,並可將所用影像特效用作輸入(圖7)。

20190401NT31P7 圖7 系統框圖。(圖片來源:《Computer Vision Based Object Grasping 6DoF Robotic Arm Using Picamera》)

電腦視覺演算法

這個系統設計使用了兩種演算法:演算法1用於辨識紅色物體,而演算法2可在將物體位置與機械手臂手爪位置進行比較時,與機械手臂一起辨識物體位置。

這是初學者學習機器視覺或電腦視覺和機器人技術的一個相對基礎的例子。這個示例利用將機械手臂的所有軸聚焦到所需物件來執行一些不同的基本功能,並可在所需位置對其卸放。

配備機械手臂的輪椅

這個例子比前一個例子複雜一點。該設計將幫助有醫療運動障礙的患者執行日常任務。由於患有上肢肢體疾病(如帕金森氏症)的患者手動控制機械手臂會比較困難,因此這種設計可以使他們受益,將使用電腦視覺的自主手臂安裝在輪椅上是基本的思路。

機械手臂具有6自由度,並結合電腦系統和兩個視覺感測器安裝在電動輪椅上。一個感測器使用電腦視覺演算法,檢測架子上隨機所放有色物體的粗略位置;第二個感測器透過確保物體準確放在手爪前以提供物體的精確位置。手臂將自動抓取有色物體,並將其交給使用者(圖8)。

20190401NT31P8 圖8 安裝在電動輪椅上的機械手臂。(圖片來源:《Automation of a Wheelchair Mounted Robotic Arm using Computer Vision Interface》)

這種機械手臂是由Trossen Robotics開發的PhantomX Reactor機械手臂套件。它使用的Arbotix-M機器人控制器是由Trossen自行開發—這款微控制器與Arduino相容。為了透過電腦與手臂通訊,設計人員使用了python串口訪問庫PySerial。

視覺感測器

兩個USB網路攝影鏡頭視覺感測器用於物體檢測。視覺感測器1是羅技HD c920網路攝影鏡頭,安裝在面向架子的機械手臂上方,這樣可以擷取手臂和架子的視訊以便進行即時的粗略定位,利用對視訊訊框進行處理即可定位目標物件的X和Y位置。視覺感測器2是一個機器人VGA網路攝影鏡頭,使用200mm鵝頸管安裝在手爪上方,這一視覺感測器用來擷取目標物體的近距離特寫視訊。電腦視覺演算法負責尋找並抓住物件物體,並將其拿到使用者面前,交給使用者。

Cartman

澳大利亞機器人視覺中心(ACRV)團隊成功設計了一款用於自動倉儲的取放機器人Cartman,而贏得了2018年亞馬遜機器人挑戰賽(Amazon Robotics Challenge)冠軍。

對於機器人來說,從雜亂的隨機物體堆中選擇一件特定物體是比較困難的事。這個專案則更加先進,可以用於家庭清潔,或先進的空間相關樣品退還任務,圖9顯示了Cartman的組成部分。

20190401NT31P9 圖9 Cartman設計有兩個6自由度機械手臂。其手腕上安裝有一個攝影鏡頭,以及兩個效應器工具(抽吸工具和平行夾持機構),框架上安裝了第二個攝影鏡頭,對紅色背景幕布區域的物品拾取進行二次拍攝。(圖片來源:《Cartman: The low-cost Cartesian Manipulator that won the Amazon Robotics Challenge》)

攝影鏡頭

由於要安裝在機器人的手腕上,英特爾RealSense SR300 RGB-D攝影鏡頭因其體積小和重量輕等優點而被選中。這款攝影鏡頭使用攝影鏡頭中的紅外線投影儀來確定深度;另一個RealSense攝影鏡頭安裝在機器人的框架上,用於對所拾取的物品進行第二次分類檢查。

這次比賽中一個有趣的挑戰是,機器人要拾取的物品僅在每次競賽開始前45分鐘才提供給參賽團隊。這為深度學習帶來了挑戰。這個獲獎團隊選擇在一組最小的未見物品資料上微調其基礎RefineNet網路,該團隊開發了一個半自動資料收集流程,而使他們能夠收集到每個未見物品七個獨特姿勢的影像資料,並創建帶標記的資料集,從而在7分鐘內對網路進行微調。在比賽期間,微調是在Intel Core i5-7600電腦和四片Nvidia GTX1080Ti顯卡上進行。

從挑戰賽可以看出,該團隊意識到,機器人系統的性能仍然有很長的路要走,才能達到人類的水準(人類可以做到大約400次拾取/小時,而Cartman只能執行大約120次/小時)。他們認為以下兩個特性對於贏得挑戰比賽至關重要,對設計能夠在現實世界中使用的自動機器人系統同樣重要:

•採用專注於系統級整合和測試的設計方法,可以幫助最佳化競賽表現;

•需要設計強健且能處理錯誤的高階邏輯。

機器視覺在紡織檢驗中的挑戰

Teledyne Dalsa擁有不錯的區域掃描、線掃描、TDI線掃描、智慧和紅外線攝影鏡頭系列。他們已經接受了在要求苛刻的紡織產業中使用機器視覺的挑戰,即要求成品不能有結構性和表面缺陷,這是一項艱巨而複雜的任務。

機器視覺主要用於惡劣工業環境中的工業攝影鏡頭。在紡織產業,生產線可能每天24小時運作,材料又可能在這樣的生產線上以高達120公尺/分鐘的速度移動,同時要求保持產品有高度的一致性和品質,這樣才能提高效率和利潤。

這種工作中所採用的攝影鏡頭通常是線掃描攝影鏡頭,其單行畫素可用於對快速移動材料創建連續的2D影像。這些攝影鏡頭特別適用於連續布料成像,同時可以檢測出圖案、顏色和紋理的變化,以及材料中的缺陷。與面掃描攝影鏡頭相比,這類攝影鏡頭在提供高速無污漬影像方面表現出色,具有很好的處理效率和更低的每畫素成本。

較新的多線掃描攝影鏡頭與不同的LED光源相結合,可以檢測沿生產線快速移動的紡織品在整個長度和寬度上的一系列缺陷,整個視場角範圍內的照明應該是均勻並且具高密度。

《A New Look: How Machine Vision Is Changing Textile Inspection》一文中指出,「線掃描攝影鏡頭產生的資料通常用於創建2D影像,或自動創建一張圖,用來準確顯示缺陷位於紡織品表面的位置,品質控制檢驗員可以查看這張缺陷圖來確定其有效性。品質控制檢驗員所尋找的一些典型缺陷包括水損壞、印刷錯誤、異物纖維、油斑等,然後,影像處理軟體對影像或缺陷圖進行分析,來對所檢測紡織品構建虛擬切割方案。這個過程可使製造商在實際切割紡織品之前虛擬地構建一個切割方案,從而能夠以最小的缺陷達到最大產量。一旦生成了理想的切割方案之後,製造商就可以據此實施,並準備紡織品的出貨了。」

20190401NT31P10 圖10 檢測結構性缺陷。(圖片來源:《A New Look: How Machine Vision Is Changing Textile Inspection》)

機器人正與人們一起工作,它們可以看到許多人類無法看到的東西,處理大量資料的速度要比人類大腦快幾個數量級。他們有眼睛、耳朵、語音,以及嗅覺和感覺能力,可以走路、交談、抓取,並執行複雜的功能。我們正在進入人工智慧的時代,這是機器人推理的開始,但我們是這項技術的創造者和主人,有責任確保創造用於正當目的,同時需要重新培訓可能因先進技術而失去工作的人。技術是好的,但作為技術的監護者,必須保持它們在社會中的地位,同時確保為每個人創造更美好和更成功的世界。

(參考原文: Robotic vision electronics design for industry and space,by Steve Taranovich)