AI如何改進自動光學檢測?

作者 : Mark Patrick,貿澤電子

在AI基礎上進一步提升是AOI未來發展方向,為光學檢測應用而訓練演算法能夠帶來更高決策能力等更多好處...

在製造業中,檢測是必不可少功能。視覺檢查可保證產品符合預期功能和外觀,並為製造商和客戶帶來重要利益。最明顯的益處是,檢測結果能夠提供品質保證,可以透過產品標注或標籤直接傳達給客戶,或者在製造工廠內記錄,並作為其品質控制過程的一部份。如果產品從應用現場退回,檢測報告還可以協助進行故障排除,並可以協助製造商處理任何索賠。

此外,在生產過程中辨識任何不合格物件有助於確定是否需要調整生產製程或步驟,檢測結果可以協助確定故障原因,例如,電子產品表面安裝機中噴嘴堵塞,瓶裝設備故障或標籤機械未對準等等。即時辨識缺陷可以即時停止生產,從而解決問題。越及早發現品質問題,解決問題成本越低。業界經常引用一個「十倍規則」:產品開發階段發現錯誤成本比生產階段低十倍,同樣地,生產階段錯誤成本比現場應用階段亦低十倍。

從人工檢測到AOI

通常對生產每個產品都需要進行檢測。經過訓練操作者可以人工進行檢測,尤其是在處理簡單產品或作為整體外觀最終檢測時更是如此。印刷電路板元件(PCBA)等一些應用可能需要放大設備,最小功能尺寸(例如高密度IC互連和焊接在電路板之01005大小SMD晶片,如1),都對檢測人員視覺敏銳度(visual acuity)形成很大挑戰。

1:焊接在PCB上的表面安裝晶片。

但是,伴隨產品複雜度提高,一些典型設備可能包含大量此類元件。檢測者在進行檢測並記錄結果時,必須要克服視覺和節拍時間雙重挑戰,可能導致手工檢測不切實際。在某些狀況下,例如高速灌裝製程,可能根本無法進行人工檢測。

隨著特徵尺寸、複雜度和輸送量等方面挑戰越來越嚴峻,自動光學檢測(AOI)成為確保對每個項目進行充分檢測之唯一實用方法。

AOI包括影像感測、照明和運算子系統,它們協同操作以便擷取和分析影像。AOI系統可以將擷取影像與參考影像進行比較,之後得以辨識材料表面缺陷、焊接缺陷或PCBA上元件缺失或放錯位置等缺陷。或者,基於某些規則的系統會測量特徵尺寸(例如元件本身或每個接頭中焊料量),以確定「良好」(G)或「不良」(NG)狀態。如果檢測到缺陷,則機器設備可以隔離有缺陷物品,之後繼續進行後續檢測,或者暫停並警告操作者。

在複雜度、輸送量,或兩者都很高的應用中,儘管AOI已經超過了手動檢測,但是傳統影像處理系統和演算法仍存在一些缺點,這些缺點在系統和軟體開發以及在工廠車間進行設備安裝時非常明顯。

從傳統影像處理到AI

影像辨識的基本原理是將每個擷取影像數位化,並應用各種濾鏡來檢測圖案和特徵。邊緣偵測濾鏡通常用於檢測影像中的物件。能夠辨識人員之演算法可以應用坡度斜率檢測(slope detection)來辨識手臂、肩膀、腿部等特徵,該演算法還需要檢測這些被檢測特徵相對於彼此的方向,作為進一步界定標準。

檢測焊點演算法可以採用邊緣偵測和顏色檢測來辨識焊點,並檢測焊角(fillet)坡度是否在可接受範圍內。光學系統可以使用不同顏色從不同角度照亮待測單元。如果焊角斜率正確,則可能會反射出更大比例綠色波長。如果有更多紅色波長或整個表面上呈現不斷變化顏色組合,則表示有較淺焊角,表明焊料量或焊球形成不足,顯示在焊接過程中沾錫較差。

無論是在安全監控或汽車行人檢測等應用中人員辨識,在社群媒體應用人臉辨識,還是在工業檢測中進行缺陷檢測等所有應用,傳統影像辨識都面臨很多挑戰。

定義規則並創建演算法以檢測和分類數位化影像中物件非常複雜。在工業檢測中,開發可靠演算法既昂貴又費時。在檢測PCB元件時,焊點品質只是待檢測一個標準,還必須驗證每個元件之存在,以及相對於阻焊膜(solder mask)位置和取向、元件共面性以及不需要物體(例如焊料飛濺在電路板表面上)是否存在。為所有情況和所有例外創建規則幾乎不可能。

微調演演算法和添加更多演算法以覆蓋其他更多狀況,這是一項永無止境任務,需要不斷更新軟體。每當產業中使用新產品(例如先進電子元件封裝)時,都必須開發新演算法以對其進行檢測。

人工智慧(AI)可以在一定程度上模仿人類將學到的 經驗應用到影像辨識,進而能夠因應無限變化帶來的挑戰。在AI總體概念下涵蓋的各種運算架構中,卷積神經網路(CNN)通常用於影像辨識。這些包括相互連接人工神經元,並排列成層(見圖2)。它們通常是深度神經網路,在輸入和輸出層之間包含多個內部或隱藏層。隱藏層對從前一層接收到資料執行特定、嚴格定義採樣(pooling)和卷積運算。結果被發送到下一層,最終到達輸出層,可表明是否已辨識出所尋找物件。

2CNN層。

在部署CNN之前,需要對其進行訓練以辨識特定物件。在此過程中,透過每個答案正確與否來調整每個神經元在產生該答案之重要性或權重,經過多次反覆運算,CNN可以辨識出具有較高正確性影像。在這一點上,可以認為它是經過訓練,而冗餘神經元可以刪除,然後準備將神經網路部署為推理引擎,這或許是在雲端,或許是在嵌入式運算平台。

將兩個領域整合在一起

AI可以為AOI設備供應商和使用者帶來巨大優勢。從供應商角度來看,如果AI可以判斷發現特定物件機率,則可以簡化演算法開發。透過減少定義每個物件和相應可接受標準之需求,有助於縮短新設備上市時間,並減少持續軟體支援成本。對於用戶而言,透過AI實現增強型AOI可以簡化檢測系統設置、程式和微調「良好」 /「不良」警報閾值。

AI當下正進入AOI設備市場。一個範例是AAEON與AOI供應商合作夥伴共同創建,用於AI推論的嵌入式工業機器視覺運算平台和多處理器擴展卡。該平台可使AOI用於檢測多個產品線,而無需重新配置。相較傳統系統,它具有更高準確度和更少誤報,還可以快速接受訓練以檢測新產品或辨識以前未知的缺陷。

另一個範例是用於PCB元件檢測的MEK (Marantz) ISO-Spector M1A。該系統基於AI,可學習組裝和回報PCB生產製程值,並基於數百個預設參數來辨識缺陷。透過處理一些典型挑戰,例如確定最佳光照水準、攝影機位置,每個視圖攝影機設置以幫助缺陷檢測,以及調整檢測閾值以確保擷取缺陷單元而不會進行過多錯誤「不良」,能夠減少程式中涉及人為因素。 AI能夠比人類專家更快地自動調整多個參數,並以顯著降低錯誤風險做出決策,無論AOI系統是由初學者還是由專家進行編程,都可以實現一致檢測結果。

中國製造商VCTA亦將AI添加到用於PCB製造AOI系統中,從而可提供更強操作能力:降低廢品率,提高產能和品質。

AOI系統架構

此類系統特性凸顯了AI可為包括安全和零售在內許多領域檢測應用所帶來之優勢。在需要搜尋影像以檢測物件和特徵或辨識個人等特徵應用場景,AI可以簡化設置和程式,消除人為錯誤,最小化延遲並能夠支援更好決策。

為了幫助開發人員充分利用該技術,攝影機模組現已進入市場,並具備軟體支援以簡化AI開發,這其中範例包括Basler AI視覺方案套件(Vision Solution Kit),該套件(見3)可與1,300萬畫素Basler dart(飛鏢)攝影機和用於配置和操作相機pylon攝影機軟體套件一起使用。 Basler雲端可提供用於物件檢測和人員辨識,且經過預先訓練機器學習模型,可在套件上進行部署。開發人員還可以自由地將自己模型用於任何應用。

圖3:Basler AI視覺解決方案套件。

Intel RealSense D400立體視覺深度相機系統整合了RealSense D4視覺處理器、一個立體深度模組、一個具有彩色影像訊號處理功能的RGB感測器和慣性量測單元,可滿足諸如機器人視覺、無人機、虛擬實境(VR)和家庭安全等應用要求。深度模組將左右成像器與可選紅外線投影儀整合在一起,此紅外投影儀可投射不可見靜態紅外圖案,以提高低紋理場景中深度精度。

RealSense深度攝影機在與TensorFlow或OCV等機器學習平台一起使用時,可為物件檢測和分類等應用帶來更多價值。攝影機模組單畫素深度資訊有助於解決其他挑戰,例如估算視野中物體尺寸。可透過Intel RealSense網站連結獲得相關指導教程和示例程式碼,其中給出了如何達到此目的。

結論

生產線上AOI能夠以生產線匹配速率運作,已經在支援各行各業製造商提高品質保證和生產力,並不斷改進生產流程。在AI基礎上進一步提升是AOI未來發展方向,為光學檢測應用而訓練演算法能夠帶來更高決策能力等額外好處,可減少操作者參與,簡化程式,並可提供更強大性能,從而能夠提高缺陷檢測確定性,同時減少誤報。開發人員和製造商可以開始探索如何使用來自領先供應商,並由貿澤電子提供的AI攝影機套件,加強各類機器視覺應用。

加入LINE@,最新消息一手掌握!

發表評論