中國去年有則新聞提到,小學生發現中國豐巢刷臉取件漏洞,用照片就能刷開快遞櫃!導致官方緊急下線。2D成像的缺陷是,相機成像的過程是3D到2D的投影,會丟失場景的3D資訊。3D資訊的缺失,限制了智慧演算法的應用。
中國去年有則新聞指出,小學生發現豐巢刷臉取件bug,用照片就能刷開快遞櫃!導致官方緊急下線。「2D成像的缺陷是,相機成像的過程是3D到2D的投影,會丟失場景的3D資訊。3D資訊的缺失,限制了智慧演算法的應用。」奧比中光研究院研究員徐玉華在ASPENCORE舉辦的第二屆(2020)國際電子產業鏈資源對接大會上在發表「深度相機十年:歷史、現狀和未來」主題演講時強調。
徐玉華表示,3D視覺感測的任務,是從相機捕捉的2D影像恢復場景的3D結構,為智慧辨識、檢測、定位、測量、AR、機器人導航等應用提供3D資訊。
深度相機分類及基本原理
據介紹,深度相機分為三個類別:結構光、雙目視覺、飛行時間(ToF)。
「深度感測的基本原理是,3D點投影過來的過程是唯一、確定的。如果只給定一個畫素的話,反投影回去,可以得到一條射線,場景的深度、距離是不確定的。如果有兩台攝影機的話,給定其中一個相機中的畫素點,另外一個相機只要找到同名點,透過交匯就可以確定出目標點的3D資訊,從而恢復出深度資訊。」徐玉華介紹。
雙目測距
雙目測距的核心在於找到對應點。像人眼一樣,兩隻眼睛看的內容實際上是不一樣的,裡面會有視差,核心在於透過立體匹配演算法建立兩幅圖片中的畫素點的對應關係。
編碼結構光
下圖是編碼結構光的一個示例,左邊是人臉的3D散斑,右邊是呈現出的3D人臉。好處是目標表面增加了很多的斑點紋理,重建起來的可靠性和精度都可以得到大幅度的提高。
ToF
ToF則是利用直接或間接測量光線的飛行時間,來測算距離。
深度相機發展簡史
以下來瞭解深度相機的歷史。
2010年以前的深度相機成本高,精準度也不高,通常用於實驗室中的研究,和老百姓的生活沒什麼關係。2010年這個情況開始發生變化:
深度感測方法比較
雙目相機的精確度不太能可控。因為是依賴於場景的紋理,場景紋理越豐富,雙目的精準性就越高,而如果拍一些光溜溜的白牆,精確度就不行。
結構光和ToF都是主動測距方法,精準度比較高。對結構光來說,在近距離情況下,比如蘋果手機用的刷臉,其精準度會比ToF高。結構光還是三角測距法,ToF沒有這個問題。iTOF也有多路徑的效應。雙目的測量距離可以測到100公尺、幾百公尺,不受距離的限制。
被動雙目的進展
從下圖可以看到,對於英特爾(Intel)的感測器,採用傳統雙目演算法,紋理不豐富的區域效果很差,而用神經網路的方法得到的結果非常漂亮,深度學習演算法在深度路徑方面取得了成功。
產業應用情況
以下幾個數字對產業來說很有意義。
奧比中光與3D感測
奧比中光於2018年獲評「獨角獸」企業,今年榮獲廣東省科技進步一等獎。該公司於2013年成立,發展速度比較快。
奧比中光的3D感測技術,應用領域比較多,包括行動終端、智慧零售、數位家庭、智慧服務、智慧製造、智慧安防、智慧交通、智慧政務。舉例來說,支付寶的刷臉支付/奧比中光3D刷臉支付解決方案,應用已有數百個城市。現在深圳坐地鐵是刷二維碼,而如果以後刷臉能普及的話,減少人流擁堵的效果就更好。
還有很多有趣的應用,例如刷臉和醫保卡綁定就是之一。單相機的動態人體重建系統,買衣服只要直接轉一下體型就可顯示測量的結果,系統即可顯示消費者應該穿什麼型號的衣服,很方便。
展望未來
結構光、雙目和ToF技術屬於不同的流派、不同的技術。這三者優勢互補,不是替代關係,而是長期並存。其中,這兩年dTOF技術正在快速發展。
3D感測技術應用在多個領域已經崛起(3D人臉辨識、場景建模、手機AR、AR眼鏡、機器人定位/導航、物流、自動駕駛/輔助駕駛等),並在迅速擴大到其他領域,包括人臉形貌、腳型、人體3D重建, AR平行世界等。
本文為EDN China原創文章
人工智慧(AI)無所不在。這一波AI浪潮正重塑並徹底改變科技產業甚至整個世界的未來。如何有效利用AI協助設計與開發?如何透過AI從設計、製造到生產創造增強的體驗?如何以AI作為轉型與變革的力量?打造綠色永續未來?AI面對的風險和影響又是什麼?
AI⁺ 技術論壇聚焦人工智慧/機器學習(AI/ML)技術,涵蓋從雲端到邊緣、從硬體到軟體、從演算法到架構的AI/ML技術相關基礎設施之設計、應用與部署,協助您全面掌握AI最新技術趨勢與創新,接軌AI生態系佈局,讓機器學習更快速、更經濟、更聰明也更有效率。
加入LINE@,最新消息一手掌握!