智慧辨識演算法應用關鍵?

作者 : 趙明燦,EDN China

中國去年有則新聞提到,小學生發現中國豐巢刷臉取件漏洞,用照片就能刷開快遞櫃!導致官方緊急下線。2D成像的缺陷是,相機成像的過程是3D到2D的投影,會丟失場景的3D資訊。3D資訊的缺失,限制了智慧演算法的應用。

中國去年有則新聞指出,小學生發現豐巢刷臉取件bug,用照片就能刷開快遞櫃!導致官方緊急下線。「2D成像的缺陷是,相機成像的過程是3D到2D的投影,會丟失場景的3D資訊。3D資訊的缺失,限制了智慧演算法的應用。」奧比中光研究院研究員徐玉華在ASPENCORE舉辦的第二屆(2020)國際電子產業鏈資源對接大會上在發表「深度相機十年:歷史、現狀和未來」主題演講時強調。

徐玉華表示,3D視覺感測的任務,是從相機捕捉的2D影像恢復場景的3D結構,為智慧辨識、檢測、定位、測量、AR、機器人導航等應用提供3D資訊。

深度相機分類及基本原理

據介紹,深度相機分為三個類別:結構光、雙目視覺、飛行時間(ToF)。

「深度感測的基本原理是,3D點投影過來的過程是唯一、確定的。如果只給定一個畫素的話,反投影回去,可以得到一條射線,場景的深度、距離是不確定的。如果有兩台攝影機的話,給定其中一個相機中的畫素點,另外一個相機只要找到同名點,透過交匯就可以確定出目標點的3D資訊,從而恢復出深度資訊。」徐玉華介紹。

雙目測距

雙目測距的核心在於找到對應點。像人眼一樣,兩隻眼睛看的內容實際上是不一樣的,裡面會有視差,核心在於透過立體匹配演算法建立兩幅圖片中的畫素點的對應關係。

編碼結構光

下圖是編碼結構光的一個示例,左邊是人臉的3D散斑,右邊是呈現出的3D人臉。好處是目標表面增加了很多的斑點紋理,重建起來的可靠性和精度都可以得到大幅度的提高。

ToF

ToF則是利用直接或間接測量光線的飛行時間,來測算距離。

深度相機發展簡史

以下來瞭解深度相機的歷史。

2010年以前的深度相機成本高,精準度也不高,通常用於實驗室中的研究,和老百姓的生活沒什麼關係。2010年這個情況開始發生變化:

  • 2010年6月,微軟發佈XBOX360,其結構光深度感測硬體Kinect (PrimeSense)能夠以30fps的訊框率輸出場景的深度影像,從此深度感測技術走出了實驗室,進入了大眾生活;
  • 2013年,PrimeSense被蘋果(Apple)收購;
  • 2014年,微軟發佈Kinect V2 (ToF,512 × 424);
  • 2016年6月,聯想和Google合作的全球第一款使用Project Tango技術的AR手機發佈(Phab2 Pro)。Project Tango是Google 2014年推出的第一個大型AR專案,2018年3月終止;
  • 2017年9月,搭載結構光3D感測器的iPhoneX發佈,揭開了3D感測器在手機上大規模應用的序幕;
  • 2018年,Oppo FindX搭載了奧比中光的結構光深度感測器(640×480);
  • 2019年,微軟發佈Kinect Azure (1024×1024);華為手機P30 Pro,Sony iTOF (240×180);
  • 2020年,蘋果iPad pro 11,dTOF (24×24),用於AR。

深度感測方法比較

雙目相機的精確度不太能可控。因為是依賴於場景的紋理,場景紋理越豐富,雙目的精準性就越高,而如果拍一些光溜溜的白牆,精確度就不行。

結構光和ToF都是主動測距方法,精準度比較高。對結構光來說,在近距離情況下,比如蘋果手機用的刷臉,其精準度會比ToF高。結構光還是三角測距法,ToF沒有這個問題。iTOF也有多路徑的效應。雙目的測量距離可以測到100公尺、幾百公尺,不受距離的限制。

被動雙目的進展

從下圖可以看到,對於英特爾(Intel)的感測器,採用傳統雙目演算法,紋理不豐富的區域效果很差,而用神經網路的方法得到的結果非常漂亮,深度學習演算法在深度路徑方面取得了成功。

產業應用情況

以下幾個數字對產業來說很有意義。

  • Kinect (體感遊戲)推出以後,其銷售量達到3,500萬+套;
  • FaceID,由蘋果iPhone X引領,搭載3D感測器的手機超過1億支;
  • 目前,支付寶和微信都在佈局線下刷臉支付,已過百萬台量級的規模,未來幾年會到千萬等級;
  • RGB+IR+depth的人臉辨識,比單純的RGB人臉辨識,1:N的比對上,N可以提升30倍,不僅只用於活體檢測;
  • RGB+D,對骨架檢測、行為辨識演算法也會有顯著提升(約10%);
  • 機器人SLAM,包括各類汽車上的雷射雷達,在快速增長。

奧比中光與3D感測

奧比中光於2018年獲評「獨角獸」企業,今年榮獲廣東省科技進步一等獎。該公司於2013年成立,發展速度比較快。

奧比中光的3D感測技術,應用領域比較多,包括行動終端、智慧零售、數位家庭、智慧服務、智慧製造、智慧安防、智慧交通、智慧政務。舉例來說,支付寶的刷臉支付/奧比中光3D刷臉支付解決方案,應用已有數百個城市。現在深圳坐地鐵是刷二維碼,而如果以後刷臉能普及的話,減少人流擁堵的效果就更好。

還有很多有趣的應用,例如刷臉和醫保卡綁定就是之一。單相機的動態人體重建系統,買衣服只要直接轉一下體型就可顯示測量的結果,系統即可顯示消費者應該穿什麼型號的衣服,很方便。

展望未來

結構光、雙目和ToF技術屬於不同的流派、不同的技術。這三者優勢互補,不是替代關係,而是長期並存。其中,這兩年dTOF技術正在快速發展。

3D感測技術應用在多個領域已經崛起(3D人臉辨識、場景建模、手機AR、AR眼鏡、機器人定位/導航、物流、自動駕駛/輔助駕駛等),並在迅速擴大到其他領域,包括人臉形貌、腳型、人體3D重建, AR平行世界等。

本文為EDN China原創文章

 

 

掃描或點擊QR Code立即加入 “EETimes技術論壇” Line 群組 !

 EET-Line技術論壇-QR

發表評論