當邊緣AI遇見粒子物理學…
作者 : Tal Kopetz，CEVA資深經理
邊緣 AI 解決方案不單僅適用於消費者導向的邊緣裝置應用。即便是在用以深入探索宇宙起源的應用當中，邊緣AI解決方案也能發揮優異功效...
日常生活中透過技術加以實現的各種體驗，可依據我們對於技術的理解程度以及技術的來源區分或歸納為不同的類別。舉例來說，試著思考世界上多數人都會經歷的事物，以及所有生物(和無生命物)都會經歷的事物。
全球約有63%的人口會存取網際網路[資料來源：Statista]，而其中絕大部份使用者都透過網頁體驗網際網路。因此，對於一般大眾而言，「網際網路」還有「網頁」這兩個詞彙意義相近，並且會相互使用。當然，科技領域人士知道兩者並不相同，但可能不記得全球資訊網(WWW)是在何時何處發明的。若沒有全球資訊網，現在的網際網路體驗將會截然不同。
所有生物都會自動感受到其自身的「質量」，而一般人都會較不精準地將它與「重量」這個詞彙交互使用。當然，諳熟物理的人會瞭解當中的不同。在普通物理學當中，物質質量被視為理所當然，但有一個物理學領域試圖解釋物質何以具備質量。希格斯玻色子的發現，確立了質量供應場的存在。
無論是WWW發明還是希格斯玻色子的發現，以及其他許多傑出的發明，背後支持的組織都是歐洲核子研究組織(CERN)。全球資訊網是由Tim Berners-Lee在1989年任職於 CERN時所發明。在2012年，希格斯玻色子在CERN發現，質量供應場的存在也隨之確立。
CERN目前正利用CEVA的邊緣 AI 技術和解決方案，執行一項有趣的粒子物理學專案。本篇文章將討論該專案的發起緣由，並介紹部份CEVA邊緣AI 技術將較於替代解決方案的基準測試結果。
什麼是邊緣 AI？
邊緣AI是指部署在遠離資料中心(雲端)且接近消費者(邊緣)裝置的人工智慧應用。之所以稱為邊緣AI，是因為運算是在接近網路邊緣處(而不是在資料中心內)進行。許多應用中均運用邊緣AI技術以及其所帶來的多項優勢，例如效能改善、資料隱私、減少能耗等。
什麼是粒子物理學？
粒子物理學是物理學的分支，研究次原子粒子屬性、關係和交互作用。宇宙中的一切都是由粒子所構成。粒子物理學的標準模型是描述電磁力、弱核力和強核力及分類所有已知基本粒子的理論。但基本粒子夸克(物質的基本成分之一)無法透過此模型來說明。夸克會透過結合形成稱為強子的複合次原子粒子。質子和中子是已知強子中最穩定的粒子。
在宇宙誕生初期，所有粒子都以光速傳播，因為粒子沒有質量。只有在粒子獲得質量後，恆星、行星及生命方得以成形。與希格斯玻色子緊密關聯的希格斯玻色子場，粒子得以具備質量的關鍵所在。因此，這項發現在粒子物理學領域當中，意義十分重大。據說諾貝爾獎得主物理學家Leon Lederman將此粒子稱為「該死的粒子」(Goddamn Particle)，顯示此粒子有多難偵測到。 CERN擁有大型強子對撞機(LHC)，這是全球最大型且威力最強大的粒子加速器。LHC具備一圈長27公里的超導磁鐵環，以及多個加速結構，能沿途增加粒子的能量。環上會有數點產生碰撞。這些點設有體積與建築物相當的偵測器，用以分析這些碰撞。CMS實驗偵測器就是其中的一台偵測器。此偵測器長28.7公尺，直徑15公尺，重量約14,000噸。CMS合作企劃係由代表206個科學研究機構和47個國家/地區的4,000多人共同確立執行，這些人負責建置並操作這台偵測器。
邊緣AI與粒子物理運算如何交會？
產業整體相當積極地報導介紹AI在消費者導向應用當中的相關消息，但 AI 在粒子物理學當中的使用鮮少被提及。數十年來，人工智慧持續在實作面上補強並改善粒子物理學的研究。舉例來說，AI演算法最為關鍵基礎的神經網路，正是希格斯玻色子得以發現的幕後功臣之一。AI有效協助物理學家透過強子碰撞碎屑重建粒子並解讀結果。
相較於資料中心導向的解決方案，邊緣AI 解決方案也相當節能。伺服器場涉及密集的硬體運算作業，且必須24小時全年無休地維持運作，因此高能耗一直是項巨大的挑戰。粒子物理學實驗也同樣需要24小時全年無休地進行，且須處理大量資料，演算密集度亦極高，因此需要使用大量頻寬，並且耗用大量能源。可壓縮執行粒子物理學實驗所需之龐大資料量的邊緣AI硬體是解決方案，也因其能源效率而顯得極具魅力。
CERN的粒子物理學專案
CERN在專案中使用世界上最大型的強子對撞機和其他複雜科學儀器。這些實驗通常需24小時全年無休地進行，而粒子碰撞所產生的資料量過於龐大，無法先儲存並等到之後才處理。每個交會點的原始資料量約1MB，而40MHz的交會率每秒會產生40TB的資料，資料量過於龐大，難以另加儲存，更遑論妥善處理。完整的觸發系統可將值得探索的事件發生率降低至每秒1,000個，使得可行性獲得提升。由於產生的資料大多不具價值，因此AI處理演算法必須即時有效處理資料，以決定哪些碰撞值得研究。執行AI演算法的硬體解決方案必須具備高效能，且能源效率也必須極高。
LHC以40MHz的標稱質子相互碰撞率運作。觸發系統可透過兩個階段來降低碰撞率：
- 第 1 級中 x400
- 第 2 級中 x100
效能、能源和規模式調整需求
目前的解決方案處理產生的資料，需要過多的運算時間和能源。CERN也預計在近期內將碰撞率提高四倍。相對於此，第2級處理演算法的延遲預計將增加十二倍。他們需要效能和能耗表現皆更好且可規模式調整的解決方案。
CEVA的邊緣AI解決方案
CERN希望將神經網路的位元表示降至2位元，以減少頻寬與延遲。他們需要專門的硬體來執行此類解決方案。但是，市面上並沒有高效率的人工智慧硬體可支援二位元乘法CERN在探索市場上各種解決方案，並獲得以色列創新局(IIA)認可與贊助後，決定與CEVA合作以因應這項需求。
CEVA 建議其採用深度學習解決方案，以偵測噴流粒子(Jet Particle)並加以分類。在粒子物理學中，噴流是由夸克強子化產生的強子和其他粒子組成的窄錐體。CERN與CEVA達成合作協議：CERN負責開發網路壓縮演算法，而CEVA則負責開發低位元AI DSP核心。
此外並嘗試採用二進位神經網路(BNN)與三值神經網路(TWN)的硬體。CEVA以SensPro DSP為基礎探索並評估2位元(三進位表示法：-1、0、1)和1位元精度(二進位表示法：0、1) 的可行性。SensPro核心中設計有BNN加速區塊，以分流8×2 (資料x權重)和2×2卷積。一般神經網路量化透過在8位元定點精度中執行算術計算，達到 x4壓縮。但如前所述，CERN對於延遲相關需求極高，因此需要使用2位元做為權重。當下資料仍在32位元浮點中保存，但未來他們計畫針對此切換至8位元定點。
輸入至物體偵測網路的「影像」，乃藉由將發射粒子的低層級偵測器測量值(第1級)投射到圓柱偵測器(卡計)的方式加以取得。影像本身為矩形狀，藉由將卡計的內側表面卸下來取出。卡計是用於測量化學反應或其他過程中的熱能或能量的裝置。噴流影像會透過卡計儲存格解讀為像素，像素強度會對應儲存格的能量貯存。影像的X軸是碰撞角度，Y 軸是儲存格的能量。
在開發邊緣 AI 解決方案時，必須瞭解需搭配哪些神經網路拓撲來執行處理演算法。CEVA為此進行逐步引導，並就資料表示的方式與權重向CERN提供建議，以確保部署順暢，並將錯誤降至最低。CERN建立了量化感知訓練演算法，將CEVA所有關於實際硬體部署的相關建議納入考量。量化感知訓練有助於訓練神經網路進行低精度部署，且不影響準確性。
以SensPro為基礎的邊緣AI基準測試結果
成果超越所有現有的演算解決方案。如下方的精度-召回曲線所示，精度(PPV)測量預測的準確性，而召回(TPR)則測量正向預測的品質。彙總來看，它們可用以判斷實際發現的噴流集與預期發現的噴流集之間的對應程度。
DSP核心表現超越了GPU與CPU解決方案。請參閱下方表格，比較核心在晶粒面積、功率與延遲上的表現狀況。此表格的第二列是CEVA SensPro解決方案與Nvidia Tesla V100 GPU核心的同類比較結果。
總結
如本篇部落格文章所述，邊緣 AI 解決方案不單僅適用於消費者導向的邊緣裝置應用。即便是在用以深入探索宇宙起源的應用當中，邊緣AI解決方案也能發揮優異功效。CEVA為走在粒子物理學最前端的研究機構CERN所開發的SensPro邊緣AI解決方案，完美地驗證了這一點。
加入LINE@，最新消息一手掌握！
