首頁 » IC/電路板/系統設計應用 » 人工智慧和機器學習驅動超連接時代

人工智慧和機器學習驅動超連接時代

作者 : Frank Schirrmeister，Cadence Design Systems

AI/ML半導體和系統設計是在超連接時代協助實現前所未有的用戶體驗。它們同時也帶來了全新的開發挑戰，包括接近或超過標線限制的所需複雜性，以及工作負載最佳化、與特定領域的硬體/軟體實現...

電子產業已經進入到一個各領域都需要智慧系統的階段，在此階段中，儲存技術、資料傳輸和運算能力都是前所未見的。產業分析師預測，截至2025年，全球資料量對儲存空間的需求，將高達175ZB；5G行動用戶預期將高達28億；網路每月傳輸量是165EB，其中影片將佔該傳輸量的76%。從2019年到2025年，用戶終端所產生的資料量將以85%的年複合成長率(CAGR)向上攀升。

圖1：超大規模運算和超連接性。

嵌入式系統設計研討會📌熱烈報名中！多家產業領導廠商分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰和其解決方案，包括：ST, iar, NVIDIA 等公司，馬上報名！

圖1指出這種級別的超大規模運算(hyperscale computing)和超連接性(hyperconnectivity)。消費者在日常生活和產業應用中所產生的資料，在各種邊緣進行儲存和處理，最終並傳輸到最靠近資料中心的鄰近邊緣(near edges)和核心資料中心，以進行超大規模運算。

分析師預測，到了2025年，5,340億美元的全球半導體市場，將會帶動價值近兆美元的電子代工市場。反過來說，作為半導體和系統助力的技術軟體市場，包括電子設計自動化 (EDA)、模擬和分析、機械設計和產品生命週期管理(PLM)等，產值將高達800億美元。

採用人工智慧(AI)和機器學習(ML)的應用，對於這樣的成長至關重要，其複雜性和多樣性也對半導體元件和系統的開發需求產生了推波助瀾的作用。設計尺寸，尤其是在鄰近邊緣和資料中心，必須接近、甚至超越高複雜度用例的標線限制。其結果是，對良率的要求導致傳統系統單晶片(SoC)退出潮流，並促使產業界轉向使用異質3D-IC整合的小晶片設計。同樣地，異質整合還能夠加速設計迭代，使致力平衡各種邊緣需求的多樣性能夠充份展現。這些要求包括延遲性、功耗、運算性能，同時也要考慮軟硬體協同最佳化的需求，以便在進行特定工作負載設計時達到最佳化的效果。

實現工作負載最佳化的AI和ML設計

供應商努力最佳化傳統的開發工具和設計流程，以滿足AI和ML設計的多樣化需求。例如，供應商需要開發高吞吐量的複雜設計來訓練神經網路，並能在邊緣應用中進行推論運算時，同時兼顧靈活性和低功耗。因此，驗證要考慮重要的軟體內容，並且需要最佳驗證吞吐量和先進除錯。數位化與客製的設計實現工具，必須考慮先進節點代工廠的局限和時序收斂的要求；而系統設計面臨的挑戰，也需要考慮既有節點和先進節點混合產生的整合效果，包括複雜的散熱反應和電磁效應。

圖2：2025年技術軟體、半導體和系統代工市場。

從可授權的IP開始，用於邊緣推論的獨立AI處理器，就是為了達到性能表現和能源效率的最佳平衡點，以及最佳化的記憶體使用率。指令集的可擴展性成為對特定工作負載進行最佳化時的基本要求，用戶還希望能夠獲得開放神經網路交換格式(ONNX)、深度學習架構(如TF、Caffe2和Pytorch)的支援。對於從C++演算法到高品質客製實現的快速路徑上，高階合成方法為客製AI/ML IP開發提供一種替代方案，帶來了另一種選擇。它們允許對多種ML演算法和精度權衡進行探索，並且透過邏輯綜合，對功率、性能、面積(PPA)的整合分析，進行深入探討。

先進驗證工具藉由大容量形式驗證和針對高活動性和可複製結構的AI/ML設計特徵的最佳化模擬速度，來解決AI/ML設計所面臨的特定挑戰。

模擬仿真和原型設計可以擴展到合宜的複雜性程度，以達到早期階段的功率與性能權衡。供應商則為高頻寬記憶體和高速影音傳輸技術MIPI CSI，提供了一開即用的介面模型。

AI/ML矽晶片需要有能夠解決全流程實現方面的完整技術，要考慮關鍵重複階層結構的功耗降減問題、資料路徑設計分析後的感興趣區域(ROI)權衡問題、重要導線長度的混合佈局技術以及整體功耗降低等等。分佈式靜態時序分析則可以解決大型AI晶片性能所面對的挑戰。

最後，對於高效率的3D-IC開發而言，用戶需要一個用來進行3D設計規劃、實現和系統分析的單一且統一性的整合視窗，包括兼具客製模擬與電路板協同的設計能力、IC簽核提取、訊號和電源完整性簽核、電磁干擾和熱分析等等。

用AI/ML提高EDA工具的開發生產力

為了讓用戶開發AI/ML設計的目的，來最佳化工具和流程之外，EDA供應商也能夠利用AI/ML來最佳化工具和流程的生產力。

一般而言，EDA工具(如佈局器、模擬器、合成工具或形式驗證)會在其核心區域，採用複雜的演算法。EDA工具的用戶操控工具設置、選項和命令，以便找到最佳參數來操作各種設計展示的工具。

Cadence將由兩個角度來看待AI/ML如何提高生產力，即AI/ML內部性和外部性。內部機器學習(ML Inside)是對用戶無法眼見的監督型ML模型的一種應用，它採用深度神經網路的最佳化演算法來增強電子設計自動化運算。例如將深度神經網路視為代理成本函數的觀點。不過用戶體驗ML內部性，僅僅是為了獲得更好的體驗結果，相比之下，外部機器學習(ML Outside)，其模型對用戶來說是直接可視的，是用在單個EDA工具之外進行選項設置、約束和控制流。看待此事的一種方法是去了解設計師的經驗和知識，藉由為AI/ML創建訓練模組，使其適切合用，然後使用經過資料集測試的ML資料，來引導工具行為和流程最佳化。

在整個設計流程中，供應商發現了許多AI/ML的應用項目，詳如下表所示。

圖3：在EDA工具和流程中，由AI/ML所帶動的最佳化領域。

當然，在開發過程中耗費最多時間的驗證和設計實現，是最受到業界關注的。

功能驗證中的AI/ML——從設計想法到RTL

功能驗證推動佔整個開發工作的很大一部份，尤其是在考慮硬體中的軟體時。其主要目標是在投片(tapeout)到製造之前盡可能地消除設計缺陷，並儘量以高吞吐量進行。許多回歸作業進行動態模擬，通常利用雲端環境中的平行運作，並由受約束的隨機驗證技術驅動。其中要最佳化的指標之一包括設計覆蓋率。理想情況下，用戶希望儘早執行對目標指標有意義的回歸。動態驗證模擬中ML的最新進展更有效地發現錯誤場景、提高資源利用率和驗證信心來加速驗證吞吐量。藉由ML增強模擬，分析隱藏在驗證回歸結果中的模式，客戶可以壓縮他們的回歸，將相同的覆蓋率提高5倍，更有效地定位回歸，並改進錯誤搜索和覆蓋率收斂。

同樣地，對於形式驗證，強化學習如今可以動態調整引擎選擇、時間限制、平行執行緒等，以實現「智慧可證編排」，從而最佳化運算資源並提高驗證執行的可重複性。在供應商的開發環境中訓練「智慧可證求解器」神經網路，然後將其應用於本地的客戶設計。一些客戶可提高2倍的驗證速度以及5倍的回歸速度，並減少非收斂形式屬性達50%。

數位設計實現的AI/ML–從RTL到GDSII

上面的兩個例子都是‘ML Outside’的例子。由於其複雜性高，驗證實際上從未完成，並且通常會一直持續到投片之後。在實際的設計流程中，數位設計實現與功能驗證需要平行進行。在確認功能正確性或不正確性方面，它的「數位化」程度較低。相反，它必須探索複雜的設計空間，並在PPA目標之間實現最佳平衡。‘ML Inside’的一個很好的例子是數位實現的延遲預測。採用ML技術強化數位實現的進步，用戶為給定的目標技術節點訓練ML模型，以預測模型輸入的實際延遲結果。單獨使用這些模型，用戶改進了最差負、總負和功率的設計性能。

而數位實現的‘ML Outside’解決了以更高的吞吐量實現產品開發的關鍵。ML增強的數位實現提供更好的PPA，增進「全流程」生產力，並自動最佳化佈局。以強化學習與合成、數位實現和簽核間的交互運作，透過用戶定義的運算資源量來自動改進PPA。我們已經看到使用ML-enabled的數位設計實現，可協助5nm技術的行動應用CPU，在10天內完成30個平行運算的作業流程改善。與基線手動結果相比，它的性能提高了14%、洩漏功率提高了7%且密度提高了5%。ML技術將平面圖的大小自動調整到任何方向並確定最佳宏觀位置，同時最佳化平面圖和實現流程。我們已經看到客戶在用於12nm的CPU中實現了200MHz的更佳性能和17%的洩漏功率改善。

EDA其他領域的AI/ML

雖然功能驗證和數位實現需要消耗很大的工作量和運算資源，但AI/ML的增強並不會停歇。許多其他領域已經或正在將AI/ML應用於其工具中。著名的例子包括半導體技術庫表徵的改進，目前己有有案例以ML為基礎的庫插值顯著加速元件庫開發同時保持98% 以上的通過率。在可製造性設計(DFM)領域，ML可預測良率熱點、設計中檢測和修復。例如，在系統設計和分析中，ML導向的「智慧掃描」顯著縮短了串行鏈路系統中標準化抖動和雜訊(NJN)分析的模擬時間。從目前的研究來看，還有更多的研究要做，例如在PCB佈局設計方面。

總結與展望

AI/ML半導體和系統設計是在超連接時代協助實現前所未有的用戶體驗。它們同時也帶來了全新的開發挑戰，包括接近或超過標線限制的所需複雜性，以及工作負載最佳化、與特定領域的硬體/軟體實現。同樣的，EDA和技術軟體開發流程轉向AI/ML，以使用‘ML Inside’與‘ML Outside’方法提高工具和方法的生產力。AI/ML可謂真正成為驅動與實現超連接時代的關鍵力量。