EDNAsia: Electronics Design, Strategy, News
 
EDN ASIA WEBSITES
EDN Asia | EDN India | EDN Korea
 
EDN TAIWAN MAGAZINE
列印訂閱
設定為首頁
放入書籤
 
 
 
 
 
 
訂閱免費印刷版 適合列印版本 將本文寄給朋友
 

基準測試的真相
( 2 月 1 日 2004 年)
作者︰Robert Cravotta，EDN技術編輯

在你分析和比較多個系統時，基準測試可以為你節省時間。但是，從基準測試獲得的真正價值常常意味著對每個評分的意義“進行逆向工程”並且將那些見解應用到你的實際環境中。

基準（benchmark）是一個你能用以對兩個或更多相似選擇對象的價值和品質進行一致的測量、量化和比較的參考點，這些選擇對象包括商業流程、工具和嵌入式處理器等。對於嵌入式處理器來說，基準通常是一組在候選處理器上運行的一致性軟體代碼，因此你可以將候選處理器的性能與其他可供運用的處理器進行比較。處理器基準不局限於測量處理器架構的效率；它們還能顯示編譯器相對人工最佳化編碼的效率。

理想的基準可以將一個系統的基本效能度量（performance metric）摘要成、或合併成一個簡單的表示法或評分，這些表示法或評分在特定的上下文中，可以讓你對不同的系統進行有意義的“蘋果對蘋果”之比較。但是，使用理想的基準如果不能比不太精確的比較工作節省更多的時間、減少成本或者降低風險，那它就是不切實際的。

對於具有一個目標清楚的系統或任務來說，你常常會找到一個效能度量，它可以精確地擷取系統行為，並在你將該系統與其他選擇對象比較時，建立良好的關連性。比較兩個處理器的時鐘速率一直是獲得相對性能的一個普遍的基準度量，但是它的適用環境很窄，只有當這兩個處理器除了時鐘速率之外大致相同時，這種對比較才是有用的。盡管比較基準測試評分的簡單性如何吸引人，但正確解釋這些相互關聯的評分則需要你了解基準測量的基本細節及與你應用途徑的相關性。對於嵌入式設計途徑，你比較的處理器架構可能大不相同，因此使用時鐘速率作為基準度量也許是不適宜的。

通常，嵌入式設計必須同時平衡並滿足許多目標，例如提供正確的功能既要快速、有成本效益，又要具有低功耗、高品質和靈活性。對這幾類情況而言，性能是多方面的，因此將系統性能精確地描述為一個簡化的評分，用以與其他選擇對象進行有意義的比較，可能是困難而又代價高昂的。對多個系統進行比較的挑戰是，既要使獲得和導出基準測試評分簡單而又花錢少，又要使不同系統間有相同評分的排名有意義。

謊言和更多謊言
許多處理器供應商使用基準測試評分作為一種行營工具。但是，有些經常發布的基準測試評分，如MIPS（每秒百萬條指令）和DMIPS(Dhrystone MIPS)，在沒有特定背景的情況下是毫無意義不恰當的（參閱附文《基準測試得分》）。這兩類性能評分的繼續廣泛使用，使得處理器基準測試獲得了對處理器效能度量不精確的名聲。一次網上搜尋會產生許多下列有關標準基準測試報告的參考：“在計算機產業有三種謊言︰謊言、該死的謊言和基準測試。”

綜合基準測試通常試圖透過使用人工指令序列、或者透過盡量模擬真實環境應用系統中的普通指令，來量測某個系統、處理器或編譯程式的一個或多個新性能。相反地，真實環境應用系統基準測試在考慮處理器特性方面往前邁進了一步，它試圖對處理器架構和開發工具如何處理特定類型應用系統的預期工作量進行預測和量化。應用系統基準測試可能使用一組或多組真實應用程式碼（application-code）區塊來執行一個應用系統的代表性的功能。

公開傳播諸如MIPS和DMIPS等標準綜合基準測試這種做法，凸顯出人們需要開發和使用簡單而又有意義的度量。這幾類基準測試相對比較便宜，又容易使用，因此沒有既易於使用、而又低成本的無版權替代方案。產業標準基準測試是對競爭性產品比較的基礎，但是，供應商通常要承擔一筆可觀的費用以便獲得基準測試証據。BDTI（Berkrley Design Technology Inc.）、EDN嵌入式微處理器基準聯盟（EDN Embedded Microprocessor Benchmark Consortium，EEMBC）和SPEC（Standard Performance Evaluation Corp.）等基準組織透過提供能對目標性能測量進行分類的基準測試套件，致力於各種不同領域的計算。各種基準測試套件構成一致性測試的基礎，並支援一個性能評分的範圍，使得你能夠在一個特定環境中，更充分地去評估處理器特性和系統性能。

產業標準基準測試可以作為決策過程中的一個有價值之“輸入”，但還不足以成為設計決策的唯一依據。首先，為你應該考慮的每個處理器平台找到相關而又可比較的基準測試結果，可能是很難或者是不可能的事。另一個問題是，當你確定找到相關而又可比的基準測試時，基準測試數據可能從你目前考慮中的不同代處理器、不同時間點所獲得，而且它也可能採用完全與你未來將使用產品不同的記憶體架構。特定的或基準測試是分析過程的一部分，有助於填補產業標準基準測試與你應用需求之間的空白。

有幾種類基準測試用戶退出了。顯而易見的基準測試用戶是嵌入式系統設計師或者是行銷組織目標的終端用戶；但是，幾個基準組織說，終端用戶並不是產業標準基準測試結果的主要用戶群。基準測試作為主要決策依據還不充分，因為它們不能精確地反映每個嵌入式系統設計師的應用需求。例如，許多基準測試是內核級的，不考慮與設計師在最終應用系中要使用的作業系統之交互作用。

當終端用戶使用基準測試結果時，它們與各個處理器廠商的合作常常比與基準組織的合作更為密切，以便獲得效能數據、複製測試結果的幫助，並了解基準測試配置如何應用到他們的設計需求上。終端用戶可能使用基準測試作為縮減候選處理器名單的一個“輸入”，但是其他項目如一組整合特性、支援的I/O介面、開發工具、培訓、文件、第三方開發支持基礎設施以及規劃風險，都將在選擇處理器的過程中，擔任起重要的角色。一般而言，終端用戶基準測試是一個僅適合於應用到要立即進行設計計畫的特殊流程。

許多處理大量而價格敏感設計的原始設備製造商（OEM），都根據自己自訂的基準測試來選擇處理器。自訂的基準測試可以由既有應用編碼構成，但也可能包括來自產業標準基準測試的編碼。有些OEM成為基準組織的成員，以便獲得基準測試源代碼，因此，他們能將該源代碼的一部分合併到他們的自訂基準測試套件中。這些基準測試套件只能滿足範圍狹小的目標需求，所以更詳細、更全面。產業標準基準努力在相關性、複雜度和成本之間取得平衡，以滿足更大範圍的應用需求。通常，OEM基準測試工作對競爭很敏感，只供內部使用。

基準測試可以幫助你進行可行性研究，並找到一款適合你應用系統的處理器，但它們也能在設計周期內或設計周期後，幫助你驗証系統性能、確認改進措施、確定處理器在你實現方法中的提升空間。基準測試能幫助你鑒定性能缺陷，並幫助你將注意力集中在性能的改進上。特定的基準測試並不局限於近似典型應用系統的工作負載；它們可能包括吸取的教訓，即強調系統必須驗証性能，這對於安全性很重要的應用系統來說，特別有價值。

處理器供應商和提供開發工具支援的廠商是基準的主要用戶。他們使用內部基準測試或者產業標準基準測試結果來進行架構定型和反饋最佳化。對於架構設計師來說，基準測試結果能說明處理器架構上的修改是否能使該處理器更加適合於、或更加不適合於某種應用系統。基準測試還能証明架構上的修改對滿足目標應用系統需求沒有什麼影響。對於工具設計師來說，基準測試結果能表明編譯程式是否充分利用了一款處理器特有的功能特性。當基準測試套件充分獲取這幾類必要的應用程式功能、並運用適當的處理器特性時，這類閉鎖式的最佳化能為處理器架構和開發工具帶來積極的演進。

行銷組織使用基準測試結果的方式與前面提到的群體使用方式頗為不同。行銷組織把基準測試看作是確認其處理器比競爭處理器優異的機會，這些競爭處理器也經過相同和相似的基準測試，並且其供應商也發布了測試結果（參閱附文“公開披露還是秘密披露？”）。對一份吹噓某個優秀基準測試得分超過與其競爭處理器的行銷材料之依賴，可能是危險的。行銷材料常常將基準測試得分在圖表中以一個合成數據顯示出來，你有責任研究這些被比較系統的測試配置情況。

現代基準仍不包含能突出某款處理器在多項內容上與處理器對比的綜合評分，這些對比內容包括人為的基準測試專用功能單元、器件成本差別、功耗、或者可編程性和靈活性等。某些獲得最高基準測試評分的處理器，只是能充分發揮某項功能，但是在執行其他功能時，並不令人滿意。


使用基準
為了能最有效地使用任何基準測試，你首先需要了解你的應用系統的特性，以便評估基準測試與實際情況的相關性。當使用基準測來試選擇平台、供應商和處理器架構時，你應該先將重要功能和性能閾值列出，並排出是先後順序。確認應用系統的工作環境以及它必定能完成的任務和演算法。你是使用手工最佳化的組合程式還是所有任意編譯的軟體？是否會使用作業系統？你的功率預算有多大？你的程式代碼和數據需要多大的記憶體？你能否假定所有記憶體存取均來自快速記憶體？你需要哪些周邊設備和I/O介面？你需要多高性能和I/O空間？

除了考慮性能和功能要求，你還應該鑒別同一份列表中的項目和商業需求之順序。為了避免學習一個新工具、作業系統或者支持既有代碼，使用開發工具套件有多重要？你需要從處理器供應商的發展支援基礎設施中，獲得多少應用軟體的專業知識？你是否需要應用軟體說明、編碼的範例或參考設計？你的成本目標是多少？你是否需要在特定測試環境內工作？接受培訓有多重要？你能容忍的供應商產品規劃藍圖風險有多大？

最有用的基準測試能精確地預測或描述處理器和供應商能在多大的程度上支撐你的應用系統和計畫需求，而所花的成本、時間和工作量最少。如果一個產業標準基準測試與你的應用系統緊密相關，就使用它，但是務必要對每項基準測試的細節進行驗証。測試裝置是否主要是在展示計算性能、証明持續的I/O效率或表示低功耗？測試裝置的偏差是否與實際情況相關？數據路徑和記憶體結構對你的應用系統來說現實嗎？基準測試能描述處理器性能，但是它們現在還不能滿足計畫和商業需求。因此，基準測試只應該當作處理器選擇分析的一個輸入。

務必了解你使用的基準是否恰如其分正確地反映出處理器的功能和編譯程式效率。編譯程式效率與高度依賴手工組合語言公用程式（例如那些高性能信號處理演算法內部循環中的公用程式）的應用系統是不相關的。同樣地，如果你使用C代碼，而且你使用的編譯程式沒有利用你希望使用的處理器功能，則與處理器功能的性能也是不相關的。

當標準基準測試不能充分而精確地接近你的應用系統需求時，你仍然可以在處理器供應商或基準測試服務供應商所提供的協助下，應用特殊的和自訂的基準測試，來獲得到基準測試的值。當你正在使用基準測試數據進行分析時，務必向處理器供應商商詢問最新的基準測試評分以及產生這些評分的詳情。這些數據可能不會公佈，但是產生評分的詳情對於你了解評分的意義、評分的複製方法以及它們與實際情況的相關性十分重要。你可以決定設法在提供的開發工具（例如在一個評估板）上重複這些結果，或者在某些情況下，你可以將你自己的基準測試編碼提供給處理器供應商進行測試並向你回報。無論如何，供應商應能詳述所有測試結果，並提供與實際情況相關的具體意義。

分析和了解基準測試需要花費時間和資源。但是，設法重複廠商的基準測試能揭示一些有價值的洞見。處理器供應商只是在他們認為能夠從銷售中收回投資時，才可能進行基準測試工作，並共享那些測試結果。處理器供應商對你的應用系統了解的越多，他們能提供的基準測試支援就越大。一家供應商的基準測試能突出，並讓你洞察標準基準測試無法獲得的工具和處理器特性，在供應商的幫助下，你可以發現編譯程式最佳化的方法和處理器架構的細節，而無論是好是壞，這些細節將對你的實現假設構成挑戰。

節省時間
基準測試的主要目的是為你節省時間和降低整體的風險。如果不在乎時間和金錢，你便可在多重系統上發展你的應用，並且在做最後決定之前，比較最終的結果。在某些情況下，這種作法是適當的，但在大多數的情況下，這是不可能的。當你正確地應用它們，便能幫助你預測各個候選系統是否成功，而不會花費實現各設計的全部費用，但這只是在基準測試與你的應用系統工作負載相關時才能如此。

基準組織正在修改他們的基準測試套件，以便更充分地反映市場變化，並且使廠商博弈穩定（gaming stable）基準測試套件的風險降至最小。未來基準測試計劃是致力於如何更充分地反映今天和未來應用系統中不斷變化的工作負載，其中包括如何將功耗因素納入到評分之中。功耗取決於使設計師難以用標準而又有意義的方式，獲取類似於基準測試的評分的許多系統問題。另一個挑戰性領域是由多個應用系統融合成一個產品或設備這種趨勢所產生的；它迫使未來的基準測試必須考慮如何獲取跨越應用系統限界的工作負載。

如果能抽出時間，你應該投入必要的時間分析關於系統配置的全部情況，並對供應商基準測試評分“進行逆向工程”。你在這個過程中獲得的見解可能証明是非常寶貴的。你應能與供應商討論所有基準測試的細節。測試環境的人為細節可能使評分失去實用性，但可以突出你在其情況下得不到的某種有用功能。

總之，基準測試能幫助你根據性能選擇一種處理器。但是僅僅依靠基準測試是不足以幫助你在兩個相比較的處理器系統之間作出選擇的。與供應商共同進行的基準測試能使你認識到供應商及其開發支持基礎設施的品質，能滿足多少你的需求。一旦你擁有合適的候選處理器，諸如供應商技術反應、編碼移植簡易性、需要進行的軟體移植的整體數量、檔案和培訓品質、以及處理器發展藍圖符合你未來需求的可能性等因素，都將在你的最終決擇中優先考慮。


作者簡介
技術編輯Robert Cravotta出席了10月14日和15日在美國聖何塞市舉行的微處理器論壇。你可以依照下列的方式與他聯絡︰

電話:1-661-296-5096
電子郵件:rcravotta@edn.com


基準測試得分
簡單的標準基準測試評分可能是處理器供應商有價值的銷售工具，當你獲得的評分比競爭對手高時，尤其是如此。處理器供應商使用諸如MIPS（每秒百萬條指令）和DMIPS (Dhrystone MIPS)等基準的一個原因是這些基準相對容易導出，而且導出成本較低。作為設計師，你如果不作出應有的努力，完全了解供應商導出基準測試評分方法，就會因使用交易研究報表中的無用訊息而自食惡果。基準測試評分本身不一定是不準確的，而是這些評分成立的條件可能與你的應用程式設計需求不相關。你有責任確保你用於決策的這些評分，是與你的實際情況是相關的。

MIPS性能評分的比較比系統時鐘速率的比較，更能區別出單一周期和多重周期指令處理器架構的差異。處理器的MIPS評分表示該處理器能執行的工作量。但是，每個指令完成的工作量不是標準的。一般而言，超純量、多重指令系統MIPS評分的報告，將進一步稀釋比較MIPS評分的價值。報告中的MIPS評分是一個綜合性的數字──這是以每個數據路徑和執行單元一直在工作為前提的理論最大值。這一理論上的最大性能水平對一般的情況來說，可能是一個不合理的假設。限制性的性能因素可能不是處理器架構或程式設計師，而是你無法使你的演算法並行運作，以便讓所有執行單元都工作。

DMIPS是另一個經常被報導的處理器基準測試評分，它表示處理器能提供的功能性工作量。DMIPS評分與MIPS評分的不同在於DMIPS不依賴於一個理論最大值，而是在目標處理器上運行一個標準的“代表性”程式，並測量它完成的工作量，由此導出Dhrystone基準評分。如果器件有夠多的緩衝記憶體，以及經適當最佳化過的架構，那麼你可以在這些器件上得到很好的Dhrystone分數，因為該基準不標記這些功能。

西門子公司的Reinhold P Weicker博士於1984年創立了Dhrystone基準，該基準的當前版本Dhrystone 2.1誕生於1988年。從那以後，計算機世界發生了顯著的變化，但是該基準卻沒有根據這些變化來進一步發展。現代處理器產品可能包括整合在主處理器中的部件、超純量或者多執行單元架構、VLIW（超長指令字）架構、大型內建記憶體子系統、分支預測和推測性執行。今天的處理器支援的應用系統類型也比1988年那時還要多，而包含多媒體應用系統和通信密集型應用系統。

這幾類大型架構和應用的改變是非常明顯的，並且可能使基準測試的相關性不具效力，尤其是當基準沒有進一步發展，而把這些改變納入。如果基準沒有進一步發展，那麼你就是在冒險使用一個需要對基準下賭的環境。這個賭博可能採取以下的形式︰將專用的、免費或低價的、基準專用功能單元整合在一個器件中，以實現改進基準性能或增強編譯程式的單元，增強後的編譯程式能識別基準代碼並且用最佳化過的基準專用代碼進行替代。

對於任何基準來說，測試配置的全部情況對於了解評分真正反映處理器的性能非常重要。只有當測試涉及到了諸如處理器架構、記憶體子系統、周邊設備、基準規範、以及編譯器和工具設定等所有相關組件時，你才會認為測試配置情況是全面的。BDTI（Berkeley Design Technology Inc.）、EEMBC（EDN嵌入式微處理器基準聯盟）和SPEC（Standard Performance Evaluation Corp.）等基準組織定期地修改他們的基準，以便反映處理器架構的變化，以及設計師在最終應用中使用那些處理器的方法的變化。這些基準組織還要求提供測試配置的全面揭露，以作為公開發布基準測試評分的一個完整而必要的條件。

這些基準組織的努力，並沒有減少你在使用基準測試評分進行對比時的分析和驗証工作，但是它們的確有助於使可用數據具有一致性，而要一個項目、一項目地獲得這種數據一致性的代價則高得驚人。作為一個設計決策者，你仍然有責任對可用數據實行充分的驗証，以便你能進行有用的分析，並且避免對基準測試數據進行不正確的解釋。


公開披露還是秘密披露？
進行全面的基準測試需要花費大量的資源和時間。那麼為什麼一家公司要花費這麼大的成本在對處理器進行基準測試後，又不公開披露測試結果呢？

觀察一個廠商的行銷努力中，有多少是用來強調其產品的良好基準測試評分與其他“功能稍差”產品之間的對比，你便可做出下面看似合理的假設，如果一個公司沒有公布一款給定處理器的基準測試，則說明該器件獲得的評分不佳，而在你的考慮中，該處理器將是一個較差的候選者。

如果你沒有深入調查該處理器廠商就作出這種假設，那麼你就犯下了一個錯誤──類似於根據表面價值來判斷所有基準測試評分，並根據這些評分來選擇處理器選。因為廠商不公開披露給定處理器的基準測試並不意味著廠商沒有基準測試結果，或者根據保密條款而不願意對你披露。那麼為什麼除非評分不佳，某個理器供應商不公布基準測試？又為什麼在保密條款的規定下，它又披露了這些基準測試呢？

標準基準測試套件能近似估計一個應用系統對處理器所給予的工作負載和壓力及它支援的基礎設施。由於使用近似值，基準測試套件可能不能充分涵蓋，及與目標應用系統性能驅動器的關聯。在這種情況下，試圖公開披露基準測試套件如何映射或未能映射到一個目標應用程式將增加複雜性，進而增加對評分進行錯誤解釋，以及脫離環境的競爭性誤用之可能性。對於廠商來說，在提出的應用程式上下文範圍內，秘密地讓潛在客戶獲得這種基準測試的細節可能更簡單。但是不論秘密或公開，任何關於基準測試的討論應該包含測試環境的完整披露，以便讓你能獲得該數據在實際情況應用時的準確性和相關性。


要點

  • 基準試圖將複雜系統進行抽象和簡化，以便讓你能更充分地進行蘋果對蘋果的比較。

  • 基準必須附帶完整的測試環境資料才有意義。

  • 你有責任分析基準測試環境，以判斷一個給定評分是否與實際情況相關。

  • 基準應該只作為整個決策過程的一個數據點，諸如供應商開發支援和平台靈活性等其他定性因素，可能比較高的基準測試分數更重要。
 
訂閱免費印刷版 適合列印版本 將本文寄給朋友
 
文章評分
Average Rate: No rating yet
 
Poor Quite Good Good Very Good Excellent
 
其他文章
 
 
 
網路廣播
 
知識中心
Panasonic的2008年關鍵器件指南 2008:
 
Fairchild Semiconductor :
 
Texas Instruments: DaVinci ™ 技術
 
Texas Instruments: Safe Bet 系列
 
 
分數最高者  
 
意見回饋
GOOGLE提供的廣告 
 
 
 
廣告
新聞稿
 
TECHNOLOGY NEWS
 
資源中心
 
 
產品新聞
 
特別贊助商
 
 
 
設計中心
 
廣告
     
參考設計
   
     
 
 
 
 
 
RSS
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   


     
 
     
Power Technology E-newsletter 
Dual-input, Single-output Power Supply Selector Switch Reduces System Size while Improving Integrity EDNA, February 08
Analog Devices completes sale of CPU voltage and PC thermal monitoring business to ON Semiconductor EDNA, January 08
Fairchild’s Green FPS Power Switches Increase Efficiency, Reduce EMI in Power Supply Designs EDNA, December 08
 
Test and Measurement E-newsletter 
Agilent Technologies與Anite plc建立策略夥伴關係，為無線R&D提供3GPP LTE測試解決方案 EDNA, November 07
Aeroflex 及 Sequans合作加快產品發展及WiMAX測試佈署的腳步 EDNA, October 07
Tektronix的IMS解決方案成功通過產業論壇測試的考驗 EDNTaiwan, September 07