AI加速SoC建構聲音感知的智慧門鎖(II)

作者 : Chris Rogers,SensiML創辦人

利用Silicon Labs人工智慧加速的xG24 Dev Kit建構聲響感知門鎖,以及SensiML Toolkit收集與標註聲響的原始感測資料,打造真正智慧的智慧家庭裝置...

在本系列第一回中,我們討論了把單純連接物聯網(IoT)裝置轉變成真正智慧物聯網邊緣人工智慧(AI)裝置的優點。前者涵蓋了現今大多數的裝置,只有在搭配相應的雲端運算服務或智慧型手機應用時,才能發揮出真正的判讀力。有別於此,真正的智慧物聯網邊緣裝置則是有自備的感測器處理與機器學習韌體,能自主做到有用的應用判讀。

我們談到了這種自主性的好處,並提出了自備式智慧裝置的應用範例,以配備齊全的智慧門鎖來聽取和辨識形形色色的發聲事件。在第二回中,我們將展開此類智慧門鎖的開發流程,以SensiML Data Capture Lab應用來收集與標註機器學習的訓練資料集。

我們設想中的智慧門鎖所配置的演算法是,能辨識出訪客前來叩敲前門。在這點上,我們還會加入AI來偵測,有人把鑰匙插進了輔助鎖或門把鎖。再進一步,我們會添加的能力是,去偵測輔助鎖上鎖或開鎖。如此一來,我們可選擇添加什麼樣的偵測能力就沒有限制了。聽取竊賊企圖以工具來撬開門鎖或鑽探鎖芯的聲音?或是較不老練的竊賊為了伸手從屋內把鎖打開,而直接打破側燈或大門玻璃的聲音?我們的智慧鎖或可訓練成能辨識秘密鑰匙碼和語音簽章,讓鑰匙兒童不記得帶鑰匙或進出密碼就能進門。您心裡有數了。

這些特性可制訂在前期產品設計,或是在推出後更新模型的韌體,以便用相同的感測硬體與嵌入式微控制器來提供擴充性與後續的終端用戶價值。SensiML Toolkit搭配上AI加速處理器時,像是Silicon Labs的MG24和BG24單晶片家族,連先進的神經網路AI模型都能使用,同時仍保有用戶對物聯網裝置所期待的低功耗特色與長電池壽命。如此一來,在物聯網邊緣採用AI的軟體式擴充,就能把功能固定的物聯網裝置轉變為感測平台,而帶來全新的商業模式與營收機會。

那麼我們開始來收集一些具判讀性的AI訓練資料吧!

透過xG24 Dev Kit或依照我們發布的介面規格所自訂的程序控制區塊,SensiML Data Capture Lab即可輕易捕捉資料。串流資料或是以CSVWAV的檔案格式來提供的既有輸入資料易於在標註、建模與生成編碼時加以讀取。

捕捉敲門事件

把Silicon Labs xG24 Dev Kit連上執行SensiML Data Capture Lab的個人電腦後,接著就要來收集敲門聲的一些範例資料。此時我們或許會選擇使用真的門,但為了方便起見,我們製作了以木板搭載鑰匙型輔助鎖來組成的示範門套件。在實務上,您的訓練資料集應該要包含各式各樣的門,以便把金屬、木頭和玻璃纖維製成的門所發出的不同叩敲聲「教給」AutoML引擎。

智慧門鎖示範「門」。

資料收集要做得好,還要一併考慮到不同類型的「叩敲」。典型的叩敲姿勢包括握拳以指關節敲擊門。但對於其他的敲門樣態,我們是想要同等辨識,還是要當成不同的分類類型?有些門裝有金屬門環,會發出本身獨有的聲音。捶門或許代表較為緊急甚或是威脅性的事件。這些要由您依據應用的意向來決定。您有意區別的那些事件會需要模型外的不同分類,因而基於訓練的目的,也會需要獨特的區段分類標註。您選擇「不特別區別」出來的事件會有相同的分類輸出,因此會使模型訓練的區段分類標註相同。儘管如此,這樣的事件分別或許會受益於後設資料標註,而容許我們以不同的區段屬性來標註資料集。假如我們在模型化的過程中選擇要變動分隔的話,事後就能證明它是有用的。

準確而快速地標註區段

依您所選擇的簡單或詳細程度,SensiML對這兩類的標註都支援,並以經過妥善考慮的簡單工作流程來確保準確性,以及減緩自訂資料集在開發時的冗贅。SensiML Data Capture Lab為時間序列資料自動標註資料集的具體能力包括

  • 在個別的資料檔內標註一個到多個區段都不受限
  • 固定或變動的區段大小都適宜
  • 透過可自訂的參數區隔演算法,以手動或程序來定義區段
  • 以工作階段來管理資料集區隔,以便在程序區隔策略外保留手動區段標註

以我們的智慧鎖「敲門」標註來說,我們會選擇採用的區段大小是簡短、固定的300ms存續期。由於資料集是由16kHz的抽樣單聲道音訊所構成,所以這等於是4800的區段長度,而我們則會在「設定」的選單中加以定義,以確保敲門訓練的各區段都有相同的長度。

區段可在檔案內或跨檔案來詳細定義。在業界領先的時間序列資料標註工具中,SensiML Data Capture Lab兼而提供了精準度與工作流程的自動化,以有效率處理準確的資料集標註。

為了真正加快流程,我們可以定義出自動標註工作階段,把許多錄下的叩敲事件全都用程序區段定義來自動定位和制定300ms的標註區段區。像這樣的可用特性可區分高品質與低性能的邊緣模型。大部分用於邊緣運算的AI軟體都是讓用戶自己自訂指令碼、轉檔和手動資料操作。這頂多是會減緩案件執行,卻往往會導致品質不良的成果,因為開發人員在開發和測試MLOps作業與工作流程上所投入的時間受到了限制。

自動區隔是以程式來快速定義和標註許多檔案內或跨檔案之間的大量區塊。

「解鎖」更多相關事件

我們有了好的開始,捕捉到涵蓋門體結構和敲擊方式的多種敲門聲區段。現在我們要增加功能,教導模型辨識鑰匙插入/拔出的聲音。透過SensiML的精簡工具,增加事件判讀力的過程非常簡單。由此形成的邊緣AI庫,消除了手工演算法和啟發式演算法的複雜性以偵測此類聲紋,讓開發團隊能專注於為產品增值的應用邏輯。在不受AI牽絆下,開發人員便可盡情思考讓用戶埋單的應用增強功能。以鑰匙插入的情況來說,我們能輕易地為AI庫的輸出增加簡單的啟發式演算法,使其成為真正的智慧門鎖。例如多次插入鑰匙卻沒有成功鎖上或開啟輔助鎖,可能就會向出租度假房的房東發出警示,他的週末租客遇到了出入上的麻煩。為您解決了訊號處理與AI,開發團隊就可盡情聚焦於顧客最為重視的部分。

一圖勝千言:有了來自可選輸入源而易於同步的影片,用戶就能確保在感測資料收集的資料獲取階段,所使用的意向與方法會連同來源感測資料集一起保存。

 齊力串聯

捕捉和標註輔助鎖上鎖及開鎖事件的過程就如同上述,而且我們可以選擇增加對安全有用的額外聲響事件,像是打破玻璃的聲音,或是企圖撬鎖的鑽探。藉由納入多人於協作團隊中,SensiML便使案件有可能組織成為有效率的資料驅動式機器學習開發。這樣的團隊或可由多位測試技術人員組成,在不同地點實地捕捉原始感測資料,同時由領域專家來負責集中標註資料。靠著雲端式的案件同步化,個別的團隊成員便可就地工作,並透過SensiML雲端來為共同資料集提供資料。

Data Capture Lab的Project Explorer所提供的全面儀表板(dashboard)能輕鬆了解收集到了什麼資料,完成了什麼標註,以及還剩下什麼要做。此外,能一眼就看出什麼做了什麼註解,依後設資料來有邏輯地把檔案分組,並看出哪些檔案有同步化影片,以便在光靠音訊回放或感測波形不足以掌握全貌的情況下來輔助離線標註。

SensiML為自動管理機器學習資料集搞定了所有的紀錄保存和案件同步化,讓您的操作快速、有效率並避免錯誤發生。這包括了描述性檔案命名法、主題後設資料、同步化影片註解、多用戶檔案/案件同步和其他細節。

活動簡介
未來寬能隙半導體元件會在哪些應用成為主流?元件供應商又會開發出哪些新的應用寬能隙元件的電路架構,以協助電力系統開發商進一步簡化設計複雜度、提升系統整體效率?TechTaipei「寬能隙元件市場與技術發展研討會」將邀請寬能隙半導體的關鍵供應商一一為與會者解惑。
贊助廠商

加入LINE@,最新消息一手掌握!

發表評論