智慧家庭的熱成像
作者 : Hasan Gadjali & Markov Stanislav Nikolaev，Meridian Innovation Limited
熱成像感測器的終極目標在於增強家中許多產品的功能和價值，以及解決長期存在的挑戰，包括防止廚房火災和老年人發生意外，協助烹飪或提高能源效率和舒適度，以及監看並照料嬰孩...
許多現代化電子裝置和家電不但能讓您的家更安全、更舒適，而且節省您的時間，讓您的生活更輕鬆。它們可以自動執行幾項瑣碎的任務，也能透過連接到您的手機使這些電子裝置在你的手中輕鬆控制。
此項功能由大量的數位感測器實現，這些感測器可測量空氣溫度和濕度、光照條件和氣體，包括任何動作偵測。從此類感測器提供資訊的角度來看，它們有一個共同點——它們是逐點的並且缺乏空間解析度。例如，傳統的溫度或光感測器只報告房間安裝點的溫度或光強度。無法從這些感測器推斷出房間裡的人、他們的行為和舒適度。
為什麼一個畫素不夠？
相形之下，視覺成像感測器中整合數百萬個探測器，可以提供非常精密的空間解析度。透過這種方式，它們產生了豐富的非結構化資訊，用視覺影像來分析並擷取結構化資訊(例如門鈴前是否有人、有多少人、他們是誰等等)。
視覺影像感測器已經廣泛地應用在智慧機器人和家庭安全監控系統中。同時，創新技術的發展也將其他多畫素感測器帶入家庭自動化和智慧家庭領域。熱成像感測器也是主要的選擇，可望用於防止廚房火災的危險、幫助您做飯、監控佔用人員的隱私保護、測量舒適度，以及有效掌握老人和嬰兒的安全健康。下面讓我們來看幾個具體案例。
安全、智慧的廚房
為什麼要在廚房進行熱成像？簡短的回答是——為了安全、健康和方便。事實上，根據美國國家消防協會(NFPA)的資料，烹飪是家庭火災的主要原因，並且是此類火災49%的原因。並不是所有受影響的家庭煙霧探測器都發生故障了，而是當煙霧被探測到時，已經為時已晚，無法排除導致火災的因素。但是熱成像可以提供一種清晰的方法，在危險情況出現之前就辨識出可能導致火災的高溫，因而能夠減少代價高昂的損壞和意外事故。
在廚房中提供熱成像的自然方式之一是將感測器整合到抽油煙機內，以實施爐灶監控。如圖1所示——世界上第一款智慧烹飪助理產品(安裝在抽油煙機下方的銅色裝置)。從那裡，熱成像儀可以連續「看到」整個爐灶或爐子的溫度分佈。
許多烹飪原料在處理時對溫度很敏感。過度加熱不僅可能會耗盡其營養價值，甚至會使其變成影響身體健康的化合物。有了爐灶面的熱成像可以連續「讀取」並顯示其溫度，有助於我們製作更健康的飯菜。
Cooksy Corporation財務長Steven Cartwright說：「這將我們引向了烹飪助理的概念，幫助您每次都製作健康美味的飯菜。從本質上講，Cooksy讓您能夠分享您的烹飪食譜或遵循他人的食譜，以瞭解食材的烹飪時間和溫度的細節——這在整個過程中都是即時進行的。Cooksy將視覺和熱攝影機感測器以及複雜的智慧和連接結合在一個易於安裝在爐灶上方的裝置中。該裝置可以將您的爐灶面直播到您的手機，讓您『看到』烹製食材的溫度，並建議您如何以及何時根據這些資訊採取行動。」
圖1：全球首款智慧烹飪助理COOKSEY-PRO。(圖片來源：Cooksy)
爐灶監視器的好處不僅限於烹飪術和營養，還涉及廚房安全領域。例如，它可以偵測到無人看管的互斯爐或過熱的爐灶、過熱的鍋碗瓢盆中有或沒有油、容器沸騰和溢出等。如圖2所示，透過熱成像儀持續監測蓋著鍋蓋的一鍋水煮沸。
雖然直接觀測到的溫度從未達到接近水煮沸的100℃ (212℉)，熱影像處理和分析的應用可以檢測水何時開始沸騰、何時從蓋子裡面溢出來，以及何時瓦斯燃燒的火被水淹滅。在智慧家庭和連網家電的情境中，辨識此類事件不僅會觸發警報，還可以在必要時調節或停止電力或瓦斯供應，並防止事故或火災危險。
圖2：爐灶的熱成像分析。(圖片來源：Meridian Innovation)
除了爐灶監控外，熱成像還可以應用在其他廚房電器——例如微波爐。圖3顯示了最初由Meridian Innovation在2020年拉斯維加斯國際消費電子展(CES 2020)上展示如何在微波中使用熱成像(以下連結可以看到操作視訊：https://www.facebook.com/watch/?v=685705472262649)
圖3：智慧熱成像微波爐。(來源：Meridian Innovation)
如今，微波爐以固定功率在固定時間加熱，配備熱成像感測的機型則增強了將食物加熱到所需溫度的能力。這是透過採用現成的微波爐來實現的，該微波爐經過改良並增加了熱成像和新的溫度控制裝置。這使我們可以在選擇重新加熱食物的功率和時間時，避免經常需要的猜測。
最終，我們能經由選擇所需的食物溫度並將技術細節留給機器，從而直接傳達我們的意圖。這種意圖可以透過無線連接的行動裝置或透過整合在改良型微波爐的觸控螢幕來傳達。我們很自然可以設置所需的食物溫度，這樣熱成像感測器就可以在食物被加熱的同時對其進行監測。
還有，隨著TinyML的進展以及嵌入式處理器上可用的AI功能，可以整合到微波爐中，讓AI猜測我們在微波爐加熱時放入了什麼東西，從而自動為我們選擇最佳溫度。由於迫切需要及時提供用於檢測高溫的熱成像儀解決方案，導致許多合作夥伴致力於為OEM和ODM提供許多參考設計。
一個很好的例子是台灣中文新聞上所發表的一篇文章：“Arrow Electronics Launches AI Thermal Sensing Solution Powered by STMicroelectronics’ X-CUBE AI” (請參考連結網址：https://www.taiwannews.com.tw/en/news/4312499)
以下採用我們另一家合作夥伴「凌通科技」(Generalplus Technology)的全新熱成像解決方案—當熱成像遇到AI晶片組。
關心您舒適度的空調
空調和暖通空調(HVAC)系統是整合熱成像可以產生積極影響的另一個例子。在許多情況下，房間溫度的控制涉及空調箱中嵌入一個簡單的溫度感測器——該感測器提供來自環境的唯一反饋。這種類型的系統可以稱為第一代，非常普遍。
我們可以將第二代視為是一種有智慧的系統，它知道房間裡是否有人，並可能辨識出他們在房間的哪個部份。這可以更有效地利用空調單元，並且結合熱成像儀來實現。對於小型公寓或酒店房間，幾百到一千畫素的熱成像儀可能就足夠了，而對於較大的客廳，需要幾千以上畫素的感測器，再加上90+度的廣角鏡頭。一個很好的例子是圖4所示的智慧熱成像儀空調概念，由Meridian Innovation在2019年9月上海智慧家庭技術博覽會上展示。
圖4：智慧熱成像儀空調。(來源：Meridian Innovation)
請注意，熱影像的內容不僅可以瞭解隔間的佔用情況，還可以瞭解整個房間的整體溫度分佈。基於這些更詳細的資訊，機器可以自動調節氣流的溫度、方向和速度，以節省能源並提高舒適度。
至於舒適度，有多種數學模型可以在人的平均皮膚溫度及其感知舒適度之間建立直接關係。我們應該記住，空調和HVAC系統的目的是確保居住者一定程度的舒適和福祉，而不是僅僅將房間的空氣冷卻或加熱到預設溫度。這帶領我們來到所謂第三代HVAC系統的概念。
在第三代系統，加熱或冷卻單元使用更高解析度的熱成像––大約5,000到20,000畫素，以便獲得更詳細的熱影像，直接測量居住者的平均皮膚溫度，並估計他們的舒適度。這些資訊支援以真正的熱舒適度而非溫度為目標的環境控制，並將人類體驗置於反饋迴路的中心。
第二代空調已經上市，這是因為具有成本效益的1,000到5,000畫素紅外熱成像儀的可用性。我們預計熱成像技術的快速發展將在5年內為高階機型帶來第三代功能。
嬰兒和老人為優先！
帶有視訊串流的嬰兒監視器已經上市一段時間，它們提供一種與親友分享快樂時光或在家做事時照看孩子的好方法。然而，相較於熱成像感測器，嬰兒監視器中的嵌入式視覺攝影機無法直接洞察嬰兒的生理狀態。熱成像儀能以非侵入的方式持續追蹤嬰兒的體溫。
體溫升高是嬰兒不適的常見症狀。如圖5所示，這種想法已在各地得到推廣，新產品即將出現。每個父母的願望都是儘早發現這種症狀，即使是在半夜。因此，在開發結合了視覺和熱成像儀的嬰兒監視器方面進行了大量的研發工作，並透過豐富的AI運算引擎支援兩個成像感測器。
這個領域提供了許多可能性。例如，可以準確追蹤嬰兒的正常體溫模式—當嬰兒健康快樂時，就會自動檢測異常體溫模式的發生，並在早期出現症狀的過程中喚起保姆或父母的注意。一般來說，健康嬰兒的核心體溫模式表現出顯著的晝夜變化，最小值和最大值之間的差異接近2度。這種模式似乎對每個孩子都非常獨特，並且隨著兒童生理機能和汗腺的發育而緩慢變化，需要不斷觀察才能捕捉到這種模式。因此，嬰兒床上方的嬰兒監視器似乎是觀察和記錄這種演變的自然場所。
除了健康狀況之外，還可以在反饋迴路中進一步利用熱和視覺光流模式與智慧型手機一起為發育中的大腦創造互動遊戲。可以同時分析行為模式和相應的溫度標記。所以，它可以保證讓你有——安全、聰明和健康的嬰兒！
圖5：智慧嬰兒監測器。(來源：5GENCARE)
熱成像的健康監測也延伸到老年人。鑑於兩個重要的全球趨勢——預期壽命延長和人口老齡化，以及獨居老年人的數量增加，這一點至關重要。
熱成像可以在許多方面提供幫助，從簡單的溫度和動作生命徵象監測，一直到複雜的行為分析。老年人照護常見且重要的主題是偵測甚至預防跌倒。雖然原則上這可以透過在客廳安裝視覺攝影機來實現，但在浴室的私密空間中並非如此。
由於在浴室中的風險最高，香港LSCM團隊以略低於5,000畫素的低解析度LWIR感測器，開發出老年人監測熱成像解決方案。這一解析度對於姿態估計來說已經夠高了，而對於具有適度運算能力的連續即時熱影像處理來說足夠小，最重要的是––保護隱私！該單元在本地執行複雜的演算法，能夠偵測意外事件的發生、跌倒並向負責的護士或家庭成員發出事件警報。該產品於2019年在日內瓦舉行的第47屆國際發明展覽會上獲得金獎。其他公司則在開發用於療養院臥室的攝影機解決方案，目的在防止常見意外—透過檢測老人何時下床、何時醒著並立即通知護理人員。
當熱成像遇上AI晶片組
凌通科技是一家來自台灣的全球積體電路供應商，以其消費產品和家電方面的專業而聞名。數以百萬計帶有語音設備和智慧相機的產品已為全球眾多業內頂級品牌公司所使用。
凌通科技業務經理Jacky Chen表示：「我相信Meridian的熱成像模組和凌通的AI晶片組是智慧家庭的完美解決方案。當Meridian的工程師將其熱成像模組安裝在我們的AI SoC平台時，如圖6所示，它就成了製作中的傑作。一種具有成本效益的獨立解決方案誕生了，它將溫度與音訊、視訊和繪圖核心與卷積神經網絡(CNN)等功能整合在一起，用於實珼智慧和AI應用。顯然，我們已經看到我們的客戶對這項尖端技術產生了極大的興趣，以創造更美好的明天。」
圖6：熱成像智慧評估平台。(圖片來源：凌通科技)
結語
熱成像感測器的終極目標在於增強家中許多產品的功能和價值，以及解決長期存在的挑戰，包括防止廚房火災和老年人發生意外，協助烹飪或提高能源效率和舒適度，以及監看並照料嬰孩。
這是透過具有成千上萬畫素且具成本效益的熱成像儀而實現的，該新一代熱成像儀目前已可量產。與此同時，我們開始看到很多參考硬體設計和軟體解決方案迅速出現，這極大地促進了該技術的採用，並加快了包含熱成像儀的創新產品開發週期。事實上，確實，這是至關重要的。Meridian共同創辦人簡潔地指出，「熱成像感測器就像人的眼睛，它們背後需要複雜的智慧，才能理解傳遞的所有熱資料。」
因此，這個舞臺為另一個引人入勝的故事奠定了基礎，在這個故事中，技術創新促進了更安全、更美好的生活。
本文作者： Hasan Gadjali，Meridian Innovation Limited共同創辦人兼營運長 Markov Stanislav Nikolaev，Meridian Innovation Limited科學家 本文同步刊登於EDN Taiwan 2022年3月號雜誌
從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術，都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。
會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家，透過專題演講、產品展示與互動交流，從元件、模組到系統，從概念設計到開發工具，深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點，並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。
加入LINE@，最新消息一手掌握！
