工控網首頁
>

新聞中心

>

人物專訪

>

指尖革命:意法半導體智能手勢交互系統,開啟人機協作新篇章

指尖革命:意法半導體智能手勢交互系統,開啟人機協作新篇章

2025/4/25 16:41:15

試想一下,在化工廠等高危環境中,一名工程師站在安全區域內,僅憑幾個簡單的手勢,便能精準操控遠處的機械手完成復雜的操作任務。或許這些橋段常常出現在科幻電影中,而意法半導體通過其AI手勢識別與自動化控制解決方案,正在將這一愿景變為現實的成果。

隨著工業4.0浪潮的推進,工廠自動化正以前所未有的速度演進,而意法半導體的技術創新讓我們看到了人機交互的全新可能——以一種更自然、更高效、更安全的協作方式。在2025年慕尼黑上海電子展上,gongkong?有幸采訪到了意法半導體自動化技術創新中心應用工程師黃凱杰先生,并深入探討了這套基于AI的手勢識別與自動化控制解決方案的技術原理、應用場景及其對未來工業自動化的深遠影響。

圖片40.png

意法半導體自動化技術創新中心應用工程師黃凱杰

從“感知”到“執行”的智能協同

黃凱杰首先詳細介紹了這套系統的模塊化架構及其協同工作方式。整套解決方案由三部分構成:感知部分、數據處理部分和執行部分。感知部分由STM32N6微控制器負責,它集成了強大的加速器神經處理單元(NPU),能夠實時處理攝像頭捕捉到的手部視頻數據,并提取手部21個關鍵點的三維坐標信息。數據處理部分由基于STM32MP257的PLC完成,將這些關鍵點數據轉化為機械手關節的角度指令;而執行部分則是靈巧手,通過高精度伺服電機實現對人類手勢的精準跟隨。

圖片41.png

“STM32N6憑借出色的計算能力,能讓手勢識別達到每秒30幀的高識別速率,真正實現實時處理。”黃凱杰指出,與傳統GPU方案相比, STM32N6 作為視覺識別的信號處理器,其性價比更高且功耗更低,尤其適用于資源受限型場景。

而整套方案的核心亮點正是作為中央控制單元的PLC,不僅實現了模塊化架構設計,更顯著提升了系統集成效率。該設計凸顯以下核心優勢:

● 靈活擴展:模塊化組件支持無縫升級與維護,無需停機即可完成系統迭代;

● 高可靠性與安全性:PLC的自主操作系統(CODESYS)相較板卡級控制系統,具有更強的抗干擾能力和數據保護機制;

● 長期成本可控:減少對專用硬件(如GPU)的依賴,有效規避供應商鎖定風險,降低后續升級與維護成本。

通過STM32N6的強大AI計算能力和STM32MP257 PLC的實時控制能力,這套系統真正實現了從“感知”到“執行”的閉環控制,使得機械手真正成為人類手勢的“延伸”,為人機協作提供了更自然、更高效的交互方式。

從柔性制造到高危環境的革新實踐

傳統機械臂通常依賴按鈕、遙控器或復雜的編程界面,而手勢交互則讓“人機協作”變得更加直觀和自然。正如黃凱杰所言,這套方案特別適用于高危場景,比如化工廠或輻射環境,工人可以通過手勢遠程操控機械手完成復雜任務,而無需直接接觸危險區域。此外,手勢交互的優勢在于操作簡單,不需要工人具備專業的編程知識,只需通過自然的手勢動作即可完成設備控制,顯著提升了操作效率和安全性。

在裝配線上,手勢交互同樣展現出巨大的潛力。例如,工人可以通過手勢快速調整機械臂的動作,大幅縮短調試時間。這種柔性控制能力不僅提高了生產效率,還為工廠應對多樣化生產需求提供了更多可能性。

在實際工業場景中,面對復雜多變的環境光線,這套系統同樣展現出強大的適應性。黃凱杰介紹,當前基于視覺的解決方案主要依賴光學攝像頭,但意法半導體的系統可以無縫集成VL53L8CX矩陣飛行時間(ToF)傳感器。這種基于ToF的技術不依賴環境光照條件,即使在完全黑暗的環境中也能保持穩健的手勢識別能力。

STM32的AI技術將推動工廠人機協作邁向‘直覺化交互’。該技術還可拓展至農業自動化(果實分揀)、智能倉儲(無人叉車調度)、消費電子(AR手勢交互)及醫療康復(假肢精準控制)等領域,其低功耗、高性價比特性正加速AI在邊緣計算場景的普惠化落地。黃凱杰透露,未來,公司計劃進一步擴展該方案的AI能力,豐富行業垂直模型庫,例如機械臂抓取、焊縫檢測等,為工業自動化帶來更多可能性。

平衡性能與成本,實現長期價值

成本和部署難度是工廠關注的重點之一。黃凱杰強調,這套解決方案在設計之初便充分考慮了性能與成本的平衡。

一方面,技術實現優勢:盡管手勢識別模型在訓練階段需要大量計算資源,但部署后的解決方案僅需運行在STM32N6處理器上。憑借其600GOPS的算力,N6以GPU方案成本的一小部分即可滿足性能需求,實現顯著的硬件成本節約。

另一方面,工業級設計理念:采用PLC作為控制核心的設計,刻意與現實工業自動化架構保持一致。這確保了與現有工業工作流程的無縫銜接,即只需對現有設施配置進行微小改造即可部署系統。

的確,模塊化設計不僅提升了系統的靈活性和可擴展性,還顯著降低了部署難度,為未來的升級和維護提供了便利。這也體現了意法半導體對工業用戶需求的深刻理解,更彰顯了其在技術開發中始終以用戶體驗為核心的價值追求。

意法半導體的AI手勢識別與自動化控制解決方案不僅是一項技術創新,更展現了工業4.0時代人機協作模式的一次深刻變革,具備極高的實用價值和廣闊的應用前景。

展望未來,隨著工業4.0的深入推進,人工智能與邊緣計算的需求將愈加旺盛。意法半導體憑借其高性能、低功耗的STM32系列芯片和強大的生態系統,為工業自動化注入更多的智慧動能。

審核編輯(
李娜
)
投訴建議

提交

查看更多評論
其他資訊

查看更多

魏式放映廳 | 探索魏德米勒175年砥礪與騰飛 第三集

2025第三屆區域銀行數字化轉型與技術應用峰會圓滿落幕

電裝攜多項創新技術亮相2025上海車展,助力中國汽車產業可持續發展

沙塵與潮濕凝露克星——微正壓IP66高防護智能化環控系統助力新能源發電安全與節能增效

北爾電子憑借X3系列HMI榮獲2025年紅點產品設計獎