腦卒中肌電手勢識別的深度學習方案，從特征構(gòu)建到網(wǎng)絡設計的完整探索
腦卒中肌電手勢識別的深度學習方案，從特征構(gòu)建到網(wǎng)絡設計的完整探索
引言/背景介紹
卒中是全球主要致殘原因之一，約60%的卒中患者存在上肢功能障礙，嚴重影響日常生活與獨立性。傳統(tǒng)康復訓練往往依賴治療師一對一指導，過程耗時耗力，在人口老齡化社會更顯得供需矛盾突出。近年來，機器人輔助康復成為一種新興方案。其中，按需輔助(Assist-as-Needed, AAN)模式尤為關鍵：當患者主動嘗試動作時，康復機器人提供必要幫助，這種模式更能促進神經(jīng)可塑性和康復效果。但要實現(xiàn)精準的按需輔助，機器人必須能“讀懂”患者的動作意圖。表面肌電(sEMG)信號因其無創(chuàng)、實時、信息豐富的特點，被認為是最有潛力的人機交互信號源。然而，卒中患者的sEMG信號存在變異性大、噪聲高等問題，如何準確識別其手勢意圖成為難點。
論文概要
近日，康復大學周平教授團隊，利用深度學習技術系統(tǒng)探索了卒中后手勢識別的可行性與關鍵影響因素。研究成果發(fā)表于IEEE Transactions on Neural Systems and Rehabilitation Engineering，題為《Deep Learning-Based Post-Stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design》。該研究通過采集8名慢性卒中患者在執(zhí)行6種手部動作時的sEMG信號，比較了不同特征域（時域、頻域、小波域）、數(shù)據(jù)結(jié)構(gòu)（一維與二維圖像）和網(wǎng)絡架構(gòu)（CNN、CNN-LSTM、CNN-LSTM-Attention）對手勢識別準確率的影響。結(jié)果發(fā)現(xiàn)，在所有組合中，頻域特征表現(xiàn)最為突出：被試內(nèi)實驗中，CNN-LSTM結(jié)合二維頻域特征可獲得72.95%的平均準確率；跨被試遷移學習中，CNN-LSTM-Attention結(jié)合一維頻域特征表現(xiàn)最佳，平均準確率達到68.38%。此外，研究團隊還引入模型投票與貝葉斯融合兩種后處理策略，進一步提升了識別穩(wěn)定性，其中模型投票平均提高了2.03%。這一工作不僅揭示了卒中患者在手勢識別中的最佳特征選擇與模型配置，還展示了深度學習結(jié)合頻域sEMG在康復機器人、家庭康復及智能監(jiān)測中的廣闊應用前景。
引言/背景介紹
卒中是全球主要致殘原因之一，約60%的卒中患者存在上肢功能障礙，嚴重影響日常生活與獨立性。傳統(tǒng)康復訓練往往依賴治療師一對一指導，過程耗時耗力，在人口老齡化社會更顯得供需矛盾突出。近年來，機器人輔助康復成為一種新興方案。其中，按需輔助(Assist-as-Needed, AAN)模式尤為關鍵：當患者主動嘗試動作時，康復機器人提供必要幫助，這種模式更能促進神經(jīng)可塑性和康復效果。但要實現(xiàn)精準的按需輔助，機器人必須能“讀懂”患者的動作意圖。表面肌電(sEMG)信號因其無創(chuàng)、實時、信息豐富的特點，被認為是最有潛力的人機交互信號源。然而，卒中患者的sEMG信號存在變異性大、噪聲高等問題，如何準確識別其手勢意圖成為難點。
論文概要
近日，康復大學周平教授團隊，利用深度學習技術系統(tǒng)探索了卒中后手勢識別的可行性與關鍵影響因素。研究成果發(fā)表于IEEE Transactions on Neural Systems and Rehabilitation Engineering，題為《Deep Learning-Based Post-Stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design》。該研究通過采集8名慢性卒中患者在執(zhí)行6種手部動作時的sEMG信號，比較了不同特征域（時域、頻域、小波域）、數(shù)據(jù)結(jié)構(gòu)（一維與二維圖像）和網(wǎng)絡架構(gòu)（CNN、CNN-LSTM、CNN-LSTM-Attention）對手勢識別準確率的影響。結(jié)果發(fā)現(xiàn)，在所有組合中，頻域特征表現(xiàn)最為突出：被試內(nèi)實驗中，CNN-LSTM結(jié)合二維頻域特征可獲得72.95%的平均準確率；跨被試遷移學習中，CNN-LSTM-Attention結(jié)合一維頻域特征表現(xiàn)最佳，平均準確率達到68.38%。此外，研究團隊還引入模型投票與貝葉斯融合兩種后處理策略，進一步提升了識別穩(wěn)定性，其中模型投票平均提高了2.03%。這一工作不僅揭示了卒中患者在手勢識別中的最佳特征選擇與模型配置，還展示了深度學習結(jié)合頻域sEMG在康復機器人、家庭康復及智能監(jiān)測中的廣闊應用前景。
圖1. 論文信息
研究方法
本研究共納入8名慢性卒中患者（5男3女），其上肢運動功能受損程度涵蓋輕度至重度，依據(jù)Fugl-Meyer 上肢評估（FMA）進行分級，詳情見表I。實驗任務為完成6種手部動作：手掌開合(HO、HC)；拇食中三指開/合（TIMO/TIMC）；中、無名、小三指開/合（MRLO/MRLC）。在動作執(zhí)行過程中，研究人員使用外骨骼手協(xié)助患者完成指定動作，同時通過高密度表面肌電系統(tǒng)采集前臂7塊肌肉（包括指淺屈肌、指伸肌、拇長外展肌等）的sEMG信號（圖2）。
表1. 卒中受試者詳細信息
圖2. 卒中患者數(shù)據(jù)采集實驗裝置
采樣頻率設定為1000Hz，信號經(jīng)20–450Hz帶通濾波處理。對濾波后的7通道sEMG信號進行滑窗分割，窗長為102ms，步長51 ms，以構(gòu)建一維與二維的數(shù)據(jù)結(jié)構(gòu)，一維sEMG圖像的數(shù)據(jù)結(jié)構(gòu)為N×101×1×7，二維sEMG圖像的數(shù)據(jù)結(jié)構(gòu)為N×101×7×1，其中N為樣本總數(shù)（圖3左）。肌電信號特征采用時域、頻域及小波域肌電圖像（圖3右），用于后續(xù)深度學習建模（圖4）。最后在網(wǎng)絡架構(gòu)上設計了三類模型，包括卷積神經(jīng)網(wǎng)絡（CNN）、結(jié)合時間序列建模的CNN-LSTM，以及進一步加入注意力機制的CNN-LSTM-Attention。通過數(shù)據(jù)維度、信號特征和網(wǎng)絡架構(gòu)對這三方面因素的排列組合，共構(gòu)建了18種深度學習模型（M1-M18），結(jié)合模型投票和貝葉斯融合兩種后處理方法（M19、M20）對頻域模型的輸出進行二次優(yōu)化，并在被試內(nèi)測試與跨被試遷移學習兩類實驗場景下進行驗證，18種深度學習模型如表II所示。
高密度肌電設備示例
圖3. 左圖為1D和2D sEMG頻域圖像的可視化；右圖為對手開(HC)合(HO)運動在時、頻和小波域的2D sEMG圖像進行可視化
圖4. 基于sEMG的腦卒中后手勢識別中DL技術的研究框架
表2. 18個不同網(wǎng)絡結(jié)構(gòu)、數(shù)據(jù)維度和特征域的深度學習模型詳細信息
結(jié)果呈現(xiàn)
實驗結(jié)果顯示，不同特征域、數(shù)據(jù)結(jié)構(gòu)與網(wǎng)絡架構(gòu)在識別性能上存在顯著差異。在被試內(nèi)實驗中（圖5），二維頻域特征結(jié)合CNN-LSTM模型(對應M11)表現(xiàn)最佳（圖5d），平均識別準確率達到72.95%，部分患者的最高結(jié)果超過85%（圖5b）。相比之下，單純采用時域或小波域特征的模型準確率顯著降低，多數(shù)不足65%，且差異具有統(tǒng)計學意義（P < 0.01）。這一結(jié)果表明，頻域特征能夠更穩(wěn)定地刻畫卒中患者殘余肌肉信號中的可區(qū)分信息，而CNN-LSTM的時序建模優(yōu)勢，則幫助系統(tǒng)更好地識別動作過程中的動態(tài)變化。在跨被試遷移學習中（圖6a），結(jié)合一維頻域特征的CNN-LSTM-Attention 模型（對應M14）表現(xiàn)最優(yōu)，平均準確率為68.38%。進一步的實驗分析發(fā)現(xiàn)，隨著遷移率的增加（10%、20%、30%），模型識別率逐步提升，說明少量個性化訓練樣本即可顯著改善跨人群的自適應性（圖7）。例如，在遷移率為10%時，準確率可提升6–8個百分點；而在30%時，提升幅度趨于平緩，提示模型已經(jīng)捕捉到患者間共享的頻域特征結(jié)構(gòu)。
實驗結(jié)果顯示，不同特征域、數(shù)據(jù)結(jié)構(gòu)與網(wǎng)絡架構(gòu)在識別性能上存在顯著差異。在被試內(nèi)實驗中（圖5），二維頻域特征結(jié)合CNN-LSTM模型(對應M11)表現(xiàn)最佳（圖5d），平均識別準確率達到72.95%，部分患者的最高結(jié)果超過85%（圖5b）。相比之下，單純采用時域或小波域特征的模型準確率顯著降低，多數(shù)不足65%，且差異具有統(tǒng)計學意義（P < 0.01）。這一結(jié)果表明，頻域特征能夠更穩(wěn)定地刻畫卒中患者殘余肌肉信號中的可區(qū)分信息，而CNN-LSTM的時序建模優(yōu)勢，則幫助系統(tǒng)更好地識別動作過程中的動態(tài)變化。在跨被試遷移學習中（圖6a），結(jié)合一維頻域特征的CNN-LSTM-Attention 模型（對應M14）表現(xiàn)最優(yōu)，平均準確率為68.38%。進一步的實驗分析發(fā)現(xiàn)，隨著遷移率的增加（10%、20%、30%），模型識別率逐步提升，說明少量個性化訓練樣本即可顯著改善跨人群的自適應性（圖7）。例如，在遷移率為10%時，準確率可提升6–8個百分點；而在30%時，提升幅度趨于平緩，提示模型已經(jīng)捕捉到患者間共享的頻域特征結(jié)構(gòu)。
圖5. 被試內(nèi)測試的手勢識別結(jié)果。(a)展示了18個DL模型在不同被試之間的被試內(nèi)測試中的表現(xiàn)；(b)表示DL模型在每個受試者中的平均準確率；(c)顯示了DL模型在每個受試者中的最大測試精度；(d)比較所有被試在每個DL模型中的平均正確率；(e)比較了18個深度學習模型在網(wǎng)絡結(jié)構(gòu)、數(shù)據(jù)維度、特征域上的平均準確率和顯著性水平
圖6. 被試間遷移學習的手勢識別結(jié)果。(a) DL模型中剩余7名被試進行被試間遷移學習的平均正確率。(b)比較了18個遷移學習模型在網(wǎng)絡結(jié)構(gòu)、數(shù)據(jù)維度、特征域上的平均準確率和顯著性水平
圖7. 不同遷移率的測試準確率(圖(a)-(h)是基于S1-S8為輪循數(shù)據(jù)集時，以其余受試者為測試集，所有模型在不同遷移率下的平均測試準確率的比較，圖中紅色虛線為其余7名受試者的總平均準確率
圖8. 深度學習模型在有/沒有后處理的被試間遷移學習實驗中的平均正確率
上述現(xiàn)象在神經(jīng)肌肉機制層面上具有明確解釋。卒中患者的運動神經(jīng)通路受損，導致部分肌肉群失去精細化控制，動作信號表現(xiàn)為幅度減弱、時序紊亂和空間分布不均。頻域特征能夠捕捉肌肉殘余激活信號中的譜能量分布模式，從而放大不同手勢之間的差異；而LSTM及注意力機制則進一步利用時間依賴和特征選擇，幫助模型識別動作中的關鍵信息。相比之下，單純依賴時域特征的模型在噪聲和個體差異干擾下更容易失效。
總結(jié)與討論：讓卒中康復走向智能化與個性化
隨著人工智能與康復醫(yī)學的不斷融合，基于肌電信號的卒中手勢識別正逐漸從實驗室走向臨床與家庭。本研究通過對特征域、數(shù)據(jù)結(jié)構(gòu)和網(wǎng)絡設計的系統(tǒng)探索，驗證了頻域特征結(jié)合深度學習模型在卒中后肌電解碼中的突出優(yōu)勢，并展示了CNN-LSTM及注意力機制在捕捉殘余神經(jīng)信號方面的巨大潛力。與此同時，模型投票等后處理策略進一步提升了識別的穩(wěn)定性與魯棒性，為未來智能康復系統(tǒng)的實際應用奠定了堅實基礎。從更廣闊的視角來看，這一研究不僅僅是對算法性能的比較，更為康復機器人、遠程健康監(jiān)測與家庭訓練系統(tǒng)提供了技術路線。未來，隨著深度學習模型的進一步優(yōu)化以及個性化遷移學習策略的完善，系統(tǒng)有望實現(xiàn)“少量數(shù)據(jù)快速自適應”，讓患者在醫(yī)院、家庭乃至社區(qū)環(huán)境中都能享受到精準的康復輔助。
原文鏈接
Bao T, Lu Z, Zhou P. Deep Learning Based Post-stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2024.
DOI: 10.1109/TNSRE.2024.3521583
作者及單位
本文作者為鮑天哲、路知遠和周平教授，均來自康復大學（中國青島）。
關于維拓啟創(chuàng)
維拓啟創(chuàng)（北京）信息技術有限公司成立于2006年，是一家專注于腦科學、康復工程、人因工程、心理學、體育科學等領域的科研解決方案供應商。公司與國內(nèi)外多所大學、研究機構(gòu)、企業(yè)長期保持合作關系，致力于將優(yōu)質(zhì)的產(chǎn)品、先進的技術和服務帶給各個領域的科研工作者，為用戶提供有競爭力的方案和服務，協(xié)助用戶的科研工作，持續(xù)提升使用體驗。
相關產(chǎn)品
總結(jié)與討論：讓卒中康復走向智能化與個性化
隨著人工智能與康復醫(yī)學的不斷融合，基于肌電信號的卒中手勢識別正逐漸從實驗室走向臨床與家庭。本研究通過對特征域、數(shù)據(jù)結(jié)構(gòu)和網(wǎng)絡設計的系統(tǒng)探索，驗證了頻域特征結(jié)合深度學習模型在卒中后肌電解碼中的突出優(yōu)勢，并展示了CNN-LSTM及注意力機制在捕捉殘余神經(jīng)信號方面的巨大潛力。與此同時，模型投票等后處理策略進一步提升了識別的穩(wěn)定性與魯棒性，為未來智能康復系統(tǒng)的實際應用奠定了堅實基礎。從更廣闊的視角來看，這一研究不僅僅是對算法性能的比較，更為康復機器人、遠程健康監(jiān)測與家庭訓練系統(tǒng)提供了技術路線。未來，隨著深度學習模型的進一步優(yōu)化以及個性化遷移學習策略的完善，系統(tǒng)有望實現(xiàn)“少量數(shù)據(jù)快速自適應”，讓患者在醫(yī)院、家庭乃至社區(qū)環(huán)境中都能享受到精準的康復輔助。
原文鏈接
Bao T, Lu Z, Zhou P. Deep Learning Based Post-stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2024.
DOI: 10.1109/TNSRE.2024.3521583
作者及單位
本文作者為鮑天哲、路知遠和周平教授，均來自康復大學（中國青島）。
關于維拓啟創(chuàng)
維拓啟創(chuàng)（北京）信息技術有限公司成立于2006年，是一家專注于腦科學、康復工程、人因工程、心理學、體育科學等領域的科研解決方案供應商。公司與國內(nèi)外多所大學、研究機構(gòu)、企業(yè)長期保持合作關系，致力于將優(yōu)質(zhì)的產(chǎn)品、先進的技術和服務帶給各個領域的科研工作者，為用戶提供有競爭力的方案和服務，協(xié)助用戶的科研工作，持續(xù)提升使用體驗。
相關產(chǎn)品
- 文獻解讀：針對沙地行走的膝關節(jié)外骨骼技術的研發(fā)
- USP10去泛素化與自噬偶聯(lián)致心臟鈉通道降解并引發(fā)心律失常的機制研究
- 突破設備協(xié)同壁壘，實時自適應控制的外骨骼輔助康復集成系統(tǒng)的研發(fā)
- 微波輻射誘導iPSC-CMs中NF-κB介導的自主炎癥反應的時間研究
- 使用HD-MEA技術實現(xiàn)高通量神經(jīng)網(wǎng)絡篩查以及神經(jīng)元功能性結(jié)構(gòu)解析
- 功能性近紅外光譜fNIRS在揭示精神疲勞神經(jīng)生物標志研究中的應用
- JAMA子刊文獻解讀：經(jīng)皮耳迷走神經(jīng)刺激治療慢性失眠障礙的研究
- 腦卒中肌電手勢識別的深度學習方案，從特征構(gòu)建到網(wǎng)絡設計的完整探索
Copyright(C) 1998-2025 生物器材網(wǎng) 電話：021-64166852;13621656896 E-mail：info@bio-equip.com