English | 中文版 | 手機(jī)版 企業(yè)登錄 | 個(gè)人登錄 | 郵件訂閱
當(dāng)前位置 > 首頁(yè) > 技術(shù)文章 > 腦卒中肌電手勢(shì)識(shí)別的深度學(xué)習(xí)方案,從特征構(gòu)建到網(wǎng)絡(luò)設(shè)計(jì)的完整探索

腦卒中肌電手勢(shì)識(shí)別的深度學(xué)習(xí)方案,從特征構(gòu)建到網(wǎng)絡(luò)設(shè)計(jì)的完整探索

瀏覽次數(shù):321 發(fā)布日期:2025-11-11  來(lái)源:本站 僅供參考,謝絕轉(zhuǎn)載,否則責(zé)任自負(fù)
腦卒中肌電手勢(shì)識(shí)別的深度學(xué)習(xí)方案,從特征構(gòu)建到網(wǎng)絡(luò)設(shè)計(jì)的完整探索

引言/背景介紹
卒中是全球主要致殘?jiān)蛑唬s60%的卒中患者存在上肢功能障礙,嚴(yán)重影響日常生活與獨(dú)立性。傳統(tǒng)康復(fù)訓(xùn)練往往依賴治療師一對(duì)一指導(dǎo),過(guò)程耗時(shí)耗力,在人口老齡化社會(huì)更顯得供需矛盾突出。近年來(lái),機(jī)器人輔助康復(fù)成為一種新興方案。其中,按需輔助(Assist-as-Needed, AAN)模式尤為關(guān)鍵:當(dāng)患者主動(dòng)嘗試動(dòng)作時(shí),康復(fù)機(jī)器人提供必要幫助,這種模式更能促進(jìn)神經(jīng)可塑性和康復(fù)效果。但要實(shí)現(xiàn)精準(zhǔn)的按需輔助,機(jī)器人必須能“讀懂”患者的動(dòng)作意圖。表面肌電(sEMG)信號(hào)因其無(wú)創(chuàng)、實(shí)時(shí)、信息豐富的特點(diǎn),被認(rèn)為是最有潛力的人機(jī)交互信號(hào)源。然而,卒中患者的sEMG信號(hào)存在變異性大、噪聲高等問(wèn)題,如何準(zhǔn)確識(shí)別其手勢(shì)意圖成為難點(diǎn)。

論文概要
近日,康復(fù)大學(xué)周平教授團(tuán)隊(duì),利用深度學(xué)習(xí)技術(shù)系統(tǒng)探索了卒中后手勢(shì)識(shí)別的可行性與關(guān)鍵影響因素。研究成果發(fā)表于IEEE Transactions on Neural Systems and Rehabilitation Engineering,題為《Deep Learning-Based Post-Stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design》。該研究通過(guò)采集8名慢性卒中患者在執(zhí)行6種手部動(dòng)作時(shí)的sEMG信號(hào),比較了不同特征域(時(shí)域、頻域、小波域)、數(shù)據(jù)結(jié)構(gòu)(一維與二維圖像)和網(wǎng)絡(luò)架構(gòu)(CNN、CNN-LSTM、CNN-LSTM-Attention)對(duì)手勢(shì)識(shí)別準(zhǔn)確率的影響。結(jié)果發(fā)現(xiàn),在所有組合中,頻域特征表現(xiàn)最為突出:被試內(nèi)實(shí)驗(yàn)中,CNN-LSTM結(jié)合二維頻域特征可獲得72.95%的平均準(zhǔn)確率;跨被試遷移學(xué)習(xí)中,CNN-LSTM-Attention結(jié)合一維頻域特征表現(xiàn)最佳,平均準(zhǔn)確率達(dá)到68.38%。此外,研究團(tuán)隊(duì)還引入模型投票與貝葉斯融合兩種后處理策略,進(jìn)一步提升了識(shí)別穩(wěn)定性,其中模型投票平均提高了2.03%。這一工作不僅揭示了卒中患者在手勢(shì)識(shí)別中的最佳特征選擇與模型配置,還展示了深度學(xué)習(xí)結(jié)合頻域sEMG在康復(fù)機(jī)器人、家庭康復(fù)及智能監(jiān)測(cè)中的廣闊應(yīng)用前景。
 

圖1. 論文信息
 
研究方法 
本研究共納入8名慢性卒中患者(5男3女),其上肢運(yùn)動(dòng)功能受損程度涵蓋輕度至重度,依據(jù)Fugl-Meyer 上肢評(píng)估(FMA)進(jìn)行分級(jí),詳情見(jiàn)表I。實(shí)驗(yàn)任務(wù)為完成6種手部動(dòng)作:手掌開(kāi)合(HO、HC);拇食中三指開(kāi)/合(TIMO/TIMC);中、無(wú)名、小三指開(kāi)/合(MRLO/MRLC)。在動(dòng)作執(zhí)行過(guò)程中,研究人員使用外骨骼手協(xié)助患者完成指定動(dòng)作,同時(shí)通過(guò)高密度表面肌電系統(tǒng)采集前臂7塊肌肉(包括指淺屈肌、指伸肌、拇長(zhǎng)外展肌等)的sEMG信號(hào)(圖2)。
 

表1. 卒中受試者詳細(xì)信息
 

 圖2. 卒中患者數(shù)據(jù)采集實(shí)驗(yàn)裝置
 
采樣頻率設(shè)定為1000Hz,信號(hào)經(jīng)20–450Hz帶通濾波處理。對(duì)濾波后的7通道sEMG信號(hào)進(jìn)行滑窗分割,窗長(zhǎng)為102ms,步長(zhǎng)51 ms,以構(gòu)建一維與二維的數(shù)據(jù)結(jié)構(gòu),一維sEMG圖像的數(shù)據(jù)結(jié)構(gòu)為N×101×1×7,二維sEMG圖像的數(shù)據(jù)結(jié)構(gòu)為N×101×7×1,其中N為樣本總數(shù)(圖3左)。肌電信號(hào)特征采用時(shí)域、頻域及小波域肌電圖像(圖3右),用于后續(xù)深度學(xué)習(xí)建模(圖4)。最后在網(wǎng)絡(luò)架構(gòu)上設(shè)計(jì)了三類(lèi)模型,包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)、結(jié)合時(shí)間序列建模的CNN-LSTM,以及進(jìn)一步加入注意力機(jī)制的CNN-LSTM-Attention。通過(guò)數(shù)據(jù)維度、信號(hào)特征和網(wǎng)絡(luò)架構(gòu)對(duì)這三方面因素的排列組合,共構(gòu)建了18種深度學(xué)習(xí)模型(M1-M18),結(jié)合模型投票和貝葉斯融合兩種后處理方法(M19、M20)對(duì)頻域模型的輸出進(jìn)行二次優(yōu)化,并在被試內(nèi)測(cè)試與跨被試遷移學(xué)習(xí)兩類(lèi)實(shí)驗(yàn)場(chǎng)景下進(jìn)行驗(yàn)證,18種深度學(xué)習(xí)模型如表II所示。
 

高密度肌電設(shè)備示例
 

圖3. 左圖為1D和2D sEMG頻域圖像的可視化;右圖為對(duì)手開(kāi)(HC)合(HO)運(yùn)動(dòng)在時(shí)、頻和小波域的2D sEMG圖像進(jìn)行可視化
 

圖4. 基于sEMG的腦卒中后手勢(shì)識(shí)別中DL技術(shù)的研究框架
 

表2. 18個(gè)不同網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)維度和特征域的深度學(xué)習(xí)模型詳細(xì)信息
結(jié)果呈現(xiàn)
實(shí)驗(yàn)結(jié)果顯示,不同特征域、數(shù)據(jù)結(jié)構(gòu)與網(wǎng)絡(luò)架構(gòu)在識(shí)別性能上存在顯著差異。在被試內(nèi)實(shí)驗(yàn)中(圖5),二維頻域特征結(jié)合CNN-LSTM模型(對(duì)應(yīng)M11)表現(xiàn)最佳(圖5d),平均識(shí)別準(zhǔn)確率達(dá)到72.95%,部分患者的最高結(jié)果超過(guò)85%(圖5b)。相比之下,單純采用時(shí)域或小波域特征的模型準(zhǔn)確率顯著降低,多數(shù)不足65%,且差異具有統(tǒng)計(jì)學(xué)意義(P < 0.01)。這一結(jié)果表明,頻域特征能夠更穩(wěn)定地刻畫(huà)卒中患者殘余肌肉信號(hào)中的可區(qū)分信息,而CNN-LSTM的時(shí)序建模優(yōu)勢(shì),則幫助系統(tǒng)更好地識(shí)別動(dòng)作過(guò)程中的動(dòng)態(tài)變化。在跨被試遷移學(xué)習(xí)中(圖6a),結(jié)合一維頻域特征的CNN-LSTM-Attention 模型(對(duì)應(yīng)M14)表現(xiàn)最優(yōu),平均準(zhǔn)確率為68.38%。進(jìn)一步的實(shí)驗(yàn)分析發(fā)現(xiàn),隨著遷移率的增加(10%、20%、30%),模型識(shí)別率逐步提升,說(shuō)明少量個(gè)性化訓(xùn)練樣本即可顯著改善跨人群的自適應(yīng)性(圖7)。例如,在遷移率為10%時(shí),準(zhǔn)確率可提升6–8個(gè)百分點(diǎn);而在30%時(shí),提升幅度趨于平緩,提示模型已經(jīng)捕捉到患者間共享的頻域特征結(jié)構(gòu)。
 
圖5. 被試內(nèi)測(cè)試的手勢(shì)識(shí)別結(jié)果。(a)展示了18個(gè)DL模型在不同被試之間的被試內(nèi)測(cè)試中的表現(xiàn);(b)表示DL模型在每個(gè)受試者中的平均準(zhǔn)確率;(c)顯示了DL模型在每個(gè)受試者中的最大測(cè)試精度;(d)比較所有被試在每個(gè)DL模型中的平均正確率;(e)比較了18個(gè)深度學(xué)習(xí)模型在網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)維度、特征域上的平均準(zhǔn)確率和顯著性水平
 
 
圖6. 被試間遷移學(xué)習(xí)的手勢(shì)識(shí)別結(jié)果。(a) DL模型中剩余7名被試進(jìn)行被試間遷移學(xué)習(xí)的平均正確率。(b)比較了18個(gè)遷移學(xué)習(xí)模型在網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)維度、特征域上的平均準(zhǔn)確率和顯著性水平
 
圖7. 不同遷移率的測(cè)試準(zhǔn)確率(圖(a)-(h)是基于S1-S8為輪循數(shù)據(jù)集時(shí),以其余受試者為測(cè)試集,所有模型在不同遷移率下的平均測(cè)試準(zhǔn)確率的比較,圖中紅色虛線為其余7名受試者的總平均準(zhǔn)確率
 

圖8. 深度學(xué)習(xí)模型在有/沒(méi)有后處理的被試間遷移學(xué)習(xí)實(shí)驗(yàn)中的平均正確率
上述現(xiàn)象在神經(jīng)肌肉機(jī)制層面上具有明確解釋。卒中患者的運(yùn)動(dòng)神經(jīng)通路受損,導(dǎo)致部分肌肉群失去精細(xì)化控制,動(dòng)作信號(hào)表現(xiàn)為幅度減弱、時(shí)序紊亂和空間分布不均。頻域特征能夠捕捉肌肉殘余激活信號(hào)中的譜能量分布模式,從而放大不同手勢(shì)之間的差異;而LSTM及注意力機(jī)制則進(jìn)一步利用時(shí)間依賴和特征選擇,幫助模型識(shí)別動(dòng)作中的關(guān)鍵信息。相比之下,單純依賴時(shí)域特征的模型在噪聲和個(gè)體差異干擾下更容易失效。

總結(jié)與討論:讓卒中康復(fù)走向智能化與個(gè)性化
隨著人工智能與康復(fù)醫(yī)學(xué)的不斷融合,基于肌電信號(hào)的卒中手勢(shì)識(shí)別正逐漸從實(shí)驗(yàn)室走向臨床與家庭。本研究通過(guò)對(duì)特征域、數(shù)據(jù)結(jié)構(gòu)和網(wǎng)絡(luò)設(shè)計(jì)的系統(tǒng)探索,驗(yàn)證了頻域特征結(jié)合深度學(xué)習(xí)模型在卒中后肌電解碼中的突出優(yōu)勢(shì),并展示了CNN-LSTM及注意力機(jī)制在捕捉殘余神經(jīng)信號(hào)方面的巨大潛力。與此同時(shí),模型投票等后處理策略進(jìn)一步提升了識(shí)別的穩(wěn)定性與魯棒性,為未來(lái)智能康復(fù)系統(tǒng)的實(shí)際應(yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)。從更廣闊的視角來(lái)看,這一研究不僅僅是對(duì)算法性能的比較,更為康復(fù)機(jī)器人、遠(yuǎn)程健康監(jiān)測(cè)與家庭訓(xùn)練系統(tǒng)提供了技術(shù)路線。未來(lái),隨著深度學(xué)習(xí)模型的進(jìn)一步優(yōu)化以及個(gè)性化遷移學(xué)習(xí)策略的完善,系統(tǒng)有望實(shí)現(xiàn)“少量數(shù)據(jù)快速自適應(yīng)”,讓患者在醫(yī)院、家庭乃至社區(qū)環(huán)境中都能享受到精準(zhǔn)的康復(fù)輔助。

原文鏈接
Bao T, Lu Z, Zhou P. Deep Learning Based Post-stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2024.
DOI: 10.1109/TNSRE.2024.3521583

作者及單位
本文作者為鮑天哲、路知遠(yuǎn)和周平教授,均來(lái)自康復(fù)大學(xué)(中國(guó)青島)。

關(guān)于維拓啟創(chuàng)
維拓啟創(chuàng)(北京)信息技術(shù)有限公司成立于2006年,是一家專(zhuān)注于腦科學(xué)、康復(fù)工程、人因工程、心理學(xué)、體育科學(xué)等領(lǐng)域的科研解決方案供應(yīng)商。公司與國(guó)內(nèi)外多所大學(xué)、研究機(jī)構(gòu)、企業(yè)長(zhǎng)期保持合作關(guān)系,致力于將優(yōu)質(zhì)的產(chǎn)品、先進(jìn)的技術(shù)和服務(wù)帶給各個(gè)領(lǐng)域的科研工作者,為用戶提供有競(jìng)爭(zhēng)力的方案和服務(wù),協(xié)助用戶的科研工作,持續(xù)提升使用體驗(yàn)。

相關(guān)產(chǎn)品

 
發(fā)布者:維拓啟創(chuàng)(北京)信息技術(shù)有限公司
聯(lián)系電話:010-64696177
E-mail:terrys@advictor.com.cn

用戶名: 密碼: 匿名 快速注冊(cè) 忘記密碼
評(píng)論只代表網(wǎng)友觀點(diǎn),不代表本站觀點(diǎn)。 請(qǐng)輸入驗(yàn)證碼: 8795
Copyright(C) 1998-2025 生物器材網(wǎng) 電話:021-64166852;13621656896 E-mail:info@bio-equip.com