基于多模态信息融合的上肢康复训练评估系统

​​想了解更多关于开源的内容，请访问：​​

​​51CTO 开源基础软件社区​​

​​https://ost.51cto.com​​

项目摘要

脑卒中是我国成年人致死、致残的首位病因，具有发病率高、致残率高、死亡率高和复发率高的特点。2016 年全球疾病负担（GBD）数据显示，脑卒中是造成我国寿命年损失（YLL）的第一位病因。《2019 中国卫生健康统计提要 》数据显示，2018 年脑血管病占我国居民疾病死亡比例在农村人群为 23.19%、城市人群为 20.51%，这意味着每 5 位死亡者中就至少有 1 人死于脑卒中。

基于多模态信息融合的上肢康复训练评估系统是一套用于脑卒中患者的主被动式上肢康复训练评估系统。在康复训练硬件方面参考鹤的颈部运动方式，按照人体工程学，设计出仿鹤颈式上肢康复机械臂，整体能够实现肩、肘、手腕部分的多关节多自由度训练。康复评估系统由训练中、训练后两部分组成，在康复训练过程中，基于MPU9250芯片，自主开发动作捕捉设备，通过其中的陀螺仪和惯性传感器对加速度和角速度进行采集，经过三维融合算法得到关节角度和四元数，关节角度作为评估系统量化指标。并且采用DTW算法将数据进行规整、可视化处理，通过Pearson系数判断患者的恢复状况。训练后，使用机器学习中的RF随机森林算法将康复数据经过RF模型与标准数据进行对比，并根据国际认定的Brunnstrom分期量表进行量化评估患病等级，为患者提供针对性个性化的治疗康复方案。同时基于通过Untiy3D设计小游戏，使用虚拟与现实结合技术，可打破康复训练时间和空间的限制，也能增强患者在康复训练的积极性与主动性，提高康复训练效果。

一、项目背景

据统计数据,目前国内中风病人有1500万多，且发病率在以每年8.7%的速度上升。若不加控制，到2030年，全国将有3100万中风病人;每年因中风死亡人数高达200万，占总死亡人口的22%。而在肢体残疾原因中脑卒中超过20%。患者肢体神经受到损伤常年卧床，生活难以自理，虽然往返的康复训练能够重塑大脑与受损肢体间的联系，但是医疗康复机器人市场不成熟，患者只能通过医师一对一治疗。

而近年来，国家政策支持全国脑卒中防治工作开展。2021年，国家卫生健康委、教育部、国家药监局等10部门联合制定了《加强脑卒中防治工作减少百万新发残疾工程综合方案》。同时各地政府也高度重视脑卒中防治工作，河南省卫生健康委把脑卒中高危人群筛查和干预工作列入健康中原2030重点行动计划:1.拨付经费用于支持县区开展卒中防治相关工作；2.把卒中中心建设列入二级医院升三级医院提质升级的必备材料清单；3.开创性地发起并推广卒中急诊救治一键启动，显著缩短了DNT时间；4.有力推动了河南省二级医院卒中中心建设工作。

所以我们设计了一套用于脑卒中患者的主被动式上肢康复训练评估系统，在辅助脑卒中患者执行康复训练运动的同时会对训练结果进行定量评估。创新康复方法，分期评定，解决脑卒中患者训练过程中医师少、效果差的问题，为康复医师提供标准化的解决方案。

二、团队介绍

• 成员介绍：

  团队成员由三部分构成，第一部分是老师和康复医师，指导老师会对项目方向进行把控，合作医师会进行专业的康复训练指导。第二部分是合作公司的工程师，合作公司的工程师会推进项目的产品化进程。第三部分是我们大学生研发团队，我们大学生专业覆盖面广，做的是产品的设计和研发。

• 团队理念：

  团队以“开放、共享、联合”的原则，秉承“创新，合作，高效，服务，共赢” 的团队理念进行团队的发展，采取固定人员、专职人员和流动人员相结合的研发团队组成模式，团队成员之间能够进行紧密有效的合作关系，充分整合学院、企业和研究所相关学科研究力量，立足于高校，服务于社会。

• 团队研发范围：

  团队主要以面向上肢偏瘫老人的康复机械臂为基本目标，在脑卒中患者全肢体康复外骨骼、基于动作捕捉技术的康复评估系统、以及基于卷积神经网络的运动意图感知系统等方面取得重大成果。

• 团队宗旨：

  本创业团队将以本校创业者为人才依托，在院系以及老师的支持下，投入资金及一流的开发团队，开拓创新，研发产品，以适应市场上各类消费者的要求。现阶段，主要以面向上肢偏瘫老人的康复机械臂为基本目标我们将以高质量的产品和优质的服务来赢得各类客户的青睐，以实现团队的目标，并最终成为本行业的领跑者。

三、应用场景

本产品是一款用于上肢康复的智能康复训练体系，可用于中风、肌肉、 骨骼损伤患者的手臂和手指进行康复训练。根据国际认定的Brunnstrom分期量表，针对不同时期患者，本产品采用不同康复方式，针对软瘫期患者，制定规范的康复路径，采用被动康复，恢复患者肌力；针对痉挛期患者，采集患者康复过程中的肌电信号，通过获取患者意图，实现主动康复；针对恢复期患者，进行多关节精细运动以及ADL训练，采用抗阻加处方训练的方式，实现康复。

应用场景大致可以分为以下两类：

• 适用于患者在医院或康复理疗中心等机构进行康复训练及评估。

• 我们团队通过在这些机构中投放该产品，并为其提供技术支持，患者可以在医院内使用设备进行康复。本套产品中康复训练评估系统既能搭配配套的外骨骼，还可能跟众多康复辅具设备进行结合，使得产品应用更广，可以同时康复多处部位。
• 针对情况比较严重的患者，如处在软瘫期、痉挛期的患者，在医院或康复理疗中心等机构进行康复训练，康复评估的结果可以在医院实时的给康复医师进行查看，以便制定下一步的针对性康复策略。

• 适用于患者在家中进行康复训练及评估。

• 部分脑卒中患者行动不便，前往医院可能费时费力，增加患者经济与心理负担，导致难以前往医院进行康复，以致于错过康复训练的黄金时间。
• 在疫情期间，人们只能居家隔离，一些老年偏瘫患者，特别是农村的患者，难以得到有效的康复治疗。
• 处于恢复期的患者，可以在家中安装设备，在家属的陪同下进行康复训练，提高康复训练便利性。

本项目通过康复检测评估系统将康复治疗变得随时随地，康复医师可远程监控患者的康复情况。对病人进行康复训练的同时，利用外骨骼机器人的传感器对病人的生物力学等相关数据进行采集与分析，可以对病人的病情进行更加精确的分析，加深对于脑卒中患者的病理性分析与相应诊疗方案。

四、产品功能

本产品通过基于MPU9250惯性传感器开发的动作捕捉设备，采集患者动作数据作为数据来源，并基于此开发了两套康复评估系统。

训练中的的康复评估系统能够在患者进行康复训练的时候获取动作数据，通过关节角度数据信息与标准库中的正常人动作数据对比，首先通过DTW算法规整，时间序列，然后通过皮尔逊系数判断两个系列之间的相关性，从而进行简单的训练中康复。

评估训练后康复评估系统，根据脑卒中分期量表，让患者按照规定的范式动作进行运动，通过随机森林算法对患者目前的康复程度进行分期评估。通过采集患者肌电信号，构建深度学习神经网络，实现准确识别患者上肢运动意图，准确率达到90%以上，从而实现主动康复，为患者制定个性化的康复训练计划。并使用unity3D开发了康复小游戏，实现患者与游戏之间的体感交互，增加康复训练的趣味性。使用小熊派开发板，将数据存储至部署django框架的华为云服务器的数据库中建立患者个人信息数据库。此外，我们通过设计鸿蒙app实现人机交互，拥有专业评估系统，专属评估报告等功能。

鸿蒙app部分代码如下：

<div class="container">
    <div class="line">
        <div class="line_1">
            <div class="line1">
                <image src="../../common/images/bobath.png" class="tp"></image>
            </div>
            <text class="title1">bobath握手</text>
            <text class="title2">10分钟</text>
        </div>
        <div class="line_1">
            <div class="line2">
                <image src="../../common/images/shang.png" class="tp"></image>
            </div>
            <text class="title1">上举</text>
            <text class="title2">15分钟</text>
        </div>
    </div>
    <div class="line">
        <div class="line_1">
            <div class="line1">
                <image src="../../common/images/tuila.png" class="tp"></image>
            </div>
            <text class="title1">推拉活动</text>
            <text class="title2">10分钟</text>
        </div>
        <div class="line_1">
            <div class="line2">
                <image src="../../common/images/xuan.png" class="tp"></image>
            </div>
            <text class="title1">旋前旋后</text>
            <text class="title2">20分钟</text>
        </div>
    </div>
    <div class="line">
        <div class="line_1">
            <div class="line1">
                <image src="../../common/images/wanguan.png" class="tp"></image>
            </div>
            <text class="title1">腕关节屈伸</text>
            <text class="title2">15分钟</text>
        </div>
        <div class="line_1">
            <div class="line2">
                <image src="../../common/images/guan.png" class="tp"></image>
            </div>
            <text class="title1">关节尺偏</text>
            <text class="title2">10分钟</text>
        </div>
    </div>
</div>

鸿蒙app页面展示：

五、项目创新点

1、全上肢康复硬件系统

（1）仿生式的上肢康复机械臂

本产品按照人体工程学，同时基于对鹤颈部的研究利用四连杆机构代替鹤颈部的骨架，利用绳传动替代鹤颈部的肌肉，模仿出鹤颈部的运动方式。在驱动源与从动轴之间采用绳传动结构，对患者进行稳定柔顺的康复训练运动，其延展性增大运动过程的缓冲，避免对患者造成康复时的二次损伤。

（2）基于MPU9250自主设计的动作捕捉设备

基于MPU9250采集加速度、角速度进行多数据融合算法，实现IMU姿态融合。对加速度计和陀螺仪的数据，采用四元数法进行数据处理，其能够很好的实现坐标空间转换，避免欧拉角万向节死锁问题，减小了方向余弦的计算量过大问题，并对数据进行空间变化处理，极大提高数据分析的精准度。

（3）基于ROS开发的机械臂控制系统

上位机和下位机闭环控制系统。整体分为三部分内容，Movelt，Driver，单片机。在Movelt中采用action通信机制，分为客户端和服务端，Movelt为我们提供了客户端，我们需要自己写服务端，客户端向服务端发送目标，等服务端接受到请求之后，向客户端返回当前的状态。客户端可以知道进度，并且可以随时暂停进度。在服务端还可以周期反馈任务运行的监控数据。当任务结束后向客户端发送结果。这是上位机之间的数据传输。上位机和下位机之间，采用通信协议，将数据发给单片机。单片机驱动电机运动。再通过通信协议将数据发送到上位机，上位机通过这些数据，计算出目前的状态。实现闭环控制系统。

（4）基于Brunnstrom的量化评估标准

我们采用国际认证的Brunnstrom评定量表，将表中的肢体评定标准量化为关节活动限度，并将患者的运动数据作为随机森林模型的输入，经过多维度的特征值归一化处理之后能够输出为Brunnstrom量表的康复时期，通过对Brunnstrom评定标准表的全定量化，使其能够适用于机器的参数化评估，使得整个评估过程数据化、结果更加的客观，弥补康复医师主观性评估过程存在的不足。

2、多元化康复软件系统

（1）基于DTW算法的数据驱动式康复训练

采用DTW和Pearson系数相融合的创新方法对患者的动作进行评估，利用DTW算法、皮尔逊系数，将患者康复训练过程中的关节实时变化角度曲线与标准数据库正常人关节角度曲线进行比对，患者可通过关节角度的实时曲线图了解自己动作完成情况，治疗师也可通过实时曲线图及时动作指导，以及简单评估患者康复训练恢复程度。图为训练中的患者与正常人关节角度曲线对比图。

（2）基于Unity3D虚拟现实的趣味性康复训练

产品基于Unity3D设计的康复训练游戏，结合虚拟现实技术，随意更改患者训练场所，实现患者与虚拟游戏环境的自然交互，提供多种形式的反馈信息,解决了传统的康复训练过程枯燥的问题，增加患者训练过程中的趣味性。

（3）基于卷积神经网络的意图感知康复

仿生式上肢康复机械臂系统采用肌电信号检测人体运动意图。建立人体运动肌电信号与运动模式之间的映射关系，构建深度学习神经网络训练模型，通过modelars进行模型部署，和在华为云服务器上进行云端算法模型部署，精确率达到93%，能够准确识别患者上肢运动意图，使患者得到充分有效的康复训练。

（4）基于机器学习的康复分级评估系统

将采集到的数据进行微惯性传感器、肌电信号网络采集患者多信息数据，通过云传输方式传递到康复医师的设备上，分析得到的患者康复训练情况以及使用RF机器学习算法评判患者分期结果。

​​想了解更多关于开源的内容，请访问：​​

​​51CTO 开源基础软件社区​​

​​https://ost.51cto.com​​。