脑卒中是一种严重威胁人类健康和生命的疾病，具有高发病率、高死亡率、高致残率的特点[1]．据统计，脑卒中后有30%~60%的患者遗留上肢运动功能障碍，尤其表现为手部运动功能障碍[2]．人手具有感知和运动功能，手部动作精细，是人体中一个非常复杂的器官[3]，在生活和工作中具有不可替代的作用，手部运动功能的恢复已经成为脑卒中康复的重点和难点[4]．采用康复设备辅助或替代康复师进行康复训练已被证明是一种安全、有效的康复方法[5]．目前的康复设备主要分为可穿戴式康复机器人[6-7]和可穿戴式传感器[8-10]，这些硬件设备通常由机械部件、执行器、电源和传感器组成，体积庞大、笨重，成本高，且使用时还会限制手部的运动[10]，降低了患者的接受程度．利用计算机视觉技术对手部运动进行观察和评估是一种有效的、非接触式的手部康复训练方法．典型的如商业视觉设备Kinect[11]，Leap Motion[12]等被用来监测和识别康复过程中患者的手势．文献[13]通过光学摄像头来跟踪手的运动和识别手势，采用热敏摄像头测量皮肤温度，实现在虚拟游戏中进行康复训练，提高康复热情．此外，一种基于可穿戴式相机[14-15]检测手部运动信息的方法也被用于居家康复，该方法可帮助医师评估患者居家期间的手部功能恢复情况，是一种低成本的居家康复评估解决方案．而居家康复是一种有效的、低成本的康复手段，可以帮助肢体残疾患者显著提高日常生活自理能力[16]．本研究提出了一种低成本的可用于居家康复的基于单目相机的手部抓握能力训练系统．该系统通过将患者手部抓握状态与计算机中的虚拟模型进行交互，引导患者参与简单的抓握游戏互动，增加康复的趣味性．1 系统介绍设计的手部抓握能力训练系统如图1所示，该系统由单目相机、手部图像获取、图像预处理、手部状态识别、虚拟模型和注册显示6个模块组成．10.13245/j.hust.220410.F001图1训练系统框架图手部图像获取模块实时采集单目相机图像数据，并传输给图像预处理模块进行手部轮廓的识别和特征点检测；手部状态识别模块是系统的关键模块，其依据所识别到的抓握特征参数对抓握状态进行评估；虚拟模型模块则依据手部抓握状态的变化创建大小不同的三维球体，并最终经由注册显示模块在屏幕上进行互动显示．当进行手部抓握训练时，患者将手部置于单目相机的正下方，通过手部抓握状态的变化控制屏幕上三维球体显示大小，从而进行人机互动，增加康复的趣味性．2 手部抓握过程特征分析手部在抓握过程中会存在状态的变化，这一变化可以通过定义状态特征参数来进行描述．同时为了归一化描述这一变化过程，本研究以初始状态参数为基准，定义状态变化因子k=Ap/Ap0，(1)式中：Ap0为初始状态时检测的特征参数值；Ap为实时检测的动态特征参数值．当进行手部抓握训练时，人手不同的放置姿态会影响状态特征参数的选择，本研究对手部平放、手部竖放及倾斜放置状态下手部特征进行分析．2.1　手部平放特征分析手部平放在桌面时的抓握动作序列如图2所示．此状态下，手部轮廓面积与手部抓握程度呈现明显相关性．10.13245/j.hust.220410.F002图2平放时的抓握过程对比如图2所示手部平放时的三种抓握状态可见：在抓握过程中，手部轮廓面积呈现明显变化，实验测得该抓握过程中，从初态到终态以手部轮廓像素面积变化为描述的状态变化因子变动区间为0.61≤k≤1．显而易见，手部轮廓面积可以反映手部状态变化过程，但在实际进行手部轮廓提取时，手部轮廓初始大小会受手臂大小影响，因此作如下处理：当相机视场内只有手掌及四指时，手部轮廓面积指整个手部区域；当图像内出现手臂区域，手部轮廓面积指手腕点以上的手部面积．2.2　手部竖放特征分析2.2.1　特征分析在竖放状态下，手部轮廓始终处于相机视场中(如图3所示)，因而在抓握过程中，其轮廓面积变化不明显，图3所示从初态到终态以轮廓面积(像素)描述的抓握状态变化序列为(53760，53485，57879，52377，49243，45903)，可见其变化缺乏单调特性．在而手部竖放状态下，人手手指间的包围面积特征变化明显，但在从中间态3转至终态过程中，手指间的包围面积特征变化趋缓，因此对手部竖放状态进行分段处理：手指未闭合阶段(阶段1，图3(a)~(c))；手指闭合握紧阶段(阶段2，图3 (d)~(f))．10.13245/j.hust.220410.F003图3竖放状态下的完整抓握过程2.2.2　阶段1特征参数设计如图3(a)~(c)所示，对于阶段1所描述的抓握序列，手指间的包围面积特征变化明显．虽然计算手指间的包围面积更为精确，但其计算复杂度较高．本研究目的是识别和描述抓握状态变化程度，为相对量，为提高计算实时性，采用如图4所示的拇指指尖点、四指指尖点及虎口特征点三点所构成的三角形面积对抓握状态进行描述．由于该面积独立于手部真实面积之外为一个派生量，因此将其定义为面积虚特征参数．对于△BCD的三个角点的确定，采用凸包检测的方法来实现特征点的识别，其中指尖点B及C为凸包检测中凸缺陷区域深度最大的两个凸包点，而虎口点D则是该凸缺陷区域的最深点，h为△BCD高．10.13245/j.hust.220410.F004图4未闭合阶段的三角形区域检测图5为面积虚特征参数在阶段1状态下的变化过程，其对应的以面积虚特征参数(像素)描述的变化序列为(22471，17992，9234)，可见该虚特征参数随手指合拢，其大小呈现单调下降特征，对应的状态变化因子的变动区间为0.17≤k≤1，可见采用面积虚特征参数可以有效反映抓握状态变化过程．10.13245/j.hust.220410.F005图5面积虚特征参数检测2.2.3　阶段2特征参数设计当抓握过程处于图3(d)~(f)所示阶段2时，手指抓握轮廓闭合，图4所示三角形区域检测失效．对于图6所示手指闭合抓握序列，建立手部轮廓最小外接矩形M1M2M3M4，并取掌指关节与M1M2M3M4的交点P与角点M2的距离M2P作为评价特征，实验测得M2P不同抓握状态时像素长度如表1所示(0.64≤k≤1)，可见M2P的长度随抓握状态执行呈现单调下降趋势，因此将其作为阶段2抓握状态评估参数．该长度为手部轮廓派生参数，因而命名为长度虚特征参数．10.13245/j.hust.220410.F006图6闭合阶段长度虚特征参数检测由于采用了不同的特征参数对手部竖放时的抓握状态进行描述，为了使两种特征参数对手部抓握状态变化的描述尺度协调一致，因此对阶段2的状态变化因子重新定义为k'=kmin-k，(2)式中：kmin为阶段1时k的最小值；k为进入阶段2时由式(1)计算得到的初值．根据式(2)计算得到的阶段2时的状态变化因子的变动区间为0.045≤k≤0.17．合并阶段1和2状态变化因子，则对于图4所示完整抓握序列，调整后的状态变化因子的变动区间为0.045≤k≤1．2.2.4　切换阈值定义在手部竖放状态下，由于采用两种虚特征参数对不同抓握阶段的抓握状态进行识别，因此在实际应用时，须要对两个阶段的切换时机进行检测．分析图5(c)和图6(a)中绘制的三角形可见，当抓握状态由图5(c)过渡到图6(a)时，图中特征三角形高h产生突变，由此将前后两次检测到的三角形高度的比值定义为切换阈值S=h1/h2，(3)式中h1和h2分别为前后两帧手部图像特征三角形的高．当进行手部竖放抓握状态评估时，检测到该阈值发生突变则判定存在由图5(c)到图6(a)的过渡．为获取该阈值大小，本研究随机寻找6名受试者进行竖直状态下的抓握过程采样，并计算阶段1中的S的最大值，由阶段1终态过渡到阶段2初态时的S的临界值，实验结果如表1所示，表中：Sm为S的最大值；Sj为S的临界值．10.13245/j.hust.220410.T001表1竖放状态下抓握中的S值编号阶段1中的SmSj11.153.6421.323.0631.064.8741.243.9650.964.2161.465.21如表1所示，当满足S≥2时，即可判定手部抓握状态发生了变换，即抓握过程从阶段1过渡到阶段2，此时应变换手部抓握状态评价参数．2.3　手部倾斜状态特征分析在手部倾斜状态下，手部轮廓面积和虚特征参数均可在单目相机视场中被检测到．根据分析可知：虚特征参数变化灵敏度高于手部轮廓面积，但实际测试表明面积虚特征参数的识别准确率会受手部倾角影响，即易发生如图7所示的检测跳变．为确定虚特征参数检测失效率与手部倾角之间的关系，采用实验方法进行测定，考虑到抓握过程中手部晃动因素，将手部倾角划分为25°~30°，30°~35°，35°~40°，40°~45°，45°~50°五个测试区间，对所定义的两类特征参数在抓握过程中的变化特性进行测试，并通过在手背部粘贴黑色条形标记的方法检测手部倾角大小．10.13245/j.hust.220410.F007图7面积虚特征参数检测失效状况如图8所示为手部倾角检测原理，初态时手部水平放置(见图8(a))，相机采集此时标记的像素长度l1，中间态为手部倾斜状态(见图8 (b))，其标记对应的像素长度为l2，依据图8 (c)所示的几何关系可得手部倾角计算式θ=arccos(l2/l1)．(4)10.13245/j.hust.220410.F008图8手背部附着标记依据国家标准[17]，本研究选取10名受试者进行抓握实验，其手部尺寸为全国成年人平均手部尺寸的前五位，每名受试人员在五个测试区间内分别进行20次抓握实验，并记录面积虚特征参数无效检测的次数，实验测得面积虚特征参数检测失效率随手部倾角减小呈现快速增加趋势，在设定的五个角度区间内，45°~50°区间内检测失效率为3.5%，其他角度区间检测失效概率分别为16.5%，42.0%，70.0%，93.5%．可见：当手部倾角小于50°时，选用手部轮廓面积做为识别评估参数，反之则选用虚特征参数作为识别评估参数以提高识别可靠性．同时当患者在手部倾斜状态下进行康复训练时，也可在训练系统中根据实际应用情况选择评估参数．3 手部有效轮廓面积提取算法手部轮廓面积中手腕至手臂部分在抓握过程中大小不变，若这部分面积在手部总面积中占比过大(见图9(a))，则对k的变化范围影响较大，即会影响抓握状态变化识别的灵敏度，图9 (b)所示状态则是抓握训练中比较合理的情况．为了提高所设计的手部抓握能力训练系统的抓握状态变化识别灵敏度，须要对手臂部分无效面积进行移除．10.13245/j.hust.220410.F009图9手臂区域在手部图像中的占比本研究通过检测手部特征点来实现上述要求．所选择的特征点如图10(a)所示，分别为A，E，F，F1 和F2五个点，图中：M1M2M3M4为手部最小外接矩形；A点为M1M2与指尖的交点；E点为手掌轮廓中心点，其满足条件argmaxlEq，(5)式中lEq为E点与q点之间的距离，q点为图像中距离E点最近的非手部轮廓区域点．F为手腕点，点F的确定方法如下．根据文献[17]，手长X1与中指长Y(见图10(b))的比例关系满足Y=Δ+0.44X1，其中Δ为常数，男性取值为-5.04 mm，女性取值为3.52 mm．手掌的长度T=0.56X1-Δ． 由于E点为手掌中心，因此F点满足lEFlAE=0.28X1-Δ/20.72X1+Δ/2≈0.39，(6)式中：lAE为半掌长与中指长之和；lEF为半掌长．F还应满足位于M1M2M3M4内部的条件，即(lM4M1×lM4F)⋅(lM2F×lM2M3)≥0;(lM3M4×lM3F)⋅(lM1M2×lM1F)≥0, (7)式中：lM4M1为点M4到点M1的向量；lM4F为点M4到点F的向量；lM2F为点M2到点F的向量；lM2M3为点M2到点M3的向量；lM3M4为点M3到点M4的向量；lM3F为点M3到点F的向量；lM1M2为点M1到点M2的向量；lM1F为点M1到点F的向量．若F点满足式(7)，则过F点作直线AF的垂线(见图10 (a))，该垂直线与手部轮廓的交点即为F1 点和F2点．直线F1F2截取的上半部分手部轮廓即可用于计算手部有效面积10.13245/j.hust.220410.F010图10手部的特征点检测若F点不满足式(7)，则表明图像中手部轮廓异常，如图11(a)和图12所示，为此定义判定参数η=lM2M3-2lM1M2，式中：lM2M3为点M2到点M3的距离；lM1M2为点M1到点M2的距离．10.13245/j.hust.220410.F011图11手臂区域干扰较大10.13245/j.hust.220410.F012图12无手臂干扰区若η≥0，则表明所获取图像中手臂区域占比较大(见图11 (a))，根据式(5)计算得到的E点将位于手臂上．为了减小臂长，定义lM1G1=3lM4G1；(8)lM2G2=3lM3G2，(9)式中：G1和G2为按照式(8)、(9)所确定的图像比例分割点，由G1G2连线对图11(a)进行一次分割截取后的图像如图11(b)所示；lM1G1为点M1到点G1的距离；lM4G1点M4到点G1的距离；lM2G2为点M2到点G2的距离；lM3G2为点M3到点G2的距离．该分割截取过程循环执行，当新的F点满足式(7)要求，则停止，图11(d)即为分割后的最终手部轮廓．若η0，则手臂区域在手部图像中近乎没有，如图12所示，可直接进行手部轮廓面积计算．4 实验实验在以下平台上进行：配置为Intel(R) Core (TM) i7-7500U CPU(2.7 GHz， 8 GiB DDR4， 1 TiB)/Windows10 x64的笔记本电脑，分辨率为640×480像素的彩色摄像机，每秒捕捉20~30帧，其中单目相机的内参依据张正友标定法得到，其参数为{(545，0，211)，(0，533，191)，(0，0，1)}．实验中在三种手部姿态下进行抓握：手部平放、竖放和向内倾斜50°．通常，图像速度达24帧/s以上，则人眼观看时不会形成卡顿，即为了满足实时性要求，图像处理速度必须在41.7 ms以上．本研究将手部特征的识别和虚拟模型的注册显示在两个并行异步线程中进行．结果表明：所设计的手部抓握能力训练系统可以达到每帧38 ms(约26帧/s)的平均速率，这意味着人机交互过程可以流畅实现．实验中为提高人机交互效果，设计了大小由k控制的三维互动球来反映手部抓握状态变化．手部平放姿态、手部竖放姿态、手部倾斜放置时抓握过程的人机互动效果分别如图13~15所示，三种放置姿态下手部抓握状态变化因子如表2所示．图14~15所示的抓握过程均由系统根据手部倾角大小自动选择虚特征参数进行描述，互动实验表明抓握过程中不同虚特征参数可平滑过渡，人机互动的实时性满足人眼对图像的显示频率要求．10.13245/j.hust.220410.F013图13平放时的抓握过程10.13245/j.hust.220410.T002表2三种放置姿态下图13各分图的状态变化因子状态(a)(b)(c)(d)(e)(f)k110.910.850.740.660.52k210.710.570.480.310.24k310.880.570.480.390.23对比表2中状态变化因子的变化特征可见：以手部轮廓面积为特征参数计算的k的变化范围小于以虚特征参数计算的k的变化范围．主要原因在于当以手部轮廓面积作为抓握状态特征参数时，还存在变化较小的手掌背部面积，该面积的大小也会影响实际手部面积变化率，因此在实际应用中应尽量减小手掌背部的无效面积，提高以手部轮廓面积描述手部抓握状态的灵敏度．10.13245/j.hust.220410.F014图14竖放时的抓握过程10.13245/j.hust.220410.F015图15倾斜50°时的抓握过程5 结语本研究提出了一种可用于居家康复的基于单目相机的手部抓握能力训练系统，建立了基于手部轮廓面积、虚特征参数识别和评估手部抓握状态的方法．为减少手部无效面积对状态评估的影响，提出了一种基于手部结构比例特征的手部有效轮廓面积提取算法．人机互动实验结果表明所提出的手握状态识别方法可以有效地识别手部抓握状态；所定义的特征参数可以在普通计算机上实现24帧/s的处理速度要求；训练系统可依据手部状态实时自动选择特征参数完成手部抓握状态评估，并实现友好交互．在虚特征参数可用的情况下，虚特征参数描述的手部抓握状态变化更为精细，互动效果更佳．