作为机器人的末端执行器，灵巧手具有高自由度、控制复杂的特点．随着作业任务的精细化程度越来越高，对灵巧手的要求随之提高，实现灵巧手稳定可靠的抓取是机器人领域的主要挑战[1]．与二指夹持器相比，欠驱动灵巧手具有较好抓取性能和一定的操作性能．与全驱动灵巧手相比，欠驱动灵巧手的驱动单元数目小于自由度，这使其只需简单的控制方法就能抓取形状各异的物体．欠驱动手易于实现强力抓取，但在建模分析、精确捏取和操作等问题上存在着许多研究难点[2]．欠驱动手抓取具有自适应性，在包络抓取等任务中可以实现顺从的耦合运动，其运动方式取决于抓取物体的形状、力学特性和表面特性等[3]．欠驱动手抓取无须规划详细的手指运动，也无须计算控制各个指尖的接触力，每个手指的最终静止姿态取决于肌腱力、关节刚度和接触摩擦力的平衡．在欠驱动抓取中，使用最少的视觉信息和简化的抓取规划可以解决大量简单问题[4-5]，但是抓取参数的不确定性也降低了精确控制能力，所以欠驱动手通常用于抓取物体，而不是执行灵巧的操作．人手能精细复杂地抓取物体，主要因为人类能自然地预测匹配物体的抓取手势．由于这些特点，向人类学习的数据驱动抓取方法是提高欠驱动手自主抓取能力的关键[6]．近年来数据驱动的机器学习方法在机器人抓取方向非常流行，并取得了积极的成果[7-9]．但目前大部分研究都应用于二指夹持器，只有少数将学习方法应用于五指灵巧手的抓取．Shi等[10]制作物体抓取模式的RGB-D数据集，通过深度网络直接建立从物品图像到四种重要抓取模式的映射，实现假肢灵巧手对各种日常物品的“伸手捡拾”任务，不过其中物体的抓取定位是由人来进行判断的．Della等[11]使用物体抓取场景的RGB图像作为输入，通过训练深度神经网络来预测九种人类抓取的动作原语，利用触觉传感器完成机械臂和五指软体手的接近定位和抓取．Liu等[12]针对24自由度的Shadow灵巧手，利用视觉获取完整物体的三维模型，使用GraspIt!生成训练集，其中抓取物体包含多个可能的抓取姿态，并通过神经网络训练得到最优的抓取姿态．该方法依赖于物体模型，抓取泛化能力有待提高．上述工作在灵巧手自主抓取领域提供了重要思路，展现出深度学习方法在欠驱动灵巧手抓取中的适用性和互补性．基于学习的方法不能获得精确的抓取方案，而这种不确定性能通过欠驱动手的自适应性自然地得到补偿．本研究基于这一原则，并受人手抓取模式启发，通过深度学习实现了端到端的抓取模式识别，同时获取物体的抓取位置和抓取角度．与其他灵巧手抓取方法相比，本文方法同时实现了抓取模式预测和抓取位姿估计，避免了复杂的抓取规划并允许灵巧手与桌面发生轻微接触，并且使用UR3e机械臂搭载自主开发的欠驱动灵巧手对已知和未知物体进行了抓取实验．1 自主抓取系统概述本研究探索桌面上单个物体场景的欠驱动灵巧手抓取方法，抓取物体为常见日用物体，自主抓取系统框架如图1所示．首先使用深度相机获取物体的RGB图像，将图像输入基于深度神经网络模型的YOLOv3目标检测算法，预测输出物体的抓取模式和抓取区域；其次利用图像处理方法中的Canny边缘检测算子，输出得到物体抓取区域的抓取角度；然后根据物体的抓取模式控制欠驱动灵巧手的运动，另外将得到的抓取区域和抓取角度从图像坐标系转换到相机坐标系，再转换到机械臂坐标系；最后控制机械臂配合完成欠驱动灵巧手的自适应抓取．10.13245/j.hust.238613.F001图1欠驱动灵巧手自主抓取系统框架2 抓取检测系统设计抓取检测任务包括识别物体的抓取模式、抓取区域和抓取角度三部分．抓取检测系统包含两个阶段：第一阶段使用先进的目标检测网络YOLOv3实现抓取区域识别和抓取模式的分类；第二阶段基于OpenCV的图像处理方法获得抓取区域的抓取角度．2.1　抓取模式分类和训练数据集人手抓取模式丰富多样，主要可以分为强力抓取和精确抓取两大类[13]．强力抓取是指抓取过程中手指与手掌共同形成包络物体的形态，抓取较为稳固；精确抓取则由手指单独完成对物体的捏取，抓取较为灵活．强力抓取通常涉及所有五个手指，并以物体和手指之间的多点接触或连续接触为特征；精确抓取主要涉及拇指、示指和中指，且物体与手指一般是单点接触．随着仿人型假肢手的不断发展，人们希望在末端执行器上使用较少的模式进行物品抓取，由此提炼出几种典型的抓取模式[14]，例如柱形抓取、侧边抓取、三指抓取和球形抓取．本研究考虑平面上物体抓取，将物体分为4类抓取模式，即柱形包络、球形包络、精细捏取和宽型捏取．如图2所示，柱形包络和球形包络属于强力抓取，适合抓取较厚的物体，由于柱形和球形的区别，对应拇指的摆动角度不同．而精细捏取和宽型捏取属于精确抓取，适合抓取较薄的物体，由于物体宽细的区别，对应拇指和其余四指的开合宽度不同．10.13245/j.hust.238613.F002图2典型物体抓取模式分类采用深度学习算法来实现物体抓取模式的识别，须要在合适的数据集上进行训练和验证．在机器人抓取方面，研究者提供了许多物体数据集用于图像分类、物体检测和抓取估计等方向．例如ImageNet数据集应用于图像分类[15]，标记的图像类别是物体种类，由于物体不同摆放方式会导致不同的抓取方式，因此不能直接映射不同的抓取模式．Cornell数据集应用于抓取估计[16]，但它只提供物体合适的抓取区域，没有对图片进行分类．为此本研究建立一个用于物体抓取模式识别的数据集．数据集一共选取了80个常见日用物体，如图3所示．其中有17个物体属于柱形包络，如易拉罐、水瓶等；有22个物体属于球形包络，如网球、苹果等；有14个物体属于精细捏取，如签字笔、胶棒等；有27个物体属于宽型捏取，如眼镜盒、鼠标等．10.13245/j.hust.238613.F003图3抓取数据集物体物体抓取模式的划分同时考虑了物体的形状和大小，具体划分参数有物体的厚度和宽度．当物体厚度小于30 mm且宽度小于30 mm时，物体属于精细捏取；当物体厚度小于30 mm且宽度大于30 mm时，物体属于宽型捏取；当物体厚度大于30 mm且形状偏于柱形时，物体属于柱形包络；当物体厚度大于30 mm且形状偏于球形时，物体属于球形包络．将Kinect v2深度相机固定于抓取平台上方，拍摄并存储单个物体的RGB图片．物体随机以不同位置和不同旋向平放于平台上，每个物体拍摄16张图片，个别物体除了平放还以横放姿态再拍摄16张图片，共拍摄图片1 344张．最后使用LabelImg软件对图片进行抓取模式和抓取区域的标注．柱形包络被标注类别为“power1”，球形包络被标注类别为“power2”，精细捏取被标注类别为“precision1”，宽型捏取被标注类别为“precision2”．抓取区域的标注使用一个水平的矩形框，标注矩形框的中心与物体的重心位置大致重合，而矩形框的边框尽量包围住物体的轮廓．2.2　抓取模式识别与抓取定位本研究采用YOLOv3目标检测算法[17]对数据集进行训练和测试．YOLOv3是一个实现回归功能的深度卷积神经网络，相对于FAST R-CNN目标检测模型[18]中使用候选区域进行特征提取，YOLOv3则选择了对于图片的全局区域进行训练，速度加快的同时，能够更好地区分目标和背景．其主要改进之处是采用多尺度预测，以及更好的基础分类网络和分类器，具有通用性强、背景误检率低的特点．训练前先从1 344张图片的数据集中随机选择241张图片作为测试集，其余图片作为训练集．如图4所示，经过1 000次训练后再使用测试集测试，识别的整体准确率达98.70%，其中柱形包络(power1)准确率为99.50%，球形包络(power2)准确率为99.50%，精细捏取(precision1)准确率为96.60%，宽型捏取(precision2)准确率为99.30%．此外拍摄一些未知物体图片进行测试，同样具有良好的检测效果，对24个未知物体的识别准确率达82.75%．部分物体的检测结果如图5所示．10.13245/j.hust.238613.F004图4训练结果10.13245/j.hust.238613.F005图5抓取模式识别与抓取定位2.3　抓取角度识别获得抓取区域后，使用基于OpenCV的图像处理方法获得抓取角度．如图6所示，首先通过调节Canny算子中的检测阈值实现物体的边缘检测，然后利用腐蚀、膨胀函数将检测物体的轮廓形状填充完整，最后使用最小外接矩形函数包围物体的外轮廓．进一步区分外接矩形的长边和短边，输出长边抓取的矩形旋转角．对于不规则物体，通过采用先膨胀再腐蚀的闭运算形态学操作，可以填补不规则物体形状内的空缺，并且很好地去除不规则形状的纤细边缘，相对平滑地将物体轮廓填充完整，从而实现抓取角度识别．经过识别验证，该方法可适用于不同颜色、形状的日常物体．10.13245/j.hust.238613.F006图6抓取角度识别(a) 边缘检测 (b) 腐蚀和膨胀 (c) 最小外接矩形3 抓取控制与规划机器人的具体抓取策略如下：首先根据抓取区域和角度，机械臂搭载灵巧手运动到抓取点正上方一定距离的准备位置；其次根据抓取模式，灵巧手做出预抓取模式构型；然后根据抓取高度，机械臂竖直向下运动使灵巧手抓取末端点到达桌面；最后灵巧手完成自适应抓取并保持抓握，机械臂向上运动抓起物体．3.1　欠驱动灵巧手控制欠驱动灵巧手共有5个手指，由6个电机通过腱绳驱动，每个手指由1个电机驱动1根腱绳实现弯曲和伸展，其中拇指还另由1个电机专门实现摆动，所有电机集成在手掌中，相应的6个驱动控制器集成在手掌外的手腕中，如图7所示．手指部分由刚性关节和柔性指节组成，负责传动的腱绳一端固定在电机的转子处，另一端固定在手指指尖处，中间绕过所有关节中的定滑轮，并穿过所有指节中的通孔．每个手指都有3个刚性关节，保留了灵巧手的机动性，且刚性关节处设有扭簧，能使手指自动复位；柔性锯齿状指节与物体接触时可弯曲变形，使抓取时最大程度贴合物体．10.13245/j.hust.238613.F007图7欠驱动灵巧手由于腱绳传动的欠驱动结构，灵巧手能够实现自适应抓取．当手指未接触到物体时，各个转动关节和柔性指节在腱绳拉力和扭簧扭矩的共同作用下运动．当手指接触上物体时，受到阻碍的指节和关节被迫先停止转动，但随着电机驱动腱绳的拉力继续增大，其余指节和关节将继续转动，直至也接触上物体，从而完成对物体的自适应包络．本研究结合欠驱动灵巧手的结构特点，基于组网模式下电机驱动控制器的通信协议，控制6个电机完成灵巧手的抓取动作．首先在空载情况下进行初始化，设置电机的初始位置标记，以便抓取完成后恢复初始状态，进行下一次抓取；然后采用位置控制精确控制驱动电机的转动圈数，使灵巧手各手指达到预抓取位置；接着采用速度控制来控制各手指弯曲速度，实现协调的抓取动作；最后采用电流控制实现手指的制动，当实时采集的电机工作电流值超过设定阈值时，电机停转．其中串口通信的电流反馈延迟在50 ms以内，保证了制动的及时性．由于电机驱动电流与力矩正相关，因此相当于利用电流反馈间接实现了抓取动作的力反馈．每种抓取模式在位置、速度、电流控制参数上略有不同，抓取参数的配置是根据相应抓取模式的特点决定的．在预抓取的位置控制中，柱形包络拇指摆动角度小，球形包络拇指摆动角度大；精细捏取拇指与示指中指的开合宽度小，宽型捏取拇指与其余四指的开合宽度大．在自适应抓取的速度控制中，拇指与其余手指开合较大，速度参数也较大，反之则较小．在抓取制动的电流控制中，柱形包络和球形包络属于强力抓取，电流阈值参数较大；精细捏取和宽型捏取属于精确抓取，电流阈值参数较小．在同一抓取模式下，抓取控制能够适应不同大小的物体，抓取参数的自动调整是通过电流反馈来实现的．随着物体大小发生改变，自适应抓取过程中较快接触到物体的手指其接触力也增加较快，当实时反馈的电流达到阈值时，位置参数和速度参数因此失效，自适应抓取也随之完成．3.2　机械臂运动规划抓取检测获得图像坐标系下的抓取框中心点二维坐标(u,v)后，利用深度相机检测到的深度值zc和相机内参矩阵K，在相机驱动软件中转换得到相机坐标系下的抓取点三维坐标(xc,yc,zc)，转换公式为xcyczc=zcK-1uv1 ; K=fx0u00fyv0000.通过机械臂和深度相机的手眼标定，得到从相机坐标系到机械臂基坐标系的转换矩阵R和T，再使用机器人操作系统(ROS)中的变换框架(TF)坐标转换软件得到机械臂基坐标系下的抓取点三维坐标(x,y,z)，转换公式为xyz1=RT01 xcyczc1．另外定义灵巧手的抓取末端点为精确捏取模式下中指与拇指指尖自然抓取的交汇点．最后结合灵巧手的抓取末端点坐标，并考虑误差补偿，转换得到机械臂基坐标系下的机械臂末端位置的x，y，z坐标．机械臂的姿态r，p，q值分别代表了机械臂末端绕x，y，z轴旋转角的弧度值．根据本研究的灵巧手结构特点，机械臂末端朝前略微倾斜，且保持固定倾斜角度．即机械臂在运动过程中，固定了末端绕x，y两个方向的旋转，其r，p值保持初始值不变．当物体处于不同位置、旋向时，检测得到的抓取角度直接对应机械臂末端绕竖直方向z轴的旋转角，抓取角度的弧度值即机械臂的姿态q值．机械臂的运动规划通过ROS软件系统实现，在Moveit中规划路径，在Gazebo中实现仿真运动．通过编程输入末端位置x，y，z坐标和姿态r，p，q值实现机械臂的运动控制．4 抓取实验机器人自主抓取平台如图8所示．使用UR3e六自由度机械臂搭载欠驱动灵巧手，待抓物体放置于工作台上，工作台上方架设一个Kinect V2深度相机，视角朝下．抓取条件包括：由于须要获取物体的深度信息，物体为非透明物体或半透明物体；物体摆放的位置和角度应在机器人工作空间内．10.13245/j.hust.238613.F008图8机器人自主抓取平台对12个已知物体和12个未知物体总共进行了120次自主抓取实验，抓取对象如图9所示．在已知物体中每类抓取模式的物体各有3个，在未知物体中同样如此．将每个物体以不同的放置位置和角度分别进行5次抓取．部分抓取成功的结果如图10所示．从有限的代表性实验中得出，机器人抓取的平均成功率为90.80%，具体抓取实验结果如表1所示．在60次已知物体抓取中成功率为93.30%，在60次未知物体抓取中成功率为88.30%．抓取失败的原因是物体过重，或表面过于光滑，或者重心失去平衡．10.13245/j.hust.238613.F009图9实验抓取对象10.13245/j.hust.238613.F010图10机器人自主抓取实验结果10.13245/j.hust.238613.T001表1抓取实验结果抓取模式抓取次数成功次数成功率/%柱形包络302996.70球形包络302790.00精细捏取302686.70宽型捏取302790.00将本研究提出的方法与其他基于抓取模式识别的灵巧手抓取方法进行比较，如表2所示．Della等[11]使用只有1个电机驱动的19自由度Pisa/IIT SoftHand机械手，完成9种抓取原语的分类，针对未知物体进行了抓取实验．Deng等[14]使用20个电机驱动的24自由度Shadow Hand仿人机器手，实现6种抓取模式的分类，针对已知物体进行了抓取．本研究使用6个电机驱动的刚软耦合型欠驱动灵巧手，结合自身结构特征，提炼出4种抓取模式，并同时完成了物体的抓取姿态估计．在足够广泛的物体抓取实验中，本文方法的综合抓取成功率有所提高．10.13245/j.hust.238613.T002表2灵巧手抓取方法比较方法物体个数抓取次数成功率/%文献[11]2011181.10文献[14]105088.00本文方法2412090.805 结语本研究基于深度学习方法在欠驱动灵巧手抓取中的互补性，通过建立物体抓取模式数据集和目标检测算法实现了抓取模式分类和抓取定位，训练后检测算法的抓取模式识别准确率对已知物体达98.70%，对未知物体达82.70%．而欠驱动手抓取的自适应性一定程度上补偿了学习算法的不确定性，并且简化了抓取规划．在UR3e机械臂上搭载欠驱动灵巧手对已知物体和未知物体进行了抓取实验，针对这些不同形状和大小物体采用不同的抓取模式，实现了90.80%的抓取成功率．实验结果表明基于抓取模式识别的欠驱动灵巧手自主抓取方法具备实用性．本文方法还不能应用于多物品抓取，另外抓取模式未考虑空间抓取的方向．未来的研究方向是将欠驱动灵巧手自主抓取方法应用到桌面多物品的场景，进一步验证抓取方法的实用性．