足迹是指以足作为造痕体与承痕体表面接触形成的痕迹总称，具有人体的生理特征和行为特征．目前足迹在各个领域均具有广泛的研究[1]，如刑侦领域，在指纹、DNA等具有高辨别性、高稳定性痕迹缺乏的犯罪现场，足迹可能是唯一的现场痕迹，此时就须要利用足迹辅助案件的侦破[2-4]；在医学领域，可以通过足迹进行早期的检测来预防一些疾病，如糖尿病等[5]．目前关于足迹检索相关研究还较少，但图像检索方法有很多．传统的哈希检索方法[6-9]存在精度较低的缺点，而基于深度学习的哈希算法[10-18]将卷积神经网络与哈希算法结合起来进行图像检索，具有存储消耗小和检索速度快的特点．这里以赤足足迹为研究对象，利用足迹压力采集仪采集了包含40人在正常行走、快速走和慢速走状态下的赤足足迹压力图像数据，并给出了一种基于深度哈希中心的网络用于足迹的检索.通过设计了深度特征融合模块，将不同层次特征图提取到的形态结构全局特征和压力分布局部细节特征进行融合，获取丰富的赤足足迹压力图像特征，并利用哈希层将特征映射为哈希码，同时构建深度中心匹配哈希损失函数(DCML)对网络参数进行优化．结果表明本文提出的深度哈希算法检索赤足足迹压力图像具有较好的效果．1 足迹压力图像获取及预处理1.1　成趟足迹压力采集器成趟足迹压力采集器采用大幅面柔性压力传感器，传感器密度达到25点/cm2，最大工作频率为100 Hz，步道长度为10 m，采集频率≥50帧/s，采集时间20 s．该采集器能有效地获取人在行走或运动过程中的足迹的压力分布，表1给出了采集器的主要技术参数．10.13245/j.hust.238220.T001表1被采集人员信息分布表性别人数身高/cm体重/kg足长/cm男32163~18355~8524.5~27.5女8153~16744~5522.5~24.51.2　数据采集流程本次数据采集共计采集40人的成趟足迹压力数据，其中男性32人，女性8人，所有被采集人员均健康，没有任何步态障碍．实验采集流程如下：数据采集前，须要对被采集人员进行身份、身高、体重、足长等个人基本信息进行录入，表1给出了被采集人员的信息分布表．为了数据采集流程的规范，实验开始时，被采集人员都有充分的时间调整自己的步态，在每轮采集完成后，被采集人员有充分的时间调整步态，之后要求被采集人员在压力感应器上保持正常体态行走，采集得到成趟赤足足迹压力图像，被采集人员须要以3种不同行走速度(快走、慢走和正常走)在压力感应器上行走，每种行走速度须要采集3组，每人共计采集9次．如图1所示，将采集得到的压力数据通过映射到颜色区间内，以不同的颜色表示压力p的大小，从而得到赤足足迹压力图像．本次共采集到5 230幅赤足足迹压力图像数据，其中2 511幅左足迹图像，2 519幅右足迹图像，每幅图像尺寸为130×130．10.13245/j.hust.238220.F001图1赤足足迹压力图像1.3　数据预处理足迹数据的获取过程不可避免会受到噪声的干扰，因此须对其进行去噪处理．对比目前常用的滤波方法(中值滤波、均值滤波和小波去噪等)，通过去噪效果对比，最终选择使用中值滤波进行足迹图像数据去噪．采用3×3的滤波器对所有压力点进行滤波计算，赤足足迹压力足迹图像与预处理图像如图2所示．10.13245/j.hust.238220.F002图2赤足足迹压力足迹图像与预处理图像2 深度中心匹配哈希网络针对赤足足迹压力图像的特点，结合卷积神经网络在特征提取方面的优势及哈希检索算法低存储消耗和快速响应查询的特点，设计了一种深度中心匹配哈希网络用于赤足足迹压力图像的检索．该网络由深度特征融合模块、哈希编码模块及深度中心匹配损失函数3部分组成，如图3所示．10.13245/j.hust.238220.F003图3深度中心匹配哈希网络结构图2.1　深度特征融合模块为了提取赤足足迹压力图像底层的轮廓、形状等全局结构特征及深层压力分布局部特征，结合特征融合[19]的思想设计了深度特征融合模块．深度特征融合模块结构如图4所示．模块结构一共包含4层卷积层、3层最大池化层、1层平均池化层，每层卷积层使用5×5的滤波器，步长为1，其中Conv1_1和Conv1_2通道数为32，Conv2通道数为64，Conv3通道数为128；每层池化层都使用3×3的滤波器，其中Pool1_1，Pool1_2和Pool2是最大池化，Pool3是平均池化．每层卷积层后都使用线性整流函数Relu(⋅)作为激活函数．10.13245/j.hust.238220.F004图4深度特征融合模块结构图为了提取更加丰富的赤足足迹压力图像的信息，结合特征融合的思想，将Pool1_1的特征图进行最大池化后，将Pool1_2层，Pool2层和Conv3层得到的特征图进行通道级拼接，并通过BN(batch normalization)[20]对特征图进行归一化处理，从而实现不同层特征的通道级融合．随后将拼接得到的特征图进行平均池化得到赤足足迹压力图像特征．2.2　哈希编码模块使用全连接层FC将深度特征融合模块提取得到的特征图映射为特征向量，最后通过哈希层将全连接层1 024维的特征向量转换为n维特征向量(n为哈希码的长度)．在训练阶段，由于反向传播很难计算符号函数的梯度，因此采用双曲正切函数tanh(⋅)将n维特征向量限制在[-1，1]范围内，使训练过程中哈希层的输出更加贴近二值化编码，并通过深度中心匹配损失函数进行反向传播更新网络参数，即Btrain=tanh(f(xtrain))，(1)式中：xtrain为训练集赤足足迹压力图像；Btrain为其对应的哈希码；f(xtrain)为通过哈希编码模块输出的特征向量；tanh(⋅)为激活函数．在测试阶段，为了得到每幅图像的哈希码，通过将哈希编码模块输出的连续码进行二值化来获取每幅图像的哈希码，即Btest=sign(f(xtest))，(2)式中：xtest为赤足足迹压力图像；Btest为其对应的哈希码；f(xtest)为通过哈希编码模型输出的特征向量；sign(⋅)为符号函数，将网络输出二值化．2.3　深度中心匹配损失函数给定训练图像类别数S，为了得到较好的哈希码，使用伯努利分布生成一组哈希中心C={c1,c2,⋅⋅⋅,cS}，对于C中所有元素表示一类数据的哈希中心，每个哈希中心满足ci~B(n,p)．(3)哈希码的长度为n，使用p=0.5的伯努利损失得到均值为n/2的哈希中心．对于N幅赤足足迹压力图像训练样本X={xi}i=1N，每个D维训练样本x∈RD．本研究目标是学习非线性哈希函数f:x→h{-1,1}n，利用深度中心匹配哈希网络实现从RD空间到哈希空间的映射．即目的是使用哈希中心来指导每个训练样本的哈希码的生成，因此利用哈希中心构造了对数中心损失函数，具体为Lc=-logaa+||hi-ck||22   (i∈N,k∈S)，(4)式中：hi为第i个样本通过深度中心匹配哈希网络生成的哈希码；ck为第i个样本所属类别对应的哈希中心；||hi-ck||2为哈希码hi与其对应的哈希中心间的欧氏距离；a为超参数．为了约束同一批次的样本间的相似性关系，构造了相似性损失函数为Lr=yij||hi-hj||22+(1-yij)max(m-||hi-hj||22,0)，(5)式中：yij表示输入样本i和j间的关系，若样本i和样本j类别相同，则yij的值为1，否则值为0；||hi-hj||2表示两个哈希码hi和hj间的欧氏距离；m=||hi-cj||22表示hi和类别不同的哈希码间的欧式距离均值．因此，损失函数定义为Lall=Lc+αLr．(6)DCMH的训练过程如算法1所示．算法 1 DCMH的训练过程输入 数据集X，数据集标签S，训练轮数m，初始轮数ζepoch=0，批次数Nb，假设x∈X，s∈S输出 网络参数θ步骤1 使用伯努利分布生成每个类别的哈希中心C={c1,c2,⋅⋅⋅,cS}；步骤2 ζepochm时循环执行；步骤3 若ζepoch=0，则初始化网络参数θ，ζepoch0时进行下一步；步骤4 若ζepoch0，则从X中获取批次数据Nb，将其送入深度特征融合神经网络，基于前馈传播算法计算哈希层输出结果，根据式(6)计算深度中心匹配损失，使用反向传播算法对网络参数θ进行优化更新，当ζepoch=ζepoch+1，ζepoch≥m时循环结束，返回网络参数θ．2.4　赤足足迹压力图像检索算法流程赤足足迹压力图像检索流程如下所示．步骤1 构建赤足足迹压力图像检索数据库．步骤2 通过深度中心匹配哈希网络获取赤足足迹压力图像检索数据库中每幅图像的特征向量．步骤3 通过式(3)将特征向量进行二值化，得到数据库中每幅图像对应的哈希码，从而得到赤足足迹压力图像检索特征库．步骤4 对查询图像通过步骤2和3两步计算对应的哈希码．步骤5 计算查询图像的哈希码与赤足足迹压力图像特征库中的哈希码的汉明距离，并通过汉明距离排序进行相似图像的索引，具体为r=sorti=1t∑j=1nh[j]⊕hi[j]，(7)式中：r表示查询结果；sort(⋅)表示将结果从小到大排序；t表示数据特征库的哈希码个数；n表示哈希码的长度；h表示查询图像的哈希码；hi表示图像特征库中的第i个哈希码；⊕表示异或．3 实验3.1　数据集划分由于生长环境以及生活习惯的差异，因此每个人的左足迹和右足迹可能具有形状上的差异．将采集得到的40人的完整足迹数据分为3个数据集，分别为包含左右足的完整数据集、左足迹数据集和右足迹数据集．具体数据分布如表2所示．10.13245/j.hust.238220.T002表2赤足足迹压力图像数据集的统计信息数据集类别数训练集样本数测试集样本数完整足迹404 230800左足迹402 111400右足迹402 1194003.2　实验环境和评价指标实验环境选择Ubuntu18.04系统，在NVIDIA RTX 2070 SUPER显卡上进行实验．网络模型在Tensorflow 1.14框架中搭建，使用ADAM优化器进行优化，学习率为0.001，损失函数如式(6)所示，其中α设置为0.01，a设置为2；每次迭代的批处理数据为40，迭代次数200．评价指标如下：PRank 1为搜索结果为第1位的图是正确结果的概率，PRank 1=1M∑r=1Mδ1，(8)式中：M为查询集的大小；δ(1)表示返回的第1个结果是否与查询图像标签相同，若相同则为1，否则为0．βP@k为前k个检索结果的精度，βP@k=εTP/k，(9)式中：k为返回的图像数目；εTP为k个结果中与标签相同的图像数量．μmAP为图像的平均相似度的平均值，μmAP=1M∑r=1MμAP(r)，(10)式中μAP=1K∑i=1K(βP@iδ(i))为每幅图像的平均相似度，其中：K为数据库的大小；δ(i)表示第i个结果是否与查询图像标签相同，若相同为1，否则为0．3.3　实验结果和分析3.3.1　哈希码长度对检索性能的影响为了验证不同长度的哈希码对本文方法检索精度的影响，选择了常用的16，32，48和64 bit这4种不同长度哈希码进行实验，实验结果以mAP值作为评价指标．如表3所示，在3种数据集上，16，32，48和64 bit哈希码均表现出较好的检索精度，但是随着位数的增加，哈希码中会增加更多的冗余信息，从而对检索精度有一定的影响，所以综合准确率和哈希位数选择使用32 bit哈希码作为标准进行后续对比实验．10.13245/j.hust.238220.T003表3不同哈希码对比实验结果数据集哈希码/bit16324864完整足迹0.9910.9960.9950.992左足迹0.9930.9930.9930.991右足迹0.9850.9900.9900.9893.3.2　与传统哈希检索算法的对比实验为了体现本文算法相对于传统哈希算法在精度上的优势，在赤足足迹压力数据集上，与常用的传统哈希算法SH[7]，SDH[8]和ITQ[9]进行对比实验．如表4所示，在3个足迹数据集上，本文算法相对于传统哈希检索算法取得最好的检索效果．对于赤足足迹压力图像而言，类间差距小，使用传统哈希算法提取的图像特征较浅，不能很好地区分不同人的赤足足迹间的差异性，从而无法得到较好的检索结果，本研究的深度中心匹配哈希网络使用深度特征融合模块提取足迹特征，可以提取足迹图像较为丰富的信息，并通过设计的损失函数进行网络参数的优化，从而获得更好的检索结果．10.13245/j.hust.238220.T004表4与传统算法的对比实验结果数据集方法PRank 1μmAP完整足迹SH0.6880.167ITQ0.6660.175SDH0.6420.605本文0.9950.996左足迹SH0.6770.257ITQ0.7150.357SDH0.8220.724本文0.9920.993右足迹SH0.7300.284ITQ0.7600.396SDH0.8150.755本文0.9900.9903.3.3　与深度哈希检索算法的对比为了验证本文算法的有效性，分别与两种常用的深度哈希算法HashNet[13]和DCH[15]在3个足迹数据集上进行对比实验．其中HashNet和DCH使用AlexNet进行特征提取，优化器使用小批量随机梯度下降(SGD)．如表5所示，在3个足迹数据集上，本文算法相对于HashNet和DCH两种深度哈希算法取得更好的检索结果．主要是因为本研究针对类间距离小的赤足足迹压力图像数据设计了深度特征融合模块，可以提取更加丰富的图像特征；同时，针对足迹图像设计了深度哈希匹配损失函数进行网络优化，哈希匹配损失函数优化不同人的图像生成的哈希码间的汉明距离相对较远，相同人的图像生成的哈希码间的汉明距离相对较近．10.13245/j.hust.238220.T005表5与不同深度哈希方法对比实验结果数据集方法PRank 1μmAP完整足迹HashNet0.9300.838DCH0.9700.924本文0.9950.996左足迹HashNet0.9400.853DCH0.9720.912本文0.9920.993右足迹HashNet0.8650.817DCH0.9520.909本文0.9900.9903.3.4　深度中心匹配损失对检索性能的影响为了验证深度中心匹配损失的有效性，分别与HashNet损失[13]、柯西交叉熵损失[15]在3个足迹数据集上进行对比实验．依次使用HashNet损失、柯西交叉熵损失和本文的深度中心匹配损失函数对深度中心匹配哈希网络参数进行优化．如表6所示，在3个足迹数据集上，本文损失函数相对于HashNet损失和柯西交叉熵损失在PRank 1和μmAP上有更好的结果．针对类间差异小，类内差异大的赤足足迹压力图像数据而言，由于柯西交叉熵损失函数对哈希码的相似性关系有了更大的约束，因此相对于HashNet而言，具有较好的检索结果．设计的深度中心匹配哈希损失通过预先生成哈希中心，并将每个赤足足迹压力图像的输出拟合到对应的哈希中心，使得相同人生成的哈希码之间的汉明距离更近，从而得到最佳的检索效果．10.13245/j.hust.238220.T006表6与不同损失函数的对比实验结果数据集方法PRank 1μmAP完整足迹HashNet损失0.9220.830柯西交叉熵损失0.9660.895深度中心匹配哈希损失0.9950.996左足迹HashNet损失0.9600.826柯西交叉熵损失0.9720.926深度中心匹配哈希损失0.9920.993右足迹HashNet损失0.9470.864柯西交叉熵损失0.9770.946深度中心匹配哈希损失0.9900.9903.3.5　深度特征融合模块对检索性能的影响为了验证本文深度中心匹配哈希网络中深度特征融合模块在足迹检索任务上的有效性，分别与AlexNet和VGG16两种经典卷积神经网络进行了对比试验，使用本文深度中心匹配损失函数(DCML)分别对AlexNet，VGG16以及本文深度中心匹配哈希网络进行网络参数的优化．如表7所示，通过实验结果可以看出：在传统检索任务中相对于AlexNet具有更深层次的VGG16网络并没有提取较好的赤足足迹压力图像信息．通过观察赤足足迹压力图像可以看出，图像本身信息较为简单，使用过深的卷积神经网络会增加更多的冗余信息，从而提取不到关键信息，所以设计深度特征融合模块进行足迹特征的提取，通过融合不同层的特征来获取更加丰富的足迹信息，更适用于赤足足迹压力图像的检索．10.13245/j.hust.238220.T007表7不同网络的检索精度和网络参数的对比实验结果方法PRank 1μmAP参数个数AlexNet0.9830.9845.84×107VGG160.9710.9731.34×108本文0.9950.9968.57×1063.3.6　Top10检索图像如图5所示，分别从完整足迹、左足迹和右足迹数据集的测试集中抽取一个赤足足迹压力图像，通过可视化本文方法和DCH得到前10个返回查询图像的结果．结果表明：本文方法在赤足足迹压力10.13245/j.hust.238220.F005图5Top10检索结果对比图图像数据集上可以获得更好的检索效果．4 结论以赤足足迹作为研究对象构建了包含40人的赤足足迹压力图像数据集．结合哈希算法低存储消耗的优点提出一种基于深度中心匹配哈希(DCMH)算法，用于赤足足迹压力图像检索，结果表明：提出的深度哈希算法在对赤足足迹压力图像检索具有较好的效果．并且本文算法具有检索精度高，占用内存小的优势，在基于足迹的身份识别上具有可应用性和推广性．由于采集的足迹种类和数量较少，后续我们将在此算法基础上扩充足迹数据集，进一步体现深度哈希算法的检索速度．