随着计算机视觉、图像处理、测绘遥感学科的快速发展,遥感学科与计算机学科之间的联系越来越密切,计算机视觉目标识别的发展使遥感影像的自动分类成为现实。随着科学技术的发展和社会建设需求越来越多,计算机的目标识别从二维识别发展为三维识别。目前,二维影像的获取最方便,计算机视觉领域较普遍的目标识别方式为二维影像。二维影像获取具有获取设备普及度高、易操作等优势,具有大量的公开数据集可供直接下载使用,但二维影像数据的采集容易受天气、光照等自然因素以及拍摄角度、拍摄高度等非自然因素的影响[1]。受采集设备的影响,采集数据可能与实际色彩、形状有偏差,城市中地物复杂,采集的图像也会受到遮挡导致信息缺失。三维点云数据可以弥补二维数据的不足,具有丰富的空间信息,对三维场景的目标识别具有重要意义。传统的点云分类通过人工提取特征,利用人眼进行直观操作,但人工提取不能利用三维点云的全部信息,面对数据量较大的工作时,传统的人工分类方法耗费人力物力,研究人员将深度学习应用至点云分类中。Charles等[2]提出PoinNet模型,利用深度学习直接对原始三维点云数据进行处理,将未处理的无规则点云数据输入网络,输出的分类结果具有较高的准确率。但PoinNet模型没有考虑点云的局部结构,面对数据量巨大的大场景时,其鲁棒性较差。PointNet作为一个广泛应用的网络模型,研究人员在此基础上进行改进优化。Wang等[3]提出EdgeConv层,解决PointNet模型中未考虑点云局部结构的缺点,取得较好的效果,但未考虑相邻点之间的向量方向。文章采用EdgeConv层作为模型的卷积层,通过对每一层之前的特征结果进行连接,增加每个卷积层之间的相互连接,提高点云分类效果。1相关理论及模型设计1.1图卷积网络卷积神经网络是深度学习的代表算法之一,在计算机视觉领域得到快速发展。三维点云数据比二维数据复杂,点之间的关系不能同像素一样具有固定的邻接关系,需要先表示点的邻接关系才能够进行特征提取。研究人员尝试将图数据作为卷积操作的对象[4-5],获得了理想的结果。对图数据进行卷积操作的深度学习网络统称为图卷积网络(Graph Convolutional Network,GCN)。图数据结构如图1所示。10.19301/j.cnki.zncs.2022.01.012.F001图1图数据结构图数据是通过图结构表示的点云数据,图结构由点和边构成,边为某一个点与其他点之间的连线。图结构中每个节点连接的节点数量不一致,且节点方向不固定。kd树和八叉树等树形结构与图结构类似,两种结构之间的差别为图结构无层级结构,每两个点之间均能够相互连接,树形结构由一个节点作为起点,向下层延伸,每个节点最多只能够与一个上层点相连,与下层点相连的数量不固定。建立图结构时,通过构建点之间的连接关系将点云数据以邻接矩阵形式存储。点云数据作为原始数据,包含点的各类特征信息,邻接矩阵是存储图结构中边信息的二维数组。将图定义为G=(ν,ϵ),ν为节点的集合,ϵ为边的集合。对每个节点i均有其对应的特征xi,ν的表示形式为一个N×D矩阵,其中N为节点数,D为每个节点的特征数,即特征向量的维度。ϵ为邻接矩阵,由0和1构成N×N矩阵,第i行与第j列交接的位置通过数字0和1表示两点之间是否有边,1表示有边,0表示没有边。每个点的近邻点数量一致时,邻接矩阵能够简化为一个大小为N×k的矩阵。其中,k表示近邻点的数量,矩阵每一行的信息表示与点云数据中对应行的点的近邻点的点索引。将图卷积形象地理解为节点之间的相互影响,即某一节点会受到周围节点的影响,邻居节点与该节点之间的距离越近,权重越大,影响越大。1.2EdgeConv卷积层将一个包含n个点的F维点云定义为RF空间,RF空间包含所有的节点特征(x1,…,xn)。在最简单的情况下,建立一个图G=(ν,ϵ)。EdgeConv卷积层如图2所示。10.19301/j.cnki.zncs.2022.01.012.F002图2EdgeConv卷积层由图2可知,以k=5为例,k的取值为提取节点xi的局部特征参考的近邻点个数,k的取值大小可以影响局部特征的提取及最终的点云分类结果。xi为点云中某个节点,xj1,…, xj5为该点周围的5个近邻点,eij1,…, eij5分别为节点xi周围关于5个近邻点的边缘特征。定义边缘特征。eij=hΘ(xi,xj)(1)RF×RF→RF'是使用可学习参数Θ构成的非线性函数,F为原始点云的维度,F'表示经过卷积层特征提取后的维度。PointNet只关注点云的全局特征,未考虑节点周围的局部特征结构,定义提取边缘特征的边缘函数。hΘxi,xj=hΘxi,xj-xi (2)在考虑点云全局特征的同时关注节点与近邻点之间的联系,提高点云分类的准确率。常用聚合函数为max函数或mean函数,将max函数作为聚合函数,经过特征聚合之后输出xi节点。xi'=maxj:i,j∈ϵ hΘxi,xj (3)1.3点云分类模型设计在PointNet点云分类网络的基础上,利用空间变换模块对点云进行预处理,降低点云数据空间多样性的影响,提升分类模型的分类准确率,模型具有平移、伸缩、旋转、扰动、弯曲等空间不变性,具有较好的鲁棒性。使用EdgeConv层提取点云的特征,每一层均对前面所有层的特征结果进行特征提取操作,使每一层处理的图数据的特征更有综合性,使分类准确率更高。点云分类模型流程如图3所示。10.19301/j.cnki.zncs.2022.01.012.F003图3点云分类模型流程输入层输入一个包含N个点的F维原始点云数据,点云数据具有很多不同的文件格式,对点云数据进行读取,获取所包含点的三维坐标、颜色、图层、表面法线等多种信息。简单的点云数据只包含每个点的x、y、z三维坐标信息,使用包含多种信息的点云数据可以提高点云分类的准确率。Spatial transform是一个空间变换模块,对输入的点云数据进行空间变换预处理,点云数据的平移、伸缩、旋转、扰动、弯曲等操作存在差异性,模块可以降低对分类准确率造成的影响。处理过的数据通过三个EdgeConv层操作,EdgeConv卷积层(64)表示该卷积层包含64个神经元,第二个EdgeConv卷积层(64)第二层对第一层的特征结果进行卷积操作,第三层先对第一层和第二层的特征结果进行连接和卷积操作;EdgeConv卷积层(128)为一个包含128个神经元的卷积层,对第一层、第二层以及第三层的特征结果进行连接和卷积操作;多层感知机(1 024)为一个包含1 024个神经元的池化层。池化层具有特征不变性,利用图卷积网络对点云进行分类时,需要对图数据进行降维分类,可以保证对图数据进行降维操作时保留主要特征,减少参数和计算,防止模型过拟合,提高模型的泛化能力;多层感知机(512,256,c)为三个分别包含不同数量神经元的全连接层,c表示最终输出结果的分类数。2试验及结果采用ModelNet40数据集进行训练和测试。ModelNet40数据集是Princeton ModelNet项目团队从互联网上下载的用于计算机视觉、计算机图形学、机器人技术和认知科学领域研究的三维CAD模型的集合。通过人工确定每个CAD模型是否属于指定类别,ModelNet40共包含12 311个CAD模型,分为40个类别。试验运行环境为Windows 10,语言环境为Python 3.5。模型的各项参数设置中,Batch_size为8,Learning_rate为0.001,Momentum为0.9,Optimizer为ADAM。试验通过对比平均准确率和总体准确率反映模型精度。平均准确率将不同种类的分类准确率均值作为一个评价的指标,能够反映模型的整体平衡性,平均准确率越高表明模型对不同类别的物体的分类准确率越均衡;总体准确率表示模型整体的分类精度,表现模型对点云分类的整体精度。根据图数据进行特征提取时,每个点的近邻点数量k是在构建图结构之前设置的一个固定值,近邻点的数量对局部特征和全局特征的提取具有直接或间接的影响。为了获得最好的分类效果以及观察k值对模型的分类结果的影响,选取k值分别为10、15、20、25、30,在不同k取值的条件下进行模型的训练并将训练结果进行对比。不同k值的分类准确率如表1所示。10.19301/j.cnki.zncs.2022.01.012.T001表1不同k值的分类准确率k值平均准确率整体准确率1079.283.71587.891.12088.691.22588.490.43087.089.1%由表1可知,随k值增大,点云分类的准确率呈现先升后降的趋势,k取20时,点云分类的效果最好,准确率最高,点云分类模型的整体准确率为91.2%。将本模型与PointNet模型、PointNet++模型的分类准确率进行对比。不同模型的分类准确率如表2所示。10.19301/j.cnki.zncs.2022.01.012.T002表2不同模型的分类准确率模型平均准确率整体准确率3DShapeNets77.384.7PointNet86.089.2PointNet++—90.7Ours88.691.2%由表2可知,研究模型在ModelNet40数据集上的分类准确率更高,总体准确率比PointNet高2.0%,比PointNet++高0.5%。3结语研究基于PointNet模型进行改进,将PoineNet模型与EdgeConv卷积层结合,将每一层输出的特征与该层之前输出的特征图合并,合并后的特征图作为之后特征提取层的输入数据,对不同层提取到的特征进行特征复用,能够增加点之间的特征差异,加快局部特征学习的速度,增加全局特征与局部特征的联系,提高点云分类模型的分类准确率。采用ModelNet40数据集进行模型的训练及测试,通过设置不同k值讨论近邻点数量的差异对分类准确率造成的影响。k值为20时,点云分类准确率最高,与PointNet与PoineNet++对比,平均分类准确率与总体准确率均提升。
使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,
确定继续浏览么?
复制成功,请在其他浏览器进行阅读
复制地址链接在其他浏览器打开
继续浏览