在机器人同步定位与地图构建问题中,机器人通过自身携带的摄像头、陀螺仪和加速度计等传感器获取环境信息,根据传感器数据计算自身位姿,但在面对各种复杂大尺度环境时仍存在累计误差大、闭环检测困难等诸多问题[1].自然界哺乳动物在不具备高精度感官和高分辨率地图的情况下仍可进行快速定位与导航[2].近年来,神经科学家在哺乳动物体内发现了与导航有关的细胞,主要包括位置细胞、网格细胞及头朝向细胞.位置细胞在特定位置表现出特殊放电机理,建立了脑区与外界路标线索的映射关系[3];网格细胞整合自运动信息在二维空间中发生呈六边形的规律放电,允许进行路径整合、精确定位和路径搜寻[4];头朝向细胞可以为动物提供方向信息[5].基于类脑认知机理进行机器人建图方面,文献[6]根据大鼠海马体连接结构和神经编码的基本特征,开发了一个基于竞争吸引子网络的二维地图构建系统RatSLAM.文献[7]在RatSLAM理论的基础上,提出融合贝叶斯估计模型来整合视觉和运动信息输入,并在二维空间数据集中进行了验证.文献[8]在RatSLAM的基础上,提出了一种面向三维环境的类脑SLAM系统,称为NeuroSLAM.在此系统中,3D网格细胞由多层连续吸引子网络构成,但导致该网络可能只适用于构建分层地图的场景.文献[9]利用无监督学习方法,建立三维空间单元的层次网络模型,验证了三维空间网格单元的出现,但并未开展建图研究.而基于细胞的空间方位认知及路径整合机制,可以增强机器人对环境的感知,降低定位误差[10].文献[11]提出自组织可增长映射的仿生定位算法,利用感知距离信息实现位置细胞激活,提高定位精度.目前,类脑认知建图方法重点关注对大脑功能的理解,提出生物模型测试其合理性,较多涉及类脑认知地图构建和二维模拟环境下验证,缺乏三维环境下建图研究.因此,本研究针对三维空间类脑建图的局限性,解决建图精度不高、模拟环境单一等问题,提出在机器人环境建模中集成视觉线索细胞、头朝向细胞和网格细胞神经元活动机制,构建递归神经网络环境感知模型,激活特定位置细胞,并结合细胞放电率和贝叶斯估计的位置细胞更新策略,降低机器人累积误差,辅助提高机器人定位精度.1 方法框架三维空间类脑仿生建图方法框架见图1,包含环境线索信息处理、anti-Hebbian(反赫布)学习递归神经网络和多源位置细胞贝叶斯估计网络三个模块.在环境线索信息处理模块中,对视觉信息进行Gabor滤波处理,对自运动信息通过头朝向细胞和网格细胞进行整合.anti-Hebbian学习递归神经网络模块中,环境线索信息处理结果作为输入,通过Hebbian和anti-Hebbian规则进行连接激活空间特定位置,作为网络输出.多源位置细胞贝叶斯估计网络模块中,根据贝叶斯理论建立位置细胞的后验估计,提出基于当前位置细胞的修正策略,计算其放电率,在邻域空间内进行更新调整,最终实现空间位置解码,形成对环境的三维鲁棒性精确表达.10.13245/j.hust.220406.F001图1三维类脑空间建图方法框架2 类脑空间认知模型在海马体中,当动物处于环境特定的物理区域时,位置细胞编码可将视觉线索与运动反馈信息整合在一起,相应神经元会增加动作电位放电频率,产生一定的位置区域[12].生物学领域实验发现视觉和自运动线索之间存在动态交互[13],因此本研究基于anti-Hebbian学习的递归神经网络,融合视觉线索和自运动线索,建立多感觉信息之间的稳定连接,形成对三维空间环境的认知.2.1 视觉信息处理哺乳动物通过双眼立体视觉进行信息处理用以重建空间信息.从视觉通路上来看,初级视皮层中存在的简单细胞对刺激方向较为敏感,这些细胞的感受野可用Gabor滤波来描述[14];因此,本研究基于Gabor滤波特性建立过滤器,对机器人采集的图像进行特征提取,并将其维度进行统一,作为空间认知的视觉线索细胞.在空间域中,二维Gabor滤波器定义为正弦平面波调制的高斯核函数,有G(x,y)=fg2πγςexp[-(x'+γ2y')/(2σg2)]∙exp(j2πfgx'+ϕ);x'=xcos θg+ysin θg;y'=-xsin θg+ycos θg,式中:fg为正弦信号的频率;θg为滤波器的角度;ϕ为相位偏移角度;σg为高斯包络线的标准差;γ为x和y两个方向的纵横比;x,y为空间域像素位置;ζ为适应系数.建立5个尺度和8个方向上的40个Gabor滤波器,假设图像的大小是a×b像素,使用40个Gabor滤波器,特征向量的维数将为a×b×40.如图2所示,建立36×36的图像网格,用来提取完整图像滤波卷积值的特定位置.图像经灰度处理后,执行二维快速傅里叶(FFT)变换将图像转换至频域.本研究二维FFT首先对图像的像素列执行一维FFT,然后对前一步操作输出的像素行执行一维FFT.此后,将输入图像与每个滤波器进行卷积,模型存储滤波后图像的幅度和相位.10.13245/j.hust.220406.F002图236×36图像网格滤波器由于Gabor相位信息在空间位置呈现周期性变化,而幅值变化相对平滑稳定,因此利用图像幅值特征进行视觉线索细胞模拟.图像中的相邻像素通常是高度相关的,可通过对Gabor滤波器产生的特征图像进行下采样及降维方法来减少信息冗余[15].为保证与3D网格细胞的维度一致性和保留图像全局信息,对图像特征进行处理,若超过细胞维度,则通过主成分分析法进行降维处理获得输入图像对应的处理后的特征值信息以及视觉信息传递矩阵.2.2 自运动信息处理对头朝向细胞进行建模,用以感知机器人当前的方向;对3D网格细胞建模,通过整合内部和外部的感觉线索在环境空间中执行路径整合的功能,由此建立自运动信息处理模块.2.2.1 头朝向细胞模型头朝向细胞提供海马认知地图表征的必要方向信息.根据文献[16]的发现,将头朝向细胞分为方位角细胞编码层及俯仰角细胞编码层表征三维方向,比例定为7:3.头朝向细胞编码层保证了与网格细胞路径积分层的一对一连接.三个方向上位置变化分别为Δx,Δy,Δz,方位角表示为θAz(t)=arctan[Δy(t)/Δx(t)]、俯仰角表示为θPi(t)=arctan[Δz(t)/Δx(t)2+Δy(t)2].将方位角和俯仰角神经元调整到360°内的最佳朝向,各编码层神经元活动计算为ϕAzk(t)=cos[θAz(t)-θAzk];ϕPik(t)=cos[θPi(t)-θPik],式中:ϕAzk和ϕPik为方位角和俯仰角的神经元活性值;θAzk和θPik为第k个方位角和俯仰角神经元的最佳朝向.2.2.2 3D网格细胞路径积分模型将头朝向细胞作为3D网格细胞的输入,二者一对一地连接将方向和速度信息整合到网格细胞神经元的相位振荡器中,方位角动力学计算公式为θ˙PAzk=2πfo+αsϕAzk; (1)dPAzk=sin(θPAzk),(2)式中:fo为振荡器的基频;θPAzk为第k个方位角振荡器角度;α为调制因子;s=||X(t)-X(t-1)||  (X∈R3)代表速度,其中X(t)为t时刻的空间位置,R3为3个用实数全集做笛卡尔积得到的三维空间.俯仰角动力学公式也可通过式(1)和(2)得到.2.3 基于anti-Hebbian学习的递归神经网络如图3所示,建立机器人类脑环境位置编码层次模型.视觉线索细胞通过模拟人类视觉,提取环境信息,作为神经网络的输入之一.融合方位角和俯仰角编码的3D网格细胞路径积分层的震荡活动整合物体自运动信息,作为递归神经网络的另一输入.视觉信息与自运动信息的前馈输入连接及网络层横向连接激活特定的位置编码,形成对环境的有效拓扑表达.采用生物学上具有可行性的网络计算模型[17],前馈连接遵循Hebbian规则进行权重更新,横向连接权重遵循anti-Hebbian规则更新.其中,横向连接引起神经元之间的竞争,而前馈连接可以从输入数据中提取主成分,其广义的结构和局部学习规则实现机器人对时空经验信息稳定的表达.内部相互抑制和激活机制解算特定位置的激活程度,抽象神经元状态模拟位置细胞以映射环境高维感.10.13245/j.hust.220406.F003图3机器人类脑环境位置编码模型递归神经网络神经元活性计算为Ak(t)=∑i=1mpkidPi(t)+∑i=1nvkivi(t)+∑h=1NGqkjAh(t-1),式中:Ak为第k个神经元激活值;dPi为第i个分量的自运动输入信号;vi为第i个分量的视觉输入信号;pki为从自运动输入信号dp的第i个分量到第k个网络神经元的前馈连接权值;vki为视觉输入信号v的第i个分量到第k个网络神经元的前馈连接权值;qkh为从第h个到第k个网络神经元的横向连接权值;m为自运动信息输入信号的维度;n为视觉信息输入信号的维度;NG为网络神经元的总数.网络突触权重连接规律为Δpki=ηFD[dPi(t)Ak(t)-pkiAk2(t)];Δvki=ηFV[vi(t)Ak(t)];Δqkj=-ηLAk(t)Ah(t-1),式中:Δpki为根据Hebbian学习规则改变的自运动前馈连接权值变化值;Δvki为根据Hebbian学习规则改变的视觉前馈连接权值变化值;Δqkh为根据anti-Hebbian规则改变的横向连接权值的变化值;ηFD,ηFV和ηL分别为自运动输入连接、视觉输入连接和横向连接权值的学习率.当训练网络时,不断监测传入的前馈和横向权重连接的变化,在完成全部视觉细胞输入的前提下满足∑|Δp|+∑|Δq|T(Δp为自运动前向连接权值变化;Δq为横向连接权值变化;T为空间输出阈值)时将停止训练,保证了空间信息权重连接的收敛.网络神经元活动会沿着机器人行进轨迹进行跟踪,当神经元的活动超过阈值时,将这个阈值跨越时刻指定为一个编码电位,实现对未知环境的高效位置编码.通过模拟生物感知机制,各细胞分工协作激活特定有效位置,避免信息冗余,降低时间复杂度和占用空间.3 多感觉位置细胞贝叶斯估计网络机器人的定位问题可以作为贝叶斯估计问题,即机器人依据已有信息,以一定的可信度确定当前位姿;因此可将机器人定位问题转化为在整个定位空间中的位置细胞概率分布估计问题.受文献[18]基于贝叶斯估计的地磁辅助惯性算法启发,建立多感觉位置细胞贝叶斯估计网络,流程如图4所示.在激活的位置细胞附近建立邻域空间及备选神经元,给出邻域空间会聚判定,提出结合位置细胞放电率的更新修正策略.10.13245/j.hust.220406.F004图4多感觉位置细胞贝叶斯估计网络3.1 位置细胞放电模型位置细胞激活对应的一定空间范围称为放电野,上节激活的位置仅为其中一个位置细胞的放电中心,而机器人真实位置可能在其邻近神经元的某个放电区域中心.位置细胞的放电率表示为r=exp[-||o-o'||/(2ρ2)],其中:o为空间中某位置;o'为当前位置细胞的放电中心;ρ为位置细胞放电野调节因子.越靠近目标位置,位置细胞放电率越高.将位置细胞的放电编码映射到三维环境空间,机器人处于空间某位置时的放电率为r=exp-(x-x')2+(y-y')2+(z-z')22ρ2,式中:(x,y,z)为机器人在空间中的真实位置;(x',y',z')为位置细胞放电野中心.3.2 位置细胞更新策略建立以当前位置细胞为中心的邻域空间,依据贝叶斯估计原理,探索寻找表征真实位置的最优神经元作为新的位置细胞.如图5所示,假设当前位置细胞中心为橘色块所在区域,用O(x,y,z)表示,建立其相关邻域空间,长宽高分别为2Nx,2Ny,2Nz.将空间区域化,即划分为若干等体积的小立方体作为备选神经元,每个神经元的位置表示为Q(I,J,K),其中:I=1,2,…,2Nx;J=1,2,…,2Ny;K=1,2,…,2Nz.Q(I,J,K)相对于当前位置细胞偏移量是已知的.若能计算机器人真实位置落在每个神经元放电野范围内的概率,则可选择概率最大且放电率最强位置所在的神经元,例如,蓝色为所选最优神经元,即新位置细胞放电区域,对原位置细胞进行更新修正.10.13245/j.hust.220406.F005图5邻域空间及神经元划分借助贝叶斯公式并将变量离散化,得到在当前状态下,机器人真实位置落在每个备选神经元放电野范围内的概率为p(Q(I,J,K|O)∝p(O|Q(I,J,K)p(Q(I,J,K)∑i=12Nx∑j=12Ny∑k=12Nzp(O|Q(I,J,K)p(Q(I,J,K).本研究假设位置细胞的定位误差为高斯分布,则p(O|Q(I,J,K)计算公式为p(O|Q(I,J,K)=12πσpexp|O-O0(I,J,K)-μp|22σp2, (3)式中:μp和σp2分别为均值和方差;O为原位置细胞定位中心;O0(I,J,K)为由备选神经元与原位置细胞在三个方向上的偏移ΔNx,ΔNy,ΔNz计算得到的新位置细胞的定位中心.在初始时刻,假设p(Q(I,J,K)为均匀分布,即p(Q(I,J,K)=1/(2Nx⋅2Ny⋅2Nz),随着估计的进行及迭代计算,其将不再是均匀分布,而会在真实位置附近会聚,但随后概率分布将趋于发散.设定最小会聚空间V,采用从最大概率所处神经元向外扩散的方式,若扩散区域超过设定的邻域空间,则在相反方向位置补足,保证空间实现快速会聚,降低算法复杂度.当真实值落在V内所有小立方体的概率不小于p时,认为真实位置细胞已经在邻域空间某区域会聚,此时将停止迭代.预先设定会聚空间阈值进行度量,在会聚空间中计算各神经元的放电率,选择放电率最高的神经元作为新位置细胞,从而确定最终修正区域.为避免在三个方向上激活情况的相互影响造成解不唯一的情况,对三个方向的会聚情况进行单独计算.图6显示了在某位置细胞初始时刻邻域空间呈现均匀分布,在邻域空间达到会聚判定后,可确定新位置细胞的所在.10.13245/j.hust.220406.F006图6邻域空间会聚情况4 实验及结果分析为验证本研究所提仿生建图方法的有效性,选取利用微型飞行器采集的视觉惯性公开数据集EuRoC进行测试,并将本文算法与类脑三维认知地图构建方法NeuroSLAM、视觉惯性里程计OKVIS和VINS算法建图结果进行对比.4.1 数据集下建图测试选择EuRoC的MH_01数据集,其中包含双目相机拍摄的单色图像(如图7所示)及惯性测量单元MEMS IMU数据,根据本研究所述建立类脑空间认知模型,通过视觉线索细胞完成视觉信息处理;通过头朝向细胞和3D网格细胞完成自运动信息处理;通过anti-Hebbian递归神经网络的训练机器人整合多源空间信息,实现特定位置细胞的激活.图8和图9分别展示了头朝向细胞和3D网格细胞的模型.10.13245/j.hust.220406.F007图7EuRoC MH_01数据集10.13245/j.hust.220406.F008图8头朝向细胞示意图10.13245/j.hust.220406.F009图93D网格细胞示意图基于anti-Hebbian学习的递归神经网络的参数设置:头朝向细胞总数为99;网络神经元总数为80;振荡器基频fo为0.5 Hz;调制因子α为2;ηFD为0.002 7;ηFV为0.1;ηL为0.000 27.视觉线索输入完成并设定空间输出阈值为0.08,保证较高激活率,网络达到收敛,激活相应空间认知位置细胞共2 522个.根据图4流程,建立多感觉位置细胞贝叶斯估计网络进行位置细胞修正.如图10所示,与groundtruth数据相比,采用本文算法较为良好地实现了地图构建.图11展示了分别在x,y和z方向上的定位结果,较好地复现了真实轨迹.10.13245/j.hust.220406.F010图10本文算法建图结果10.13245/j.hust.220406.F011图11本文算法定位结果4.2 与其他算法建图对比将本文算法与NeuroSLAM,OKVIS和VINS算法进行对比测试.各算法建图结果如图12所示,其中,NeuroSLAM采用扫描线强度分布的方式从图像估计三个方向的速度,在此飞行器数据集上的建图结果具有较大误差.如图12(a)所示,其他算法均实现完整地图构建,很好地复现了真实轨迹.如图12(b)展示了x和y方向上的建图结果,可以看到:OKVIS算法在此建图结果中相对较差,多处部分与真实轨迹存在较大偏差,本文算法与VINS算法具有较好的精度.10.13245/j.hust.220406.F012图12各算法在MH_01数据集建图结果利用EVO(精度测评工具)计算各算法的绝对位姿误差E,用于测试轨迹的全局一致性.其中,NeuroSLAM算法输出结果不一致且效果不佳,其他算法考虑平移和旋转的定位误差对比结果如图13所示.蓝色线条(OKVIS算法)利用视觉和IMU(惯性传感器)耦合进行优化,但其中包含的多重积分及不能多帧同时优化等局限,造成较大误差,并且在建图中期某位置存在误差急速增加的情况;绿色线条(VINS算法)具有相对较好的定位精度,在连续动态环境下存在局部误差较大情况;红色线条(本文算法)利用类脑空间认知模型赋予机器人环境感知的能力,并结合位置细胞放电率的贝叶斯估计实现定位误差修正,有效降低定位误差,实现高精度建图.10.13245/j.hust.220406.F013图13各算法在MH_01数据集误差对比各算法具体定位误差如表1所示,表中:δ1为最大绝对平移误差;δ2为最大绝对旋转误差;δ3为最大绝对误差;δ4为平均绝对误差.本文算法最大绝对平移误差为0.727 m,最大绝对旋转误差为0.442,考虑平移和旋转的最大绝对误差为0.777,平均绝对误差为0.129,与其他算法相比,具有更高定位精度.10.13245/j.hust.220406.T001表1各算法在EuRoC-MH_01数据集的定位误差算法δ1/mδ2δ3δ4OKVIS1.6110.6041.6110.205VINS0.8550.4740.9760.149MYMETHOD0.7270.4420.7770.129本研究提出一种新型空间认知模型和融合贝叶斯估计的误差修正方法,实验结果表明:本文算法能够较好地完成建图任务,最大绝对误差为0.777,平均绝对误差为0.129,具有较高环境认知地图定位精度.在仿生认知机理上,本研究拓展了类脑在三维空间中地图构建与定位领域的应用.

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读