近年来，随着计算机视觉应用领域的不断扩展，三维视觉测量应用场景也在不断扩展，相机标定作为视觉测量中的一项关键技术，标定精度将直接影响整个测量系统的精度与稳定性．目前，学者们已经对相机标定技术进行了大量的研究，提出了诸多相机标定算法[1-2]．由于三维标定物制作与维护困难，因此目前标定算法使用最广泛的是二维平面标定物，其中最具代表性的是文献[3]的径向约束两步法和文献[4]的平面标定方法．径向约束两步法由于需要精密的移动装置，本质上仍然是使用三维标定物，成本高且使用不灵活．平面标定方法无需移动装置，使用灵活且成本低，目前被广泛使用．传统的标定方法往往须要根据不同的视场范围选择不同标定物，以满足特征点在视场中均匀分布和清晰成像的目的．如在大视场下，文献[5]通过大型十字标靶进行标定，在小视场下，文献[6]通过使用二次曲线和直线混合方法进行标定．然而，根据标定视场缩小或放大标定物尺寸，十分复杂且耗费成本，在一些特殊情况下，不能保证标定物全部位于景深范围内．为解决这一问题，文献[7-8]均提出了一种离焦相机标定方法，若能在景深范围外的离焦状态下对模糊标定图案特征点实现精确提取，则使特殊条件下准确的相机标定成为可能．文献[7]通过使用相移条纹对所有特征点进行横向和纵向编码，每个姿态所需拍摄图像较多，需要额外的相位解缠算法对相位解包裹，整个过程复杂耗时且依赖精确的相位值．文献[8]通过使用圆形相移图案对特征点进行编码，须精确拟合得到第一个截断周期处的亚像素坐标，没有考虑伽马非线性误差对相位造成的影响．针对上述存在的问题，本研究提出一种基于圆形二值相移图案的离焦相机标定方法．由于液晶显示屏幕(liquid crystal display screen，LCD)具有良好的平整性，能够根据算法程序显示不同的相移图案，因此该方法采用了在LCD屏幕上显示圆形二值相移图案阵列的形式，二值化的相移图案可以避免LCD屏幕产生的伽马非线性对相位波动误差的影响，同时相机在离焦状态下二值方波图案可近似为理想正弦波图案[9]．此外，本研究通过相移法获得图案的相位信息，直接提取相位环带区域进行对偶椭圆拟合，从而无须精确寻找椭圆亚像素边缘位置，简化了定位过程，同时也不必对图案进行额外的相位解缠工作．实验结果证明该方法可以实现离焦相机在不同视场下精确标定．1 基本原理1.1　相机标定三维空间点在相机成像平面的成像通常使用针孔模型[1，4]进行表示，即λm=K[RT]M，式中：λ为比例系数；M为三维点在世界坐标系下的齐次坐标；m为M点在相机成像平面上对应像素的齐次坐标；R和T分别为世界坐标系到相机坐标系的旋转矩阵和平移向量；K为相机内参数矩阵，K=fusu00fvv0001，其中，(u0,v0)为像主点，s为倾斜因子，fu和fv为焦距f在u轴和v轴的缩放因子．由于镜头畸变的影响，实际成像点并非理论上的三维点和相机光心连线与成像平面的交点，而是存在一定的偏移，在x和y方向上的偏移量δx和δy可以表示[1， 4-5]为δx=[k1xr12+k2xr14+k3xr16]+[2p1xy+p2(r12+2x2)];δy=[k1yr12+k2yr14+k3yr16]+[2p2xy+p1(r12+2y2)],式中：r1=x2+y2；k1，k2和k3为径向畸变系数；p1和p2为切向畸变系数．1.2　圆形二值相移图案生成相移法由于其本身在效率、精度及鲁棒性方面的优势被广泛用于光学测量领域中[9]，对于N步相移，数学描述可以表示为In(x,y)=I'(x,y)+I''(x,y)∙cos(φ(x,y)+2πn/N),式中：I'(x,y)为背景光强；I''(x,y)为调制光强；n=1,2,⋯,N，其中N为相移步数；φ(x,y)为(x,y)点处的待求相位值，其计算公式为φ(x,y)=-arctan∑n=1NIn(x,y)sin(2πn/N)∑n=1NIn(x,y)cos(2πn/N)．(1)由于反正切函数的固有特性，因此通过式(1)求解出的相位为缠绕相位．由于商用的LCD显示屏幕通常会根据人眼特性进行调校，致使屏幕上实际像素值与显示亮度之间并非线性关系，而是存在复杂的伽马非线性变换，因此想要获得良好的解相效果通常需要精确的伽马值校正，但是高精度的校正往往非常复杂．由于伽马变换不会影响灰度值为0和255的像素亮度，因此为限制伽马非线性变换对相位波动误差的影响，同时增强离焦时相移图案的对比度，可以对相移图案进行二值化处理，即In(x,y)=255    (cos(φ(x,y)+2πn/N)≥0); 0     (cos(φ(x,y)+2πn/N)0),式中φ(x,y)=2πr(x,y)/T，其中，r(x,y)=[(x-x0)2+(y-y0)2]1/2，(x0,y0)为圆形二值相移图案的中心坐标，即特征点坐标，T为周期．生成的单个圆形二值相移图如图1(a)所示，同时，由于离焦光学系统成像效果可以看做二维高斯滤波器对理想图像滤波的影响[8]，因此圆形二值相移图案在离焦状态下可以近似成为圆形正弦相移图，如图1(b)所示．通过式(1)对圆形相移图进行相位求解，可以得到相应的缠绕相位图，如图1(c)所示．值得注意的是：该相位图在r(x,y)=T处产生相位截断，即2π不连续性，本研究设置圆形相移图案为2个完整的周期，通过利用第2个周期内(从内到外依次为第1和第2个周期)的相位信息实现特征点提取，因此为保证能够得到两个完整周期的相位图，应选择最大半径2Trmax3T，本研究选择rmax=2.3T．在确定一个屏幕像素点坐标作为特征点后，可在该点处生成一个圆形二值相移图案．对于M×N分辨率的LCD显示屏幕，可自定义生成m×n个特征点，令两特征点之间的距离为d，为保证两个相邻图案之间不相互重叠，应使d2rmax．在确定出了相邻特征点之间的距离d后，若给定第一个点的像素坐标(u01,v01)，则可得到各个特征点的中心像素坐标(u0k,v0k)，同时给每个特征点一个唯一的序列号k作为编码值，即10.13245/j.hust.210812.F001图1圆形二值相移、模拟离焦及缠绕相位图u0k=u01+d((k-1)%m);v0k=v01+d(k-1/m), (2)式中：k小于m×n的个数；%为取余符号；m为横向编码点的个数．在得到各个特征点的像素坐标后，可以根据式(2)在每个特征点上生成圆形二值相移图案．图2为选用7×9个特征点生成的圆形二值相移图案标定板，值得注意的是，选择不同的相移步数须要生成相应数量的相移图案标定板．10.13245/j.hust.210812.F002图2圆形二值相移图案标定板1.3　特征点提取特征点的图像坐标提取精度是影响相机标定精度的关键．在相机标定过程中，由于受相机拍摄角度的影响，圆形图案通常成像为椭圆[10]，因此常用椭圆的边缘拟合方法得到特征点的坐标．基于边缘拟合的方法须确定出边缘的像素位置，而且为提高拟合精度通常需要的是亚像素精度的边缘坐标，这一过程较为复杂．由于本研究使用的是相位图案，图案本身带有相位信息，因此基于图案自身的特性，可以根据给定相位值范围直接获得图案上对应相位的椭圆环带坐标，然后采用文献[11]的对偶二次曲线椭圆拟合方法得到特征点的亚像素坐标，无须寻找亚像素精度的椭圆边缘．对获取的图像进行预处理滤波操作以消除部分噪声，由于需要的只有圆形相位图案部分的信息，因此去除背景的影响[12]，即MI(u,v)=2N∑n=1NIn(u,v)sin(2π(n-1)/N)2+∑n=1NIn(u,v)cos(2π(n-1)/N)21/2, (3)式中MI(u,v)为强度调制．给定阈值Tb，若对应像素位置MI(u,v)Tb，则将该像素值设置为0，反之将该像素值设置为255，由此可根据式(3)与生成的系列相移图案(见图3(a))获得强度调制区域二值图MB(u,v)(见图3(b))，同时对该二值图进行开操作，以去除背景中的孤立杂点．由该二值图可以将需要的相位图案从背景中分离出来，通过式(1)计算MB(u,v)=255处的相位值，从而得到不含背景信息的缠绕相位图MP(u,v)(见图3(c))．10.13245/j.hust.210812.F003图3标靶解相位及确定相位范围示意图因为对偶二次曲线模型直接使用椭圆环带内的所有像素信息进行椭圆参数拟合，从而避免了椭圆边缘的亚像素精度提取．由于在相位图MP(u,v)中已经得到每个像素点对应的相位值，因此可以定义一个相位范围R∈[2aπ,2bπ]，使得位于该相位范围内的像素坐标作为椭圆环带坐标以进行椭圆参数的拟合．值得注意的是：由于选用的最大半径rmax2T，因此为避免提取到大于第二个周期后的相位，a的选择应满足rmax-2Ta，本研究选择a=0.6和b=0.8范围内的相位值．给定相位范围R，在MP(u,v)中可以直接确定位于该相位范围内的像素区域(见图3(d))．由于图案中存在两个完整的相位周期，因此会在两个周期内各获得一个环带区域，此时选用第二个周期内的环带区域作为目标区域．通过该目标环带区域的像素坐标及相位值，可由对偶二次曲线模型与约束条件获得对偶椭圆参数[11]，从而实现椭圆中心点的亚像素精度提取．建立起世界坐标系与像素坐标系特征点之间的对应关系，使用张正友平面标定法[4]完成离焦相机标定过程．2 仿真实验2.1　仿真模拟根据针孔模型模拟相机成像过程对图像进行仿真，设定相机参数fu=fv=1 800，u0=960，v0=540，图像分辨率为1 920×1 080 像素，圆形二值相移图案周期设定20个像素，相移步数为3步．模拟图像的旋转平移参数通过文献[13]进行选择，其中上下倾斜角度范围为(5°,30°)，左右倾斜角度范围为(5°,15°)，共15个姿态(45幅图像)．仿真和实验程序通过Visual Studio 2019开发环境配置OpenCV视觉库实现．a. 离焦度模拟．本次仿真模拟不同离焦量对标定结果的影响．对于离焦光学系统，光学镜头离焦效果可以通过二维高斯函数对理想图像滤波进行模拟．仿真选择高斯滤波窗口为15×15 像素，标准差σ从1开始增至15(步长为1)，标准差越大表示离焦量越大．同时为模拟相机拍摄环境，在离焦后对图像加入均值为0，标准差为5 像素的高斯噪声．使用特征点像素坐标真值与标定后重投影特征点像素坐标之间的均方根误差(RMSE)对仿真精度进行评价，其中标定后重投影特征点像素坐标为根据相机标定的内外参数结果，将特征点的实际三维坐标重投影到二维平面上所得到的像素坐标．仿真模拟结果如图4(a)所示，图中E为均方根误差．可以看出：在不同离焦度条件下，均方根误差变化趋于平稳，这表明本文算法对于不同离焦状态是鲁棒的，同时也验证了离焦状态下标定的可能性．10.13245/j.hust.210812.F004图4仿真模拟结果b. 噪声模拟．为验证对不同噪声等级对本文算法的影响，选用均值为0，标准差从1～25(步长为1)的高斯噪声添加到模拟离焦后的仿真图像中．同样，使用特征点像素坐标真值与标定后重投影特征点像素坐标之间的均方根误差对仿真精度进行评价，仿真模拟结果如图4(b)所示，可以看出：随着噪声等级的增加，均方根误差虽然存在略微波动，但是其值依旧保持在较低水平，本文算法对于不同等级噪声影响具有一定的鲁棒性，这是因为椭圆中心拟合时采用了椭圆的环带像素，相较于寻找单边缘进行椭圆拟合，整个环带的拟合对噪声影响更具有稳定性．2.2　实验为验证本文算法的有效性，进行实验的硬件系统包括：BASLER CMOS视觉传感器，像元物理尺寸为4.8 μm，光学镜头使用Schneider镜头，LCD屏幕分辨率为1 920×1 080 像素，像元尺寸为0.18 mm，同时使用三脚架固定相机．实验精度通过RMSE进行评价，其计算公式为E=1N∑i=1N[(ui-u˜i)2+(vi-v˜i)2]，式中：(u,v)为对偶椭圆拟合得到特征点像素坐标；(u˜,v˜)为根据标定参数重投影得到的特征点像素坐标．与普通圆形图案离焦对比实验．在实际不同离焦条件下，对本研究提出的圆形二值相移图案与普通圆形图案进行对比实验．图案半径周期T设为20个像素，相移步数为3步，由于环带相位信息选择为a=0.6，b=0.8，因此环带的像素半径在24～32 像素之间；普通圆形图案的圆心与圆形二值相移图案圆心一致，半径取为环带周期的中间带0.7×2T，即为28个像素．普通圆形图案的中心像素坐标通过OpenCV库函数findCirclesGrid获得．在实验过程中，相机位置保持不变，通过改变焦距与光圈以实现不同的离焦状态，拍摄图像如图5所示，分别对应近似聚焦、离焦和严重离焦三种状态，标定结果如表1所示．10.13245/j.hust.210812.F005图5拍摄不同程度离焦图像10.13245/j.hust.210812.T001表1两种方法对实际图像的标定结果方法fufvu0v0k1k2E近似聚焦本文1 721.954 81 722.006 7845.495 5700.866 9-0.118 50.140 50.075 1对照1 722.061 61 722.532 2845.065 9700.147 1-0.112 20.106 20.087 9离焦本文1 711.264 11 711.503 2839.124 5691.188 9-0.120 60.157 90.079 0对照1 709.710 81 710.613 2838.032 9689.868 4-0.107 20.092 90.126 8严重离焦本文1 702.681 81 702.472 3838.723 1695.576 2-0.131 70.147 20.078 3对照1 701.719 81 702.891 2837.998 1694.679 3-0.104 10.083 50.156 9由表1和图5中可以看出：随着离焦程度的改变，拍摄到的图案由清晰逐渐变得模糊，此时普通圆形阵列的边缘扩散到周围像素，难以准确地定位到实际边缘位置，从而均方根误差RMSE随着离焦度增大而逐渐增大；而本研究提出的圆形二值相移图案，随着离焦度增大，虽然图案变得模糊，但是均方根误差RMSE基本稳定在0.077个像素，表明该图案通过环带相位信息定位特征点对不同离焦状态具有良好的鲁棒性，证明了本研究提出的图案对于离焦相机标定的可行性．与聚焦状态标定参数对比实验．首先，在大视场下使用大型标靶对聚焦状态下的相机进行多次标定实验，将此时得到的相机内参数作为真值，内参矩阵为Kr，Kr中fur=1 718.33，fvr=1 718.14，u0r=846.72，v0r=700.86，畸变系数k1r,k2r,p1r和p2r分别为-0.127 0，0.188 0，0.000 4和0.000 5；然后，保持相机不动，使用本研究提出的圆形二值相移标靶进行标定，此时的标靶位于相机景深范围外，得到标定内参矩阵Kt，Kt中fut=1 720.30，fvt=1 720.35，u0t=848.22，v0t=700.05，畸变系数k1t，k2t,p1t和p2t分别为-0.122 0，0.175 0，0.000 4和0.000 6．由以上两个内参矩阵可知：焦距在u和v轴分量的相对误差分别为0.11%和0.13%，像主点的相对误差分别为0.18%和0.12%．实验结果表明本文方法有效可行，且具有较高的精度．3 结语提出了一种基于相移图案的离焦相机标定方法．在相机离焦条件下，对拍摄得到的圆形二值相移图案求解相位，依据得到的相位信息直接定位一个环带目标区域进行对偶椭圆拟合，从而获得特征点亚像素坐标，实现离焦相机标定过程．通过仿真和实验，验证了本文方法在不同离焦状态下的鲁棒性，随着离焦程度的改变，均方根误差基本保持稳定，证明了本文方法对于离焦相机标定的可行性．10.13245/j.hust.210812.F006