基于控制场的高精度相机标定技术研究

2024-07-28 来源：乌哈旅游

第14期2023年7月无线互联科技

WirelessInternetTechnology

No.14July,2023

基于控制场的高精度相机标定技术研究

(中国航空工业集团公司洛阳电光设备研究所,河南洛阳471000)

陈　洋

摘要:相机标定是高精度视觉测量的基础,是视觉测量的关键技术。相机参数的标定精度直接影响最终的测量精度。针对大视场的高精度测量,文章提出了一种基于控制场的相机标定方法。首先,通过构建相机参数求解模型,利用DLT(直接线性变换法)获得相机参数初值,再利用L-M最优化方法求解最优化模型参数即要标定的相机参数。本标定方法的标定结果平均反投影误差达到0.1个像素点,表明本标定算法具有很高的标定精度,可以满足视觉测量的高精度测量需求,在工业测量中具有较高的使用价值。

关键词:相机参数;相机标定;控制场;最优化模型;大视场视觉测量;L-M算法中图分类号:TP274　　文献标志码:A

0　引言

　　高精度测量技术是支撑经济高质量发展的重要技术之一,经常应用在高端制造中,是一项不可或缺的重要组成部分[1]。随着科技的进步,我国的高端制造业正在高速发展,对精密测量技术的需求也日益迫切,同时对其技术要求也不断提高,因此出现了很多新的测量需求和要求。但是传统的测量方法在面对这些新的测量需求时,测量精度已经无法有效满足应用需求,所以需要一种高精度的新测量方法来解决传统测量面临的问题[2],高精度视觉测量技术应运而生。

视觉测量具有非接触、实时测量、精度高以及可以自动化测量等优点[3-4],在高端制造业以及工业等领域需要高精度实时非接触测量等领域应用广泛。由于视觉测量的相机加工存在误差,视觉测量的精度取决于测量相机参数的标定精度,在进行测量前,要对相机的参数进行标定,用来补偿测量过程的误差。对于空间中较小的物体,在采用视觉测量时,相机参数标定往往采用高精度的平面靶标对相机进行参数标定,就能够满足测量精度;但是在对空间中大型物体进行测量时,由于测量及成像空间大,如果测量精度要求高,大尺寸的高精度平面靶标加工难度大,精度无法保证,通常采用高精度的三维靶标进行相机参数标定来保证测量精度。

本文针对大尺寸高精度测量提出了一种基于控制场的相机标定方法,并通实验证明标定方法的正确性及精度,具有较高使用价值。1　标定方法及原理1.1　相机成像模型

　　相机的成像模型可以用简单的小孔成像模型来

表示,小孔成像模型中用两组参数来表示空间三维点和相机成像平面二维点之间的透视投影关系,一组参数是测量相机的内参数,一组是测量相机外参数,假设相机成像符合理想的小孔成像模型,相机内参数包括:实际焦距f、传感器像元大小(dx,dy)和图像的主点坐标(u0,v0);对于实际的成像相机模型,由于存在加工和装配等误差,除了上述参数外,相机内参数还应包括:径向畸变参数(k1,k2,k3)、切向畸变参数p1,p2;相机的外参数包括:3×3的正交旋转矩阵R和3×1的平移矩阵T。

定义OwXwYwZw为外部物体的世界坐标系,Ow为世界坐标系原点,OcXcYcZc为相机坐标系,Oc为光心,Ofuv为像素坐标系,Oxy为像面坐标系。小孔成像模型如图1所示。

图1　小孔成像模型

1.2　相机镜头畸变模型

　　设任意一点p的坐标为(up,vp)和(xp,yp)知:

作者简介:陈洋(1988—),男,河南洛阳人,工程师,硕士;研究方向:软件开发,软件新技术,图像处理,视觉测量。

—116—

第14期2023年7月

无线互联科技·研究创新

+r2+r2-1H1(x)=r2123+r2+r2-1H2(x)=r2456+r2+r2-1H3(x)=r2789

H4(x)=r1r4+r2r5+r3r6H5(x)=r1r7+r2r8+r3r9H6(x)=r4r7+r5r8+r6r9F(x)=∑F(x)+

i=1

21in

No.14July,2023

xp=(up-u0)dx

(1)

yp=(vp-v0)dy

相机镜头的畸变模型为[5]:

+2xpypp2Δxp=xpr2k1+xpr4k2+xpr6k3+(r2+2x2p)p1Δyp=ypr2k1+ypr4k2+ypr6k3+2xpypp1+(r2+2y2p)+2其中,r=x2pyp;则考虑相机畸变知点在像面的

理想像点坐标为(xp+Δxp,yp+Δyp)。1.3　透视投影变换原理

　　设空间任意一点在空间世界坐标系下的坐标为(Xwp,Ywp,Zwp),齐次坐标为(Xwp,Ywp,Zwp,1),p在相机坐标系下的坐标为(Xcp,Ycp,Zcp),点p在像面坐标系下的齐次坐标为(xp,yp,1),世界坐标系到相机坐标系的旋转矩阵为R,平移矩阵为T。

由透视投影关系可以得p点世界坐标系坐标和投影点像面坐标的关系:

Xwpùéêúxépùéf000ù

êúêúéRTùêYwpú

úêúZcpêypú=ê0f00úê(3)TêúZ01ûêwpúúëê1úê

ëûë0010ûêë1úû

rrrtééê123ùúêxùú

其中:R=êr4r5r6ú,T=êtyú。

êrrrúêtúë789ûëzû

展开式(3)可以得到:

f(tx+Xwpr1+Ywpr2+Zwpr3)xp=

tz+Xwpr7+Ywpr8+Zwpr9f(ty+Xwpr4+Ywpr5+Zwpr5)yp=

tz+Xwpr7+Ywpr8+Zwpr9

(2)

(7)

由式(6)(7)可以构造求解相机参数的无约束的最优目标函数:

F∑=i1

(8)

式(6)(7)(8)中:x=[fu0v0k1k2k3p1p2r1r2r3

r4r5r6r7r8r9txtytz]为待求解相机参数矩阵。1.5　相机参数L-M优化求解流程　　由最优目标函数F(x),令:

f(x)=[F11(x)...F1n(x)　F21(x)...F2n(x)　H1(x)...H6(X)]r(9)

令J(x)为f(x)的雅克比矩阵,知:

∂F1i∂F1i∂F1i∂F1i∂F1i∂F1i∂F1i∂F1i∂F1i∂F1iéê∂f∂u0∂v0∂k1∂k2∂k3∂p1∂p2∂r1∂r2ùúê∂F∂F∂F∂F∂F∂F∂F∂F∂F∂Fú2i2i2i2i2i2i2i2i2i2i

úJ(x)=ê∂f∂u0∂v0∂k1∂k2∂k3∂p1∂p2∂r1∂r2

êú∂H∂H∂H∂H∂H∂H∂H∂H∂H∂Hjjjjjjjjjjúêêú∂f∂u∂v∂k∂k∂k∂p∂p∂r∂r001231212ûë

(x)+

=minH2∑i(x)

=i1

(4)

考虑相机成像畸变(4)式可写为:

f(tx+Xwpr1+Ywpr2+Zwpr3)

+=xpΔxp

tz+Xwpr7+Ywpr8+Zwpr9f(ty+Xwpr4+Ywpr5+Zwpr5)

yp+Δyp=

tz+Xwpr7+Ywpr8+Zwpr9

1.4　构造相机参数求解模型

　　设空间中有n个点,在世界坐标系下的坐标为(Xwi,Ywi,Zwi),在相机像面坐标系下的坐标为(xi,yi),其中i=1,2,3,...,n。

由(5)式设:

f(tx+Xwir1+Ywir2+Zwir3)

-(xi+Δxi)F1i(x)=

tz+Xwr7+Ywr8+Zwr9f(ty+Xwir4+Ywir5+Zwir5)

-(yi+Δyi)F2i(x)=

tz+Xwir7+Ywir8+Zwir9(6)

又由旋转矩阵具有的正交性质,满足6个正交约束方程:

(5)

其中,i=1,2,3,...,n;j=1,2,...,6。

利用DLT求得F(x)初值x0,选取优化初始参数α>0,增长因子β>1,迭代终止条件为δ>0,且δ是很小的实数,I20×20为单位矩阵,设K=0。

利用L-M优化算法求解相机参数的具体流程如下。

步1:置α=α/β。

+=-JT步2:由(JTkJkαI)dkkf(x)求得迭代方向dk,

置xk+1=xk+dk。

步3:若F(xk+1)k

步4:若‖JTkf(x)‖<δ,算法终止,得到相机参数xk;否则置α=βα,转步2。

步5:‖JTkf(x)‖<δ,算法终止,得到相机参数xk+1;否则置k=k+1,并返回到步1。

经过有限次迭代计算,可求得到相机的内外参数。

2　MATLAB仿真实验

2.1　构造相机模型及虚拟控制场

　　为了验证相机标定方法的正确性和高精度,构造

∂F1iéê∂r3ê∂Fê∂r2iê3∂Hjêêë∂r3

∂F1i∂F2i∂Hj∂r4∂r4∂r4

∂F1i∂F2i∂Hj∂r5∂r5∂r5

∂F1i∂F2i∂Hj∂r6∂r6∂r6

∂F1i∂F2i∂Hj∂r7∂r7∂r7

∂F1i∂F2i∂Hj∂r8∂r8∂r8

∂F1i∂F2i∂Hj∂r9∂r9∂r9

∂F1i∂F2i∂Hj∂tx∂tx∂tx

∂F1i∂F2i∂Hj∂ty∂ty∂ty

∂F1i∂tz

ùú

ú∂F2iú∂tzú∂Hjú∂tzúû

(2n+6)×20

—117—

第14期2023年7月

无线互联科技·研究创新

No.14July,2023

相机模型,内参数:焦距f=25mm;传感器x方向像元大小dx=5.3μm,传感器y方向的像元大小dy=5.3μm;成像大小为1280×1024;主点选取理论值(u0,v0)=(640,512);径向畸变:k1=1.5e-5,k2=-3.5e-6,k3=6.5e-7;切向畸变:p1=-2.5e-6,p2=5.5e-7;控制场坐标系到相机坐标系的旋转矩阵R和平移矩阵T如下式:

é0.966105　-0.153016　0.207912ùêúR=ê0.1341120.9856770.102244ú,

êë-0.220579-0.0708950.972789úûé-1800.0ùêúT=ê-800.0ú(10)

êúë100.0û

使用本文提出的标定方法,可以计算出相机的内外参数如表1所示。

2.3　相机内参标定稳定性实验

　　为了验证标定算法的稳定性,通过指定的20组不同的世界坐标系到相机坐标系的旋转平移矩阵,利用本论文标定算法计算相机内参,结果如图2—4所示。

图2　焦距

表1　相机参数对比

参数名u0/pixelv0/pixelk1k2k3p1p2R2R3R4R5R6R7R8tx/mmty/mmtz/mmR9r1f/mm

标定值:Vc640.021.49e-0056.49e-0075.74e-007-0.1530.2070.1340.985-0.221-0.071-1799.999

真实值:Vr25.0640512

24.99

511.99

-3.48e-006-2.56e-0060.966

-3.5e-006-2.5e-0065.5e-007-0.1530.2080.1340.986-0.220-0.070-1800.0

1.5e-0056.5e-007

图3　主点偏差

0.966

0.1020.102

图4　畸变偏差

0.9720.973

-799.99999.991

-800.0100.0

2.2　相机标定及数据分析

　　模拟控制场标定相机参数和相机参数真实值对比如表1所示。本算法标定值偏离真实值极小,标定值几乎与真实值相等,是因为标定过程中空间三维特征点坐标和像素二维点坐标都是根据相机成像模型仿真出的理想空间点,没有成像误差所致,实际应用过程中,由于在测量三维点时存在定位误差、控制场特征点成像时也存在二维点定位误差,实际标定结果和真实值的偏差一般会略大于理想情况下的偏差。

由20次相机参数标定实验数据可知:20次试验标定的相机焦距平均值favg=25.00000351mm,标定的相机成像主点参数偏差绝对值的平均值uavg=0.00876pixel,vavg=0.006374pixel,畸变参数标定结果偏差绝对值的平均值k1avg=1.756e-7,k2avg=5.743e-8,k3avg=5.737e-9,p2avg=2.33e-8,由20次试验结果可知相机内参标定结果具有很高的稳定型。3　实际标定实验3.1　相机参数标定

　　实际实验中使用的是灰点公司的工业相机,相机成像像素大小为1280×1024,相机传感器像元大小dx=dy=5.3μm,相机镜头焦距为f=25mm。三维控制场由8根贴有反光标志点的柱子组成,共有80个反光标志点,标志点的三维坐标已提前通过工业数字近景摄影三维坐标测量系统获得。

通过相机对控制场特征点成像,获取特征点在相

—118—

第14期2023年7月

无线互联科技·研究创新

No.14July,2023

机成像平面的二维像素坐标,利用本论文的标定算法获得相机内外参数。

对于三维空间中任意一点p,设其空间三维坐标为(Xwp,Ywp,Zwp),在相机坐标系下的三维坐标为(Xcp,Ycp,Zcp),像素坐标(up,vp),像面坐标为(xp,yp),世界坐标系到相机坐标系的旋转矩阵为R,平移矩阵为T,则知:

éXcpùéXwpùêúêú

(11)êYcpú=RêYwpú+T

êzúêzúëcpûëwpû由小孔成像模型知p点像面坐标:

Xcp

x′p=f

Zcpycp=y′pf(12)Zcp

由式(1)(2)(11)(12)知p点在x、y方向的反投影误差表示为:

Ex=x′p-(xp+Δxp)Ey=y′p-(yp+Δyp)(13)假设空间中有n个点,则n个点在x、y方向的平均反投影误差定义为:

Exavg=∑|x′i-(xi+Δxi)|

ni=11n

Eyavg=∑|y′i-(yi+Δyi)|

ni=1

利用标定的相机参数计算控制场点反投影误差如图5所示。

图5　反投影误差分布

4　结语

　　利用本论文提出的方法,利用控制场上80个特征点对相机进行标定,获得相机参数对控制场上80个特征点在x和y方向的平均反投影误差达到0.1个像素,具有较高的标定精度,可以满足空间大视场的高精度测量,具有较高的应用价值。

参考文献

[1]郭磊.现场条件下大空间3D精密定位原理与方法研究[D].天津:天津大学,2008.

[2]郭磊.移动视觉精密测量关键技术研究[D].天津:天津大学,2011.

[3]隆昌宇,邾继贵,孙博,等.移动视觉测量中基于编码网络的特征点匹配方法研究[J].光电子·激光,2014(5):937-946.

[4]杨博文,张丽艳,叶南.面向大视场视觉测量的摄像机标定技术[J].光学学报,2012(9):159-167.

(编辑　王永超)

Researchonhigh-precisioncameracalibrationtechniquebasedoncontrolfield

ChenYang

LuoyangInstituteofElectro-OpticalEquipment AVIC Luoyang471000 China

Abstract Cameracalibrationisthebasisforhigh-precisionvisionmeasurement andisthekeytechnologyofvisionmeasurement.Theaccuracyofcameraparametersdirectlyaffectsthefinalmeasurementaccuracy.Forhigh-precisionmeasurementoflargefieldofview thispaperproposesamethodforthecameracalibrationbasedoncontrolfield.First bybuildingamodelofcameraparameterstosolve useDLT directlineartransformation toobtaininitialparametersofthecamera thenuseL-Moptimizationmethodforsolvingtheoptimizationmodelparameterthatistobecalibratedcameraparameters.Resultsshowthattheaverageback-projectionerrorcanreachto0.1pixelsbyusingthecalibrationmethod andshowthatthecalibrationalgorithmhashighcalibrationaccuracytomeettheneedsofhigh-precisionvisionmeasurement whichhasahighvalueintheindustrialmeasurement.

Keywords cameraparameters cameracalibration controlfield optimizationmodel largefieldvisualmeasurement L-Malgorithm

—119—

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文

全部栏目

基于控制场的高精度相机标定技术研究