一种面向倾斜影像三维建模的影像筛选方法
2020-06-30
来源:乌哈旅游
第27卷第3期 2018年3月 测绘工程 V01.27,No.3 MaL,2018 Engineering of Surveying and Mapping 引用著录:张明磊,张云生,邹峥嵘.一种面向倾斜影像三维建模的影像筛选方法EJ].测绘工程,2018,27(3):68—71,80. DOI:10.19349/j.cnki.issnl006—7949.2018.03.014 一种面向倾斜影像三维建模的影像筛选方法 张明磊,张云生,邹峥嵘 (中南大学地球科学与信息物理学院,湖南长沙410083) 摘要:倾斜摄影为城市三维建模提供更好数据源,同时增加摄影测量处理的数据量。文中提出一种基于自动空三 )C.5获取的航空倾斜摄影影像进行实验,当使用原始24.5 的影像数据时,模型优化时间减少 结果稀疏点构建粗略表面模型的影像筛选方法,在保证精度相当情况下,减少参与三维重建的影像数据量,提高建 模的效率。利用 为原来的36.1 ,除个别植被区域外,利用筛选后影像重建的模型精度与采用全部影像重建的结果相当。 关键词:三维重建;倾斜影像;影像筛选;模型优化;Acute3d快速建模 中图分类号:P231 文献标识码:A 文章编号:1006—7949(2018)03—0068—04 An image selection method for 3D modeling of oblique images ZHANG Minglie,ZHANG Yunsheng,ZOU Zhengrong (School of Geoscience and Info-Physics,Gentral Sowth University,Changsha 410083,China) Abstract:Oblique photogrammetry provides a better data source for urban 3D modeling,however it increases the amount of image data for photogrammetry processing.In this paper,an image selection method based on sparse point cloud from automatic aerial triangulation is proposed.The method can reduce the amount of image data involved in 3D reconstruction and improve the efficiency of modeling. When only 24.5 of original images is used,the time of model optimization is reduced to 36.1%.Apart from some vegetation areas。the accuracy of the model is compared with the model reconstructed with all images. Key words:3D reconstruction;oblique images;image selection;model refinement;Acute3d rapid modeling 航空倾斜摄影系统可以从多个角度获取影像, 为建筑等物体提供了更为详尽的立面信息,丰富了 城市三维建模的数据源[1]。目前基于多角度影像自 动化三维重建的软件有PhotoScan、Pixel4D以及 可视信息,采用图割算法提取物体表面模型口],④采 用变分原理优化物体表面模型,获得精确的三维模 型L4]。该方法目前已成为室外场景建模的高精度方 法,比泊松表面重建算法具有更强的抗粗差能力, 而且对初始点云的质量要求也低[5-63。 上述提到的建模方法虽然对室外场景的建模 效果具有明显的优势,但要求计算机的计算能力较 高,大范围的建模工作也需要耗费大量的时间。多 Acute3d。PhotoScan主要擅长重建中小型物体, Pixel4D和Acute3d可以针对城市级别的场景建 模,其中Acute3d目前已经得到市场的广泛认可, 成为国内外主流的城市自动化建模软件。Acute3d 建模过程可以分为4个步骤:①根据影像的同名点 角度倾斜摄影在提供丰富建模信息的同时也增加 恢复相机的位置及半密集点云,②采用半密集点云 构建Delaunay空间四面体E引,③根据半密集点云的 收稿日期:2017-01一l0 影像数据量。以五镜头倾斜摄影系统为例,影像数 据量是传统摄影测量的五倍,这对数据处理的效率 提出了更高要求。针对此问题,文献[7]研究了海 量无序影像建模的影像筛选方法,在密集点云匹配 过程前将海量的影像数据划分为较小的子模块,其 基金项目:卫星测绘技术与应用国家测绘地理信息局重点实验室开 放基金项目(KLSMTA-201505);国家重点基础研究发展 计划资助项目(973计划)(2012CB719903) 第一作者简介:张明磊(1992一),男,硕士研究生. 通信作者简介:张云生(1984~),男,副教授,博士. 划分是出于执行密集匹配的目的。航空倾斜摄影 测量的影像在具有航线规划设计的条件下获取,因 第3期 张明磊,等:一种面向倾斜影像三维建模的影像筛选方法 此本文根据倾斜影像的特点提出用于三维建模过 程的影像筛选方法。在建模精度相当的情况下对 参与建模的影像进行自动筛选,减少参与建模的影 像,降低对计算机硬件的需求并提升建模的效率。 1方法 1.1筛选原理 Aeute3D实现的建模方法不依赖与场景密集点 云,但其优化阶段较为耗时,因此本文的影像筛选 基于空三过程得到稀疏点云构建的初始模型[8]。影 像筛选的依据是选取一定数量的影像使得初始模 型中有效三角面片的有效面积最大化。具体采用 式(1)计算: validAread—s(P[i])/dis(P[i],C ]).(1) 式中:validArea 为第i个三角面片在第 张影像上 的有效面积;P[ ]为初始模型的第i个三角面片; CD]为第J张影像的相机中心,s(P[ ])为Pri]的 面积,dis(P[/],CD])为PEi]中心到第 张影像相 机中心的距离。 由于倾斜影像数据在获取过程中是按照规范 得到的,即使相邻摄影中心的基线距离也不会离太 近[9],并且当 >2时最大摄影基线的长度通常达到 至少两倍的相邻摄影中心距离的长度。影像选取 时采用最大化有效面积,对于同样的有效三角面 片,若相机距离有效三角面片较远,其对应的有效 面积会相对较小,这一特性使得所选取的用于前方 交会出物方点的影像对具有更大的基高BtE ],也 就是说对于倾斜摄影测量的影像数据,在保证了以 上定义的有效三角面片的有效面积最大化时保证 了较大的基高比,从而保证在使用有限影像数量的 前提下保证精度。 1.2筛选过程 为了更具体的表示影像筛选的方法,先定义一 些相关的符号:初始表面模型记为S,初始模型上的 一个三角面片表示为P[i],其对应的法向量记为 ,l ,面积为s(PEi]),三角面片P[ ]的几何中心指向 第 张影像的摄影中心向量记为pc 。P[扫投影到影 像 上的面积为area;-( ),若满足条件area ̄( )>0 且向量 与向量 之间的夹角小于90。,则该三角 面片P 在影像 上可见,算法执行过程中每个三角 面片被标记为可见三角面片的次数记为faceCoun— ti,若标记的次数大于 则该将该三角面片记为有 效三角面片同时不再参与之后有效面积的统计,对 所有影像遍历所有三角面片后取有效面积最大的 影像作为被选取的影像,循环处理直至有效三角面 片的面积之和(validS)在所有三角面片面积之和 (sumS)中占比达到一定比例(threshold)终止,或达 到指定的选取的影像数量终止。影像筛选流程如 图1所示。 初 5内外参数 :l 其// /初始模型 …“ 一 遍历 中的三角面片在影像集中的可见性 计算每张影像对应有效面积 选取有效面积最大的影像参与建模 更新有效三角面片并将有效三角面片从 中移除 否达到终 输出所选取的影像集 图1影像选取流程 2实验结果与分析 本文方法采用C++语言和Visual Studio 2015实现,实验所采用的计算机主要配置:CPU: intel i7,GPU:GTX Titan X,RAM:32GB。 2.1数据描述 实验采用303张利用SWDC-5拍摄的武汉地 区倾斜影像,影像地面分辨率为0.1 m,对场景中 400 mX400 m的范围进行建模,覆盖此区域的影像 一共102张。经过影像自动空三后,利用空三获取 的三维点云重建初始三维模型,作为本文影像筛选 的模型输人数据。实验中两个不同的影像筛选策 略进行验证:影像筛选过程中参与建模的影像数量 达到45张时,模型有效三角面片基本已经完全覆盖 了初始模型(可根据有效三角面片占初始模型三角 面片面积比例确定),因此设定终止条件为45张最 有效的影像;影像筛选过程中参与建模的影像数量 达到25张时,模型有效三角面片基本已经完全覆盖 了初始模型,设定终止条件为25张最有效的影像。 影像筛选完后,固定影像的内外方位元素,利用A— cute3d对原始的102张影像,以及筛选后的45和 25张影像分别进行建模。为避免相机姿态参数对 模型精度产生影像,整个实验过程中三组数据使用 相同的内外参数,并且建模过程中固定这些参数。 2.2影像筛选实验结果与分析 为更直观的表示影像选取的过程,将随着选择 的影像数量增加初始模型中有效三角面片变化情 测绘T程 第27卷 况进行了 爪.从 2 t -】-以行 .前5张影像基本 能够使法 大致朝J 的 角 片至少…脱存 1张 i. 影像I 。 选择25张影像时。基本能够保证构成初 始模删的大多数 f『j Iru-]: ̄至少 现在4张影像上。 M 罔 呲 。 张 像 一I l l 曩 一 l 因 露 II ● l 5 翳 l l fd●_! l l 圜 !i :黥 1目 损失的精度仍住一个(; D(地面分辨牢)之内。 组 验的模 i!优化部分牦时统计信息如表1巾所 , rjj以行… 火 仃 精度的情况下,影像筛选 能夫 缩 谴愤时间。 表l 不同数量影像建模模型优化耗时信息统计 影像数毓 模型优化耗时 m 图2基于初始模型影像筛选有效三角面片变化过程 2.3模型重建实验结果与分析 重建结果如冈3所示.从税觉上看,使用本文提 的影像筛选方法获取的影像集进行一维建模与 全部影像 维重建效果ffl ‘{。 进一步验证.以 】n 张影像建、 的模 !为艰准模型.比较利 本文 方法选择的两纽影像嘬建模掣 0基准模型之间的 豪斯多大距离 ,以分析模 的差异。 4为将 两组采Ⅲ筛选后影像融建的模 与基准模型之问 影像筛选耗时/ 的豪斯多大距离渲染结果.从i冬l 4『{l可以看 j,模 差异较大的地方均…现佳卡rf被和动态变化的车辆 }}i 5平}l丧1可知 建模精度相当的条件下. {参卜j建馍的影像数 2 j. 1O2张筛选至25张时参 与模型优化的影像数艟缩减为原始影像数据的 ,模j 优化时间减少至采用原始数据进行建 f 所示为 组实验中所采用 模耗时的36.1 。 区域。道路_【 的车辆f{1了: 影像获取时是动态的. = 组建模结果理沦f 郇不能够恢复出其真实位 而植被Ⅸ域的影像往获墩时也『ij 能会受到风的影 响.另外植被 域的纹理也影n向 建效果 模型问 顶点的豪斯多夫距离统汁 如 5所示,_jI以荷 的影像成像时相机的位 姿态。从图巾可以看出, 肇f本文提f}I的力‘法 保证初始模型的有效 角 模型之问大多数差婷都存().15 m之内,实际建模 时参数没置采H{的分辨率为【].2 m,也就是说即使 用于建模的影像大}:Iffi减少埘r模型绝大部分 域 面片最大化时.申H机位姿基本覆盖 测区的各个方 f ,而卜l充分利Ⅲ_r 个方向的影像 第3期 j长u』】 .等:一种lfimJ倾斜 像 维建模的影像筛选,J 法 ·7l· O 5 O,OO6 O )2张影像 l5张影像 25gK影像 0 图3三组不同数量影像重建结果 ; lIl 45g1 ̄影f (_1)?5qi ̄影 图_l不同数量影像建模结果与102张影像建模结果间的豪斯多夫距离分布示意图 42 000 28 000 24 c)00 36()00 30 000 20 000 l6()00 釜24 000 1 8()00 l2 000 j2 00o 6 00(J 4 000 0 6()00 0 图5不同数量影像建模结果与102张影像建模结果间的豪斯多夫距离统计图 一 图6不同数量影像建模时采用的影像的相机位置姿态分布 (下转第8O页) .80. 测绘工程 第27卷 (上接第71页) 3结论 sson SUdace [53 KAZHDAN M。HOPPE H.Screened poireconstruction[J].ACM Transactions on Graphics (T0G),2013,32(3):29. 本文针对目前较为成功的Acute3d软件三维 模型耗时问题,提出了一种可以对参与模型优化的 .T0一 [6] HIEP V H。KERIVEN R,LABATUT P,et a1wards high-resolution large-scale multi-view stereo 影像进行预先筛选的方法。实验表明,本文提出的 方法减少模型优化的影像数量及建模所需时间,并 [C]//Computer Vision and Pattern Recognition, 2009.CVPR 2009. IEEE Conference OIL IEEE, 2009:1430-1437. 且提高建模效率的同时模型精度并未受到较大 影响。 参考文献: [13程效军,朱鲤,刘俊领.基于数字摄影测量技术的三 维建模[J].同济大学学报(自然科学版),2005,33 (1):37—41. . [7] FURUKAWA Y,CURLESS B,SEITZ S M,et aITowards internet-scale multi--view stereo[C]//Com—- puter Vision and Pattern Recognition(CVPR),2010 lEEE Conference on.IEEE,2010:1434—1441. cient [83 LABATUT P,P0NS J P,KERIVEN R.Effimulti—view reconstruction of large-scale scenes using interest points,delaunay triangulation and graph cuts [2]SHEWCHUK J R Tetrahedral mesh generation by Delaunay refinement[C]//'Proceedings of the four— teenth annual symposium on Computational geometry. ACM,1998:86-95. rC]//2007 IEEE llth international conference on computer vision.IEEE,2007:1—8. [9] 王成龙,刘昌华,李峰.基于SWlX;的国家基础航空 摄影测量可行性研究[J].测绘工程,2009,18(1): 14—18. [33 BOYKOV Y,K0LN 》G0ROV V.An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J].IEEE transactions on pat— tern analysis and machine intelligence,2004,26(9): 1124—1137. [1O] 王之卓.摄影测量原理[M=].武汉大学出版社,2007. BEL0GAY E,CABRELLI C,MoLTER U,et aI. [11] Calculating the Hausdorff distance between curves[J]. Information Processing Letters,1997,64(1):17-22. [4]FAUGERAS O,KERIVEN R Variational principles, surface evolution,PDEs,level set methods,and the [责任编辑:李铭娜] stereo problem[J].IEEE Transactions on Image Pro— cessing,l998,7(3):336—44.