面向电网公司的VR视觉融合展示技术

CHINA SCIENCE AND TECHNOLOGY INFORMATION Jan.2019·中国科技信息2019年第2期61万～200万◎DOI：10.3969/j.issn.1001- 8972.2019.02.030可实现度可替代度行业曲线linkappraisementindustry王占东1 李平舟1 赵佳琦1 梁 琨2*影响力真实度1.国网冀北电力有限公司；2.天津科技大学行业关联度王占东（1978－）男，硕士，高级工程师，主要研究方向：电力系统分析与控制、VR技术在行业领域应用等；李平舟（1984－）男，本科，高级工程师，主要研究方向：数据可视化、数据管理等；赵佳琦（1986－）男，本科，工程师，主要研究方向：电力系统运行、信息系统管理等；梁琨（1982－）通讯作者，女，硕士，副教授，主要研究方向：VR展示、大数据图像处理等。基金项目：国网冀北电力基于虚拟现实（VR）的全景展示技术研究服务项目（52010116001K）面向电网公司的VR视觉融合展示技术虚拟现实（VR）技术通过建立虚拟的现实场景与三维模型相结合为除由光照变化、动态场景和由几何校正引起的图像扭曲等引观众带来沉浸式体验。文章以电网公司运监中心展示需求出发，以全景图起的相邻图像重叠部分的颜色差异、光强不同及图像重影等像与三维模型为研究对象，依据透视投影原理，解决三维模型在全景图像中的视觉偏差与视角固定问题。并研究分析当前虚拟现实展示中实景虚拟问题，使多幅图像融合成一幅无缝的过渡平滑的全景图像。和三维建模相结合的关键技术，创新性地采用VR视觉融合技术打造全全景图像可以分为两种，一种是360°全景，在水平线方新的电网公司运监中心VR展示平台。向360°以上的拍摄全景图，向上或向下45°则无图像，如图1所示；另一种是720°全景，在水平方向环顾一周捕获图像我国电力行业的数字化设计技术，伴随信息技术的发展，的同时，在垂直方向捕捉全部图像，因此，720°全景为水平功能设计出现了从二维平面设计向三维实体模型和互动设计360°加上垂直360°捕获的全景图像，如图2所示。转化的势头。随着近些年虚拟现实技术的和推广普及，使运营近年来，随着人们对视觉要求的提升以及硬件设备的升监测手段更加丰富多彩，数据展示可视化，全景展示更加直观。级，720°全景异军突起，在全球范围内得到迅速发展和应用。电网运营监测中心展示平台主要用于在短时间内用数字以720°全景技术为代表的新视觉技术给人们带来了沉浸式化的方式向重要来宾展示电网公司的全方位成就。现有大屏的真实临场感受，通过交互式程序设计让体验内容更加丰富，采用的成像技术多采用单镜头数字式光学投影（DLP），不在情景模拟培训、房地产楼盘展示、在线旅游、多人VR娱具备开发沉浸式虚拟现实（VR）展示场景的硬件条件。尽乐互动等诸多领域满足人们对于产品展示和教学的需要，可管利用3D立体头盔和操作手柄相结合的技术方式能开发出接入多种外设、传感器与用户进行交互。具有强烈沉浸感的展示场景，但设备的熟练应用需要一个充制作720°全景展示的设备有数码相机、微单、数码单分训练过程，无法满足运监大厅面对重要来宾时时间短、效反相机等，配合三脚架以及具有全景功能的云台。近些年，果强的展示需求。因此，本文融合了虚拟现实技术与720°随着大疆无人机等产品越来越成熟，因其独到的高空拍摄能全景展示技术二者的优势，将三维实物模型与全景背景相结合，给观众带来全新的沉浸式的交互体验。VR视觉技术分析实景虚拟技术实景虚拟技术是以全景图像技术为核心、以真实场景为图1 360°全景示意图素材的虚拟现实展示技术。实景虚拟采用数字化图像手段全方位多角度地实地拍摄全景图像，并利用计算机图像融合技术进行后期合成，最终通过程序加载图像内容高度还原真实场景，让观者可以产生更具亲临感的沉浸式体验。目前，实景虚拟技术主要在虚拟现实中对真实场景的还原展示方面。与传统的三维建模制作的场景相比，实景虚拟的现场真实感更强，且开发成本更低、周期更短。实景图像的无缝融合方法是全景图像技术研究中热点问题。现有的全景图像技术中最重要的是图像配准和图像融合两个方面。图像配准是要找出两幅或者多幅图像之间的重复部分，而图像融合是用来消图2 720°全景效果图-83-◎61万～200万中国科技信息2019年第2期·CHINA SCIENCE AND TECHNOLOGY INFORMATION Jan.2019力，使用无人机成为全景拍摄的主流工具之一。本电网运监VR视觉融合原理中心展示平台采用无人机配置一个摄像机进行实景拍摄，为在基于720°全景图像的实景虚拟场景中，用户可以使了保证良好的视觉效果，拼合成一个720全景展示共采集到用头盔等设备或在裸眼状态下无死角进行观察，设备通过陀34张图像。这些图像均采用DNG对数格式，相比于传统螺仪等仪器感知视角的变化，通过后台计算将纹理的变化投的JPG格式图片，DNG图像文件中记录了更为丰富的亮度影在场景中。系统在此过程中将720°全景图像投影在一个和色彩信息，能够在一定程度上调整曝光。即使在传统JPG球形几何模型上面（通常称为全景球），使观众在浏览过程格式图像中已经曝光过度一片死白，通过DNG对数格式仍中产生环视四周的真实感。然而，目前实景虚拟展示技术最可以将曝光度拉回到正常范围。此外，调整颜色时DNG格大的弱点是视角固定，只能定点环视而无法在场景中随意漫式的图像损失非常小，而JPG格式调色图像损失则很大。游。常用解决方法是通过增加拍摄热点来改善观看视角单一运监大厅用于展示的整个大屏幕由16块屏幕组成，对显卡的问题。因此全景不能改变视角或只有少数视角可变，这个的压力非常大，因此，本文考虑到制作的内容不宜占用过多是一个很大的局限。通过VR视觉融合技术可以使观众看到的系统资源。整个实景图像合成后的分辨率共1亿多像素（1.9全景环境及其立体透视变化，给观众一种实物在真实的场景万*1万像素），迎合大屏幕的展示效果。中移动的临场感，克服了全景的呆板。三维建模技术透视投影是为了获得接近真实三维物体的视觉效果而将三维建模技术具体包括模型几何建模、模型材质设置和三维坐标变换为二维坐标的一种方法。相同大小的形体往往真实感贴图、虚拟现实系统初始化、模型对象化导入与实时呈现出有规律的变化等一系列的透视特性。透视投影的原理呈现几部分，其中三维建模是核心部分，如图3所示。是首先建立一个由视点V和视平面F两部分构成的透视投影3D模型是虚拟场景的必要元素，模型的建立和贴图的模型，视点是观察者或摄像机的位置，视平面是渲染三维对绘制将直接影响虚拟场景的真实性。目前已有Autocad、象透视图的二维平面。对于世界中的任一点P，构造一条起3Ds Max， Maya、C4D、Rhino、Modo等工具用于3D点为V并经过P点的射线R，R与平面F的交点PF即是模型建模。同时以Unity为代表的虚拟互动引擎，可以轻松P点的透视投影结果。导入3Ds Max、 Maya等软件导出的FBX格式模型和交设位于可视区间内的任意一点P（x，y，z）在视平面互动画角色（Avatar绑定角色），实现虚拟场景与空间营造，的透视投影为P’（x’，y’，z’），图6是在X－Z平但要注意角色与场景的刚体碰撞方式的把握、场景材质与光面上的投影结果。z’为视点到视平面的距离等于n。影营造实现三维场景的构建。目前，以几何建模为代表的虚根据三角形相似原理，可得 ：拟现实应用集中在非自然场景，具有很好的交互性。x’/n = x/z，y’/n = y/z （1）角色骨骼绑定解上式得 ：浸入式虚拟现实系统通过运动重定向技术实现虚拟角色x’= x*n/z，y’= y*n/z，z’=n （2）对真实用户角色的复制，完成实际用户动作与虚拟环境的交人眼在观察物体时会有近大远小的透视现象，在三维场互，实现沉浸式的交互体验。运动重定向技术是将已有运动景中也应遵循这一规律。物体的大小由与摄像机的位置相关，数据映射到新的目标模型上，并确保新的模型在保持原有运动特征的基础上符合运动学原理，使目标模型的运动流畅自然，如图4所示。通常的运动重定向方法是将已有运动数据直接应用于新的目标模型上，即直接将模型各关节的运动角度复制到目标模型上。然而源模型和目标模型往往在比例、结构和初始姿态上不尽相同。如果直接将运动数据复制到目标模型，则很容易违背原有运动中固有的运动性质，从而产生运动失真，出现诸如脚部的穿地、悬空和滑步等错误。引擎数据优化在引擎数据优化方面，为了节省显卡和CPU资源，模型应尽量减少面数占用，较少直线、平面的分段数，以三角图3 VR展示中巡检面作为面数统计的单位。与影视模型的建模方式不同，交互机器人的3D模型图4 巡检机器人角色骨骼绑定图程序所使用的三维模型要尽可能的做到最简化，确保每一根线都是结构线，起到修饰外形轮廓的作用。不同于传统影视模型，Unity3D中的模型需要将四边面转换为三角面。法线贴图是游戏中广泛使用的一种细节增强技术。为了在节省面数的同时尽量多的展现细节效果，三维模型需要使用法线贴图技术来表现模型没有展现的结构细节。通过贴图的RGB信息值来表示模型表面渲染的像素点xyz三个维度信息（a）贴图前（b）贴图后变化，让平面模型也可以产生丰富的起伏和细节，如图5所示。图5 法线贴图前后对比图-84-CHINA SCIENCE AND TECHNOLOGY INFORMATION Jan.2019·中国科技信息2019年第2期61万～200万◎即距离摄像机较近的物体就会看起来比较大，而距离较远的图8中红色圆圈标注了引擎中摄像机的位置，绿色圆圈标注物体就会看起来比较小，从而导致视觉偏差。如图7所示在了引擎中机器人模型的位置，由于机器人是有动画变化的，全景球视图下实际物体与摄像机距离产生了视觉偏差。因此，通过公式3的计算在一定程度上解决了视觉固定的问题。还原实物的真实比例并且计算物体与摄像机之间的相对距离是VR视觉融合过程中非常关键的两个因素。只要计算出实物模tanα2=d （3）型到三维场景中摄像机的距离就可以还原真实的透视比例。其中，a表示摄像机视角，l表示物体实际尺寸，d表示二维图像与三维影像融合方法像机到物体的距离。场景图像与三维模型的融合计算VR全景视觉融合算法720°全景是基于二维图像的三维影像还原技术。它依目前全景拼接方法常用的是基于特征点匹配的方法，它靠专门的设备拍摄真实照片，经过融合算法将每一幅单帧图是利用两幅图像中的特征点进行局部特征的匹配。匹配过程像进行变形融合，拼接成在垂直和水平方向都连续的完整全中可能会出现桶型失真、枕型失真、以及细微处无法拼接的景图，再利用三维几何图形、摄像机、交互热点等程序控制问题。如杆塔之间的电线使用传统的拼接算法会出现明显的手段，形成了一套完整的全景制作、拼接交互技术流程。电缝隙，如图9（a）所示。特征点匹配算法有SURF算法、网运监中心展示平台主要依据透视原理将全景展示与三维模SIFT算法、ORB算法、FAST算法等，但这些算法在精度型相结合，通过三维模型展示无人机巡线、机器人巡检的真上还略有不足。这种情况下，通常会采用手动修复的方法，实环境。图8展示了在引擎中虚拟物体与摄像机的位置关系。修复时间较长，对图像修复人员技术要求较高。因此，本文机器人模型在全景空间中有具体位置，当它在空间中运使用一种VR全景视觉融合算法，它主要针对线性图像无缝动时，摄像机与物体之间的距离需要通过公式3进行计算。融合算法（Linear Image Fusion Algorithm或LIFA算法）。该算法借助于现有的观测数据集通过迭代方式估算模型的中的未知参数，通过调整迭代次数来得到更合理的结果。该算法由满足模型的点和不满足模型的点共同组成，通过不断选择数据中的一组随机子集来达成目标。LIFA算法在 SIFT 特征筛选中有以下几个主要步骤。步骤一：抽取样本（样本匹配）：从子集中随机抽取样本，看是否满足匹配点对。 步骤二：根据这些获得的已知匹配点对分别进行计算样图6 透视投影关系图本的重合度，并计算位置点的T变换矩阵 M。 步骤三：结合已知的匹配点对，变换矩阵 M、误差度量函数计算满足此矩阵的一致集 consensus，并获得此集合中一致集元素的数量。 步骤四：通过数据迭代不断地计算的结果获得新的一致集，根据其中元素的个数判断是否为最优，如果数量最大，新的一致集为最优一致集。 步骤五：设置允许的最小错误概率，当计算获得的错误概率 p大于允许设置值时则重复前面的几个步骤，继续产生迭代，直到小于所设置的最小错误概率值。 步骤六：利用错误概率来重新估计模型的准确性。反复执行评估算法，直到执行次数超过设置的最大运行次数，此时所得到的模型则为最优，或者被认定无法满足而放弃使用。图7 视觉偏差原理图标准是计算这个子集中点的数目，如果太少就被舍弃，如果足够多就可以选用。通过以上步骤的迭代，最终获得较为满意的修复结果，如图9（b）所示。异步载入方法异步载入是指在打开程序时只载入页面文件，当用户点击打开浏览全景图像的时候系统才会将全景图像信息载入。由于全景图像每张分辨率高达8192*8192，并且同时载入两张，如果每个全景都在开始时载入会导致系统负担过重，而通过异步载入的方式，每次只调用用户使用的图像信息，没有打开的图像不会掉入内存，从而保证了程序运行的效率，图8 全景图中虚拟物体与摄像机的位置关系示意图节省系统资源。为了减少对内存的占用，在全景图像加载时-85-◎61万～200万中国科技信息2019年第2期·CHINA SCIENCE AND TECHNOLOGY INFORMATION Jan.2019（a）修复前（b）修复后图9 全景图中的缝隙修复前与修复后对比图图10 电网运营监控中心展示平台架构图可通过以下JavaScript脚本实现异步载入：public class Dynamicloading ： MonoBehaviour{//动态载入模块化……public void DestroySene（）{ //关闭场景图11 巡检机器人3D模型在720全景下效果图 if （scenePrefab!=null） { Destroy （scenePrefab）； } }1000千伏特高压工程和张北风光储输示范工程的真实样貌； public void LoadVR（string vrName）//载入场景在社会责任分场景用三维技术模拟展现冬奥会配套工程等。观 { DestroySene （）； //关闭上一场景众可以通过运监大厅的大屏幕裸眼观看感受现场环境。VRPrefab = （GameObject）Instantiate 机器人巡检指用机器人在日常巡检工作中做好对输电（Resources.Load （“VRball/” + vrName））；线路的巡视和维护工作，也是电力系统日常检查巡检工作中// 将预置的全景prefab 载入到场景VRball中的一个重要环节。但由于机器人的工作环境和地理位置不宜VRPrefab.transform.parent = VRParent.人员进入，拍摄机器人巡检工作非常困难，普通视频拍摄很transform；}难让用户明确的看到这一过程，是一个较难表现的过程。……}720°全景结合虚拟三维无人机的动画演示让机器人巡检的过程可以清楚的展现在大屏幕上，如图11所示。应用VR视觉融合技术在电网VR交互平台中的综合采用720°实景虚拟结合三维模型动画演示还有利于大电网运营监控中心展示平台分为：三维模型数据、外部幅度降低成本。如果全部场景均使用三维模型制作，则成本数据库、Unity3D开发环境、程序接口层、以及图形表现层 非常高昂，并且三维建模的场景缺乏真实感，与现场拍摄照5 层结构，如图10所示。片的效果无法比拟。同时全部三维建模的虚拟现实场景，在三维模型数据包含图像数据和模型数据，图像数据主要运行和播放的时候对计算机性能也提出了非常高的要求，在是展示的图像元素、文字信息、VR全景图、演示动画等。运监中心的大屏幕上，分辨率高达11200像素的情况下，系外部数据库是指程序中调用的外部数据库信息。本运监中心统硬件所面临运行压力会成倍增加，在效果上容易产生卡顿展示平台包含数据查询功能和数据动态展示，因此需要开的情况。因此，使用基于720°全景的实景虚拟方式营造了发一套心跳系统实时读取和刷新数据库信息并展示在大屏幕真实的使用场景，三维模型的虚拟动画通过视觉融合方法有上。在Unity3D开发引擎中将数据进行汇总，读取三维模型效解决了视觉偏差的问题，既提高了系统运行效率，又将更信息、数据库信息以及各种图像信息，进行交互展示设计和好地展示效果表现出来，让用户身临其境的感受到环境样貌。开发，将信息进行有机整合、分类规划；对于需要演示的内总结容制作动画进行形象的表现。引擎中针对展示设备进行程序本文以电网运监中心展示需求出发，在虚拟现实应用设接口对接，调用设备API接口程序或者将设备的SDK开发计领域的进行了全新的尝试，创新性采用VR视觉融合技术工具整合进引擎，并在开发中进行调用和调试。最终将程序打造交互式展示场景。其主要思路是将720°实景虚拟技术打包输出成可执行文件，在计算机上进行表现。与三维影像相结合，实现了在超宽大屏幕上的实景动画演示。Unity3D交互引擎与JavaScript 开发语言的结合运用，在VR视觉融合过程中，一是利用一种计算视觉偏差的方法，实现了交互式图形、场景漫游、三维展示等一系列的交互功有效弥补了传统透视关系中视觉与实际物体距离的偏差，并能，满足了参观者直观浏览并与之交互的实际需求。在一定程度上解决了视觉固定的问题；二是针对含有电力线基于虚拟现实（VR）技术的运监中心交互式展示场景采元素的全景图拼接缝隙问题采用LIFA算法实现了更好的拼用VR视觉融合方法，在二维平面中引入720°实景虚拟技术，接效果；三是在以机器人巡检为例模拟展示在720°全景图将三维模型与720全景相融合展示了机器人巡检和无人机巡场景下3D模型动画演示视觉效果。本文为VR视觉融合技线等先进运维技术；在电网建设和服务新能源分场景分别展示术在展示领域的应用提供了一种新的思路和方法。-86-