第37卷 第12期2019年 12月数字技术与应用Digital Technology &ApplicationVol.37 No.12December 20192019年第 12 期设计开发DOI:10.19695/j.cnki.cn12-1369.2019.12.102基于Hadoop云平台的大数据集群服务运行状态监控及预警研究徐育彪(和元达信息科技有限公司,广东广州 510305)摘要:大数据分析平台集成的功能较多,保存的数据规模也非常大,访问次数也非常频繁,因此大数据分析平台运行过程中需要加强状态监控,以便能够实时的分析平台的负载能力,提高平台的资源利用率。本文详细地分析大数据集群服务运行状态监控和预警模式,从操作日志、运行状态等多个方面分析平台状况,以便能够及时的处理突发事件,保证大数据平台安全稳定运行。关键词:大数据;运行监控;预警;数据挖掘中图分类号:TP277文献标识码:A文章编号:1007-9416(2019)12-0181-010 引言目前,电信运营商和移动互联网等企业为了吸引用户,为用户提供了更多的信息服务,不仅包括传统的数据语音通信服务,还包括高清视频、文本图像等内容服务。为了提高用户服务质量,抢占更多的市场份额,已经构建了较多的大数据平台,这些平台承载着数以亿计的用户和海量数据资源,监控这些平台的运行状态就显的非常重要[1]。因此,本文基于笔者多年研究,以突破基于移动互联网的大数据分析技术,形成“基于移动互联网的业务支撑大数据管理平台”为宗旨,设计一个新型的大数据平台预警和监控模式,实时监控大数据平台运行情况。1 大数据集群服务运行状态监控及预警研究大数据平台包括的功能非常多,分别是采集层、存储层、计算层、模型层、服务层、应用层、运营管理及安全备份。因此,大数据集群服务运行状态监控及预警就显的非常重要,也是大数据平台的一个重要子功能[2]。系统监控的指标主要包括三个方面,一是物理硬件运行状态,比如CPU、存储器等,二是监控接入的应用软件数量和访问用户数量,三是监控系统的运行负载能力、运行可靠性等,其中最为关大数据集群服务运行状态键的就是物理硬件的监控,因为这些监控和预警 设备涉及到数据信息的加工和保存,一旦发生错误就会产生不可估量的损失。监控预警可以使用状态数据挖RedHat操作系统采集数据 掘和分析模块输出。大数据集群服务运行状态监控和预警功能可以归纳为以下五个方构建Hadoop集群监控平台 面,分别是选择数据采集及管理系统、构建Hadoop集群监控平台、数据数据整合和预处理 整合和预处理、数据信息存储、状态数据挖掘和分析[3]。如图1所示。数据存储 (1)数据采集及管理系统。大数据平台运行中,其面临的数据资源非常多,为了提高这些数据资源的组织管状态数据挖掘和分析 理效率,需要使用与之匹配的操作系统,尽可能的提高大数据的优先级访图1 大数据集群服务运行问、热点数据存储,管理大数据的物理状态监控和预警业务流程存储空间,实现资源的调度和分配。本文结合监控平台的实际情况,选择RedHat操作系统,其可以作为底层工具,实现数据采集和处理,保证系统的可扩展性。(2)构建Hadoop集群监控平台。Hadoop是一个软件平台,其可以运行大数据处理软件,最核心的技术为MapReduce,能够将大量的计算机组成一个集群,实现海量数据分布式计算,实施监控平台的运行。(3)数据整合和预处理。大数据集成的资源非常多,比如文件日志、关系数据、对象数据等,这些有结构性数据也有非结构性数据,因此在把数据整合在一起时需要进行预处理,以便能够利用企业服务总线进行通信传输,提高数据的一致性和可靠性。数据预处理可以利用HiveSQL工具,能够实现信息加工。(4)数据存储。大数据平台最重要的功能就是存储。数据存储可利用HBase和Kudu等存储管理工具,本文选择使用HBase软件,建立一个生态存储圈,不断地提高大数据平台的存储和管理水平,还可以降低访问延迟,提高数据分析能力。(5)状态数据挖掘和分析。该平台可以针对系统平时运行的日志数据进行挖掘和分析,从而可以发现其中产生的错误,然后追踪和分析错误产生的原因,并且查看关联的软硬件资源,从而及时的发现存在问题,迅速采取措施解决问题。2 Hadoop云平台在大数据集群服务运行状态监控及预警中的应用与设计大数据集群服务运行状态监控及预警平台构建完毕之后,其最为关键的就是Hadoop云平台的应用和设计。Hadoop云平台目前已经吸引了很多的商业公司进行研发和设计,构建了各种开源组件,包括Sqoop、Hbase和Spark等。Hadoop包括很多的组成元素,最底层的组成元素就是Hadoop Distributed File System(HDFS),其可以保持Hadoop集群平台中的所有存储节点文件,HDFS的上一层就是一个MapReduce引擎,这个引擎包括两个组成部分,分别是JobTrackers和TaskTrackers,利用Hadoop可以实现数据处理和操作,进一步满足分布式数据操作。Hadoop云平台是一个为大数据平台提供并行处理的计算模型,更适用于集群平台高性能计算,允许数以亿计的节点进行分布式集群,可以实现分布式操作服务。Hadoop云平台提供一个庞大的、设计精良的并行计算软件,自动化地完成计算任务,分配大数据存储空间资源,实现数据分布存储、通信和容错处理。Hadoop云平台能够处理海量的半结构化数据,利用并行的结构解决特定的、复······下转第183页收稿日期:2019-11-03作者简介:徐育彪(1983—),男,广东揭阳人,本科,中级工程师,研究方向:大数据、人工智能。181应冬梅 郭阳宽:薄壁零件测量系统研究实现2019年第 12 期 图7 a)点云图 b)点云滤波图 c)三维重建图是软件处理得到的点云图、滤波后点云图以及获得的零件三维图。4 结语本文研究实现了对薄壁零件三维测量系统的硬件系统搭建和软件算法编写,实现了对薄壁零件的三维测量,并且基于面结构光的单目视觉测量系统结构简单,成本低,有望应用于其它物品的三维检测。只是算法优化有待进一步完善,以进一步确保检更高的精度。参考文献[1] 杨洁,李乐.基于机器视觉的表面粗糙度测量与三维评定[J].光学技术,2016,42(06):491-495.[2] ZHANG G,WEI Z.A novel calibration approach to struc-turedlight 3D vision inspection[J].Optics ＆ Laser Tech-nology,2002,34(5):373-380.[3] 王秀鹏.基于面结构光的航空零部件三维测量和精度检测[D].华中科技大学,2012.图5 时间相位展开算法结果示意图图6 四步相移光栅图四步相移图案至测量零件表面采集的变形条纹图;图7的三幅图分别Research and Realization of Mechanical Parts Measurement SystemYING Dong-mei,GUO Yang-kuan(Key Laboratory of Beijing for Optoelectronic Measurement Technology, Beijing Information Scienceand Technology University, Beijing 100192)Abstract:A 3D visual measurement system based on surface structured light is designed for mechanical parts. The 3D reconstruction of the partsis realized by the key algorithms such as system calibration, four-step phase shift and time phase expansion. The experimental results show that thescheme of obtaining the parameters of the parts by the system has high accuracy.Key words:surface structured light; four-step phase shift; time phase UNWRAPPING; three-dimensional reconstruction······上接第181页杂的数据处理问题,比如在一个关系数据库中,其可以使用SQL语言执行数据插入、查询、修改和删除操作,还可以使用传统的C++语言、Java语言等解决这个问题,实现数据库操作语言与传统程序语言的有效结合,实现一个功能更加强的数据处理功能。台的服务水平和质量。参考文献[1] 宋亚奇,周国亮,朱永利,等.云平台下输变电设备状态监测大数据存储优化与并行处理[J].中国电机工程学报,2015,35(02):255-267.[2] 张帅,贾如春.基于Hadoop的大数据信息安全监控云平台设计与研究[J].计算机测量与控制,2017,25(09):72-74+78.[3] 刘殊.基于Hadoop的分布式云监控平台系统的研究与设计[J].电子设计工程,2016,24(15):9-12.3 结语大数据平台的正常运行影响运营商和内容服务商的用户体验,因此加强大数据平台的运行监控和预警,及时的优化存储空间和占用资源,就可以提高平台的可用性、可靠性和完整性,也可以提高平Research on Monitoring and Early Warning of Big Data Cluster Service OperationStatus Based on Hadoop Cloud PlatformXU Yu-biao(TechViewInfo Co.,Ltd.,Guangzhou Guangdong 510305)Abstract:The big data analysis platform integrates more functions, the scale of the stored data is very large, and the number of visits is very frequent.Therefore, the status monitoring of the big data analysis platform needs to be strengthened in order to analyze the load capacity of the platform in real timeand improve The resource utilization of the platform. This article analyzes the operation status monitoring and early warning mode of the big data clusterservice in detail, and analyzes the platform status from various aspects such as operation logs and operation status, so as to be able to deal with emergenciesin time and ensure the safe and stable operation of the big data platform.Key words:big data; operational monitoring; early warning; data mining183