互联网高级持续性威胁分析取证手段及技术研究

互联网高级持续性威胁分析取证手段及技术研究

白浩

（中移动信息技术有限公司内蒙古分公司, 呼和浩特 100050）

摘　要　本文主要对互联网高级威胁、原始流量分析手段及技术进行研究和分析，阐述了该方面研究的现状及主要技术手段，并说明了研究互联网高级威胁重点及难点主要是如何有效利用获取的信息进行全面分析。本文研究了一种新型的、典型的互联网威胁分析系统，该系统针对原始流量进行采集和监控，对流量信息进行深度还原、存储、查询和分析，发现网络安全事件的具体原因及可能存在的风险，对重大互联网安全威胁进行预警及预防提出了一种全新的解决思路，在保障重要信息系统的网络安全方面有了技术及理念性的创新。关键词　威胁分析; 高级持续性威胁; 流量采集中图分类号 TN918 文献标识码 A 文章编号 1008-5599（2019）12-0070-07从2010年互联网大力发展以来，网络各种攻击及互联网威胁越来越多，IDC调查发布的攻击事件数量急剧上升，每年增长达到50%以上。尤其是随着高级持续性威胁（APT）这类攻击形式的出现，使得互联网攻击逐渐深入到各个领域，从硬件到软件到网络，从服务器到移动终端，无孔不入。APT的出现对全球各国的核心系统及网络都造成了非常大的威胁，随着APT攻击事件数量的不断上升，国家、企业的网络信息系统和数据安全面临严峻挑战。为提高国家信息安全保障能力，2015年1月，公安部颁布了《关于加快推进网络与信息安全通报机制建设的通知》（公信安[2015]21号）文件。通知要求建立网络与信息安全信息通报机制，积极推动专门机构建设，建立网络安全监测通报手段和信息通报预警及应急处置体系，明确要求建设网络安全监测通报平台，实现对重收稿日期：2019-11-21要网站和网上重要信息系统的安全监测、网上计算机病毒木马传播监测、通报预警、应急处置、态势分析、安全事件（事故）管理和督促整改等功能，为开展相关工作提供技术保障。2017年6月，《中华人民共和国网络安全法》正式施行，说明网络安全已经上升至国家战略层面，进行网络安全的建设是我国发展和实现现代化的必经之路。1 研究现状

在上世纪末，国外就已经开始对APT攻击、网络安全风险的检测及处置开始进行研究。美国、加拿大等发达国家己经建立了国家标准，并且组织了互联网威胁分析评估体系，通过该体系的建设，设定了相关的评估标准、方法和技术，并且针对提出的方法技术展开了实70

2019年12月 第 12 期（第32卷 总第268期）月刊2019年 第12期中国移动网络与信息安全专题 电信工程技术与标准化践，对互联网安全风险进行了检测和告警，并在这基础之上研究出了多种网络安全风险的检测评估手段。根据研究出的检测评估手段，延伸开发出了许多利用大数据分析的检测技术，该技术能有效的对APT攻击进行检测和预防。目前，已经成熟的基于大数据分析检测技术形成的技术主要有异常流量检测技术、恶意代码特征匹配检测技术和互联网安全事件挖掘技术3种。基于高层网络事件融合的检测技术主要是安全事件关联分析。因此，本节针对4种安全检测技术分别进行介绍和分析。1.1 异常流量检测技术异常流量检测是通过设置网络流量探针，对所有流经流量进行镜像，然后通过分析、统计、数据归并、机器学习及人工智能分析的手段，检测网络流量中的非正常交互流量。异常流量检测技术最先依赖的是流量探针，流量探针主要通过Sniffer、NetFlow、Fprobe和Flow-tools等几种检测技术来采集网络中的数据及各类信息，然后从数据中通过数据归纳及人工智能分析发掘出流量中的异常数据信息。常用的数据信息提取方法有以下两种。（1）以网络流量中各层数据的分组头信息为单元进行数据分组检测，作为数据属性，例如网络层的源/目的IP和传输层的端口等。（2）以网络流量的源/目的“身份”信息作为依据，判断流量行为是否合法，以此作为数据属性，例如两个主机的通信时间范围是否为正常业务时间，主机间的数据交互字节数及流量熵是否正常等。这种以网络流量的行为作为依据对异常流量的检测，相较于基于数据分组头信息作为检测依据的方法更加高效且准确。异常流量检测技术要对海量的数据进行检测，但是互联网数据流量往往非常巨大，并且APT攻击往往持续时间非常长，所以异常流量检测技术容易对宽时间域内的网络风险及威胁出现漏测的情况。并且，APT攻击是多种攻击手段的组合，而异常流量检测技术的数据属性检测方式较为单一，因此对于APT攻击的检测存在一定的局限性。1.2 恶意代码特征匹配检测技术恶意代码是指用于完成特定恶意功能的代码片段，其定义与恶意程序和恶意应用类似。恶意代码主要包括计算机病毒、蠕虫、特洛伊木马、后门、RootKit、僵尸程序和组合恶意代码等类型。恶意代码特征匹配检测技术是通过对收集恶意代码的MD5特征，形成海量的恶意代码特征库，然后通过将检测到的网络流量中的数据与恶意代码特征库中恶意代码的特征进行人工智能对比分析，以此来识别是否为网络攻击。就目前的研究来看，通过特征库的方式进行恶意代码识别的检测技术，无法对新型未知的恶意代码进行处理，更何况恶意代码的变种更是层出不穷，恶意代码的类型及数量成爆炸式增长，特征匹配技术无法应对这一威胁。因此，恶意代码检测技术与异常流量检测技术一样，逐渐开始研究基于行为的恶意代码检测技术。基于行为的恶意代码检测技术的核心是提取数据特征和分析异常数据。恶意代码的特征提取主要有以下两种方法。（1） 静态特征提取方法。该方法采用文件结构分析、反编译、反汇编、控制流和数据流分析等技术，不需要使用沙盒，也不需要运行任何程序，直接提取疑似恶意代码程序的组件、函数及控制流等参数，作为恶意代码检测的静态特征码，通过特征码的匹配进行恶意代码的检测。这种方法能够有效识别已知恶意代码，但是对于加壳、变形和代码混淆等技术下的恶意代码检测率相对较低。（2） 动态特征提取方法。该方法采用Anubis、CWSandbox、NormanSandbox和Joebox等分析工具，利用沙盒技术，直接在沙盒中运行恶意代码程序，通过运行后的结果反馈，进行提取API操作、文件系统操作、函数访问和系统调用等来识别是否为恶意代码。这种方法的优缺点与静态特征提取方法正好相反，对于变种恶意代码的检测率非常高，但是检测速率非常慢，并且对设备性能的消耗很大。因此，现阶段往往将这两种方法进行组合，先使用静态特征提取法对已知程序进行检测，71

2019年12月 第 12 期（第32卷 总第268期）月刊

电信工程技术与标准化 中国移动网络与信息安全专题对无法识别的程序进行沙盒模拟运行，以达到恶意代码检测效果。1.3 互联网安全事件挖掘技术互联网安全事件挖掘技术是从互联网数据中学习主机及用户在网络中的行为方式，通过挖掘用户在网络交互中的社会属性和对社会属性的分析进行对攻击形式、攻击检测、网络安全防护提供依据和指导。互联网安全事件挖掘技术在互联网风险检测方面主要分为两种。一是将用户在互联网上的社交行为或通信行为进行建模，通过机器学习建立信任模型，通过在线监控，对比分析将违背信任模型的行为归纳为风险事件，快速定位攻击者；二是在互联网用户中收集攻击者的社会属性，并进行定义，将攻击者的行为定义为攻击事件，实现攻击行为的溯源和攻击意图发现。互联网安全事件挖掘技术可以识别用户行为异常，这些异常行为可以作为攻击事件和风险检测的依据，但是互联网中的信息量十分巨大，识别及分类这些信息及用户交互行为的工作量巨大，识别能力有限，只有配合异常流量监测技术和恶意代码检测技术一起使用，才能有效地检测互联网安全风险。1.4 安全事件关联分析技术安全事件关联分析技术是指将底层的安全威胁发现技术进行整合，并将相关信息，如源/目的IP、用户几种不同行为等信息进行关联，通过综合分析、归并将安全事件呈现出来。安全事件关联分析技术分为以下4种。（1) 安全设备报警关联分析。这种关联技术是将用户现有安全防护设备进行关联，其关联的关键是将报警数据各个维度的报警值进行相似度分析，形成相似度度量模型，然后利用机器学习及人工智能，各维度的报警日志进行权重分配，形成加权算法，最后通过综合加权方式分析报警日志的匹配度以确认其真实性，并将超过报警阈值的预警进行聚合，实现低误报率、高检测的安全联动防护。（2) 网络和主机安全关联分析。这种方法是将网络流量的检测和主机状态情况进行关联分析，利用大数据2019年 第12期分析平台，先将异常流量进行分析，得到疑似或确定的攻击对象，再通过对内网所有设备、服务器、中间件及终端的主机特征进行检测，发现主机特征异常的情况，与异常流量进行匹配，关联分析以提高检测的准确率。异常流量的检测一般是利用聚类方法进行相似度匹配，而主机特征的检测往往是通过反病毒工具进行模型匹配，最后将二者进行关联，得到所有主机的综合可疑度，进而确认失陷主机和恶意攻击入侵程度。（3) 不同领域安全事件关联分析。该方法主要是利用安全领域不同类型设备、信息和安全事件等因素进行属性融合，通过各类安全事件的并发进行攻击检测。大部分系统建设部署方案与网络拓扑信息一致，可以将IP地址与物理地址进行关联，实现从软件到硬件的一一对应，进而帮助攻击事件的溯源。（4) 攻击步骤关联分析。这种方法广泛应用于各类态势感知产品中，主要是起到预警作用，其具体技术方法是将已知攻击、攻击方式和对象进行匹配分析来识别攻击意图，作为对下一攻击阶段的预警依据。常用的攻击模型主要有概率攻击图或最大概率攻击路径等。目前阶段，该方法广泛用于态势预警，但是该方法存在一定的局限性，这种方法预测下一步攻击方式及目标存在主观性，事件关联样本太多，不能全部进行分析，关联存在偏差。2 一种新型高级威胁分析及取证系统

当前移动业务支撑中心主要的安全投入是在传统的安全产品（如IPS、FW等）和安全服务上，但传统以“防护”为主的安全体系将面临极大挑战。未来网络安全防御体系将更加看重网络安全的监测和响应能力，充分利用网络流量、大数据分析及预测技术，大幅提高安全事件监测预警和快速响应能力，应对大量未知安全威胁。本研究提出一种新型的威胁分析解决方案，针对原始流量进行采集和监控，对流量信息进行深度还原、存储、查询和分析，可以及时掌握重要信息系统相关网络72

2019年12月 第 12 期（第32卷 总第268期）月刊2019年 第12期中国移动网络与信息安全专题 电信工程技术与标准化安全威胁风险，及时检测漏洞、病毒木马和网络攻击情况，及时发现网络安全事件线索，及时通报预警重大网络安全威胁，调查、防范和打击网络攻击等恶意行为，保障重要信息系统的网络安全。2.1 重点事件监测技术互联网威胁分析系统可以对事件告警进行关联分析并输出用户关注的重点事件，如热点事件、APT攻击事件、Botnet事件、恶意样本传播事件或是单次高危攻击事件等（Webshell、隐蔽信道）。同时也可以根据自身业务特点自定义事件类型进行输出，从海量告警中快速发现需要处理的重点事件。原子事件是指针对特定类型的一次网络攻击行为（源IP、目的IP或攻击类型单一），关联一条或多条告警生成的事件。原子事件至少含有起止时间、源目IP和端口、源目资产ID、源目地理位置信息、攻击类型、攻击发起方向、攻击成功状态、攻击链阶段、威胁级别、可信度、关联的告警ID列表、关联的情报以及对应的情报匹配字段和事件类型特定的字段。复合事件是指相互关联的多次网络攻击行为所形成整体的攻击活动，复合事件生成主要来源于告警关联，当前主要有热点情报事件、恶意样本传播事件、CC异常事件和规则关联事件4种方式。复合事件至少含有起止时间、事件名称、事件类型、事件描述、事件最高攻击链阶段、事件类型特定的字段和关联的告警ID列表。重点事件是指所有的复合事件以及原子事件中isimport字段为1的事件。业务呈现上，重点事件主要用于首页中间事件列表以及威胁监控（重点事件监控）模块，帮助用户更好的识别以及关注重点威胁事件。重点事件下钻到重点事件详情页面，如果是复合事件，提供事件的威胁信息以及事件传播图等展示信息，另外提供离线pcap取证功能。首页重点事件列表提供事件的处置功能和事件的下钻，查看重点事件的图谱以及攻击过程等信息。2.2 失陷资产检测技术互联网威胁分析系统可以结合攻击方向和攻击类型等维度对失陷资产进行判断。从资产角度出发，结合攻击链模型向用户展示失陷资产的总体情况，从海量告警事件中，快速定位需要关注和处理的资产。失陷资产识别：核心功能，依据原子事件进行受攻击IP的关联，结合相关的攻击类型和攻击阶段，识别受攻击资产、失陷资产和高危资产。失陷类型： 当前定义的失陷类型包括“横向移动”、“异常外联”、“隐蔽信道”、“木马连接”、“CC攻击”、“自定义”等，失陷资产模块对失陷类型进行更细致粒度的判断。攻击链记录： 失陷资产根据关联事件的攻击链级别来判断是否失陷，并且会记录关联的攻击链过程。定时更新：定时对库中的资产状态进行更新。后台根据资产相关入侵事件和告警，判断资产是否已被攻陷，标记资产的失陷状态以及高危资产和受攻击资产，并依据攻击链模型描述资产失陷的过程。业务呈现上，会关联资产与业务相关的流量、事件和告警，分析其对资产安全性的评估，描绘出整个攻击链过程。功能原理具体为通过一定的识别计算方法，对原子事件表的受攻击IP进行失陷判断，标记资产的状态，主体框架如图1所示，识别原理如图2所示。2.3 攻击者画像检测技术互联网威胁分析系统可以从攻击者的角度出发，梳理出对网络最具威胁的攻击者，通过情报关联功能，追溯攻击者的相关信息，聚合攻击者的攻击行为和通信行为，增加攻击事件可信度。可以通过攻击者画像分析，回溯事件源头，从根本上处置类似攻击事件的发生。攻击者溯源：从告警按照一定规则归并后的原子事件中，分析出攻击者。攻击者信息增强：补全攻击者的背景信息，如归属地等信息。攻击者关联分析：分析攻击者的目标、意图、关联73

2019年12月 第 12 期（第32卷 总第268期）月刊

电信工程技术与标准化 中国移动网络与信息安全专题2019年 第12期图1 功能原理主体框架

出攻击者的攻击路径图。定时更新：定时依据事件对攻击者状态更新。在实际应用中，后台会根据流量和威胁告警日志进行一定的数据融合算法合并起来，结合特定攻击IP，分析所有的事件活动，结合所有告警日志分析其攻击路径图，关联身份归属地信息，前端清晰展示其攻击路径、攻击者区域分布及提供可配置处理项，最终基于某些攻击痕迹，结合流量和告警日志进行追踪分析，还原整个攻击场景，发现未知威胁。后台定时会启动任务，从原子事件表对事件进行抽取、过滤和识别，判断攻击IP，记录与IP关联的事件活动，关联获取攻击者IP解析定位信息，记录资产信息等进行呈现。攻击者画像原理如图3所示。2.4 机器学习算法互联网威胁分析系统利用机器学习算法，通过监控网络流量、连接和对象，找出恶意的行为迹象，尤其是失陷后的痕迹。DNS隐蔽信道：DNS Tunnel.ini文件可以配置引擎中DNS隐蔽信道检测模块的输入输出数据、job使用的核数、内存数、处理数据的时间窗口以及读取kafka的速率。DGA僵尸网络：dgaCC.ini文件可以配置算法是否启动开关（ifenable）、输入的库和表（db、table）、74

2019年12月 第 12 期（第32卷 总第268期）月刊2019年 第12期中国移动网络与信息安全专题 电信工程技术与标准化核数和内存数。蠕虫传播：engine.ini文件可以配置算法是否启动开关（ifenable）、算法启动spark job时使用的核数和内存数。engine.xml可以配置算法的输入和输出（topic名称、库表）。3 研究测试过程

测试在网络出口，镜像干路流量部署流量采集探针，同时在服务器上集中部署大数据分析系统。系统部署及工作的方式如图4所示。本系统由分析探针（UTS）、图2 识别原理图

高级威胁检测系统（TAC）、威胁情报系统（NTI）和存储分析平台（TAM）组成。UTS主要完成流量数据的采集、解析和pcap数据的存储功能，并将解析完成后的元数据信息发送至TAM进行集中处理和分析。TAC提供恶意文件检测功能，基于沙箱检测引擎，可以动态虚拟执行各类文件及应用程序，并将检测结果上报至图3 攻击者画像原理图

TAM进行进一步处理和分析。NTI提供威胁情报功能，通过输出的kafkaTopic以及算法启动spark job时使用的核数和内存数。Webshell事件：webshell.ini文件可以配置算法是否启动开关（ifenable）、输入的库和表（db、table）、输出的kafkaTopic以及算法启动spark job时使用的与情报的有效结合，可以实时获取全球最新的热点事件和信息，大幅提升安全威胁事件的可信程度。TAM用于大数据分析。通过TAM平台可以对流量元数据进行加工和整理，利用其强大的大数据分析能力及各类机器学习算法，快速发现各类安全威胁及事件，也可以对历75

2019年12月 第 12 期（第32卷 总第268期）月刊

电信工程技术与标准化 中国移动网络与信息安全专题4 结束语

2019年 第12期随着全球各地安全事件的爆发，针对APT攻击的研究越来越多，随之涌现出了越来越多的防护检测手段。深入开展APT攻击的研究对于建设网络空间安全，形成和谐的网络环境，增强国家网络安全能力是必不可少的一部分。网络安全高级威胁分析技术作为一项重要的网络安全技术，仍具有很大的发展空间。随着大数据技术、云计算技术、物联网技术和移动终端技术的不断发展，对网络安全技术的探究更应当与时俱进，不断探索，图4 系统部署图

在传统的流量监测、态势感知的基础上建立全方位的检测、告警、预防和处置平台。史事件进行回溯，准确把握事件发生的过程及影响。Research on internet advanced threat analysis and forensics system

BAI Hao

(China Mobile Information Technology Co., Ltd.Inner Mongolia Branch, Huhehot 100050, China)Abstract This paper mainly studies and analyzes the advanced threat of internet and the original traffi c analysis methods and technologies, expounds the current situation and main technical means of the research in this area, and explains that the key and diffi cult point of the research on the advanced threat of internet is mainly the effective use of analysis methods. This paper studies a new and typical internet threat analysis system, which collects and monitors the original traffi c, deeply restores, stores, queries and analyzes the traffi c information, fi nds out the specifi c causes and possible risks of network security events, and puts forward a new solution to the early warning and prevention of major internet security threats. There are technological and conceptual innovations in the network security of important information systems.Keywords threat analysis; APT; traffi c collection76

2019年12月 第 12 期（第32卷 总第268期）月刊