银行业数据质量管理和检核规则设计研究

ｌ　ｃＨＡＴ１ｌ　ｌ０Ｎ　Ｉ　．．－ｘ／Ｚ融科技　ｌ吲：巨　ｌ—ｒ。】ｘ　习１５＇．１新Ｉ　　Ｎ　Ｎ　ＯＶ银行业数据质量管理和　检核规则设计研究　国家开发银行信息科技局范丽君　随着大数据时代的开启，金融业数据集中程度的加　３．银行内部经营管理和业务发展需求日趋迫切　一大，移动互联网技术的不断发展，银行业面临着前所未　是加强集团一体化管理，推动资源共享和风控联　有的竞争压力　、数据已成为现代银行的重要资产，并逐　动，打造“一个开行、一个客户、一套服务”的综合金　渐成为现代银行核心竞争力的重要组成部分，有效的数　融服务平台；二是服务稳增长和供给侧改革，全力打好　据管控工作将对银行的业务发展、精细化管理和科学决　策产生革命性的影响．为银行直接创造显性业务价值。　一脱贫攻坚战，开展精准信贷，加大棚改工作力度；三是　积极推进国际业务，助力“一带一路”战略实施；四是　、银行业数据质量管理背景　完善全面风险管理体系，提高动态监测、实时预警能力　这些均需要大量的数据和技术手段提供支撑．也对数据　１．外部监管要求逐步增强　２（）１６年７月，《中国银行业信息科技“十三五”发　展规划监管指导意见（征求意见稿）》明确提出：建立　数据质量评估机制，强调数据采集源头的质量管理，优　化数据质量问题解决方案，持续提升数据质量，加强数　管控工作提出了更高要求。　二、银行业数据质量问题产生的因素　银行业数据管控体系通常包含企业级数据模型、数　据分布与流向、企业级元数据、数据质量、数据使用安　据共享。银监会副主席王兆星在“银行业信息科技风险　全、数据生命周期等管控内容和规划、组织、制度技术、　管理２０１６年会”上的讲活中提到，要深化数据治理，　持续提升数据质量，加强数据服务．，　２．行业环境快速变化　一考核等保障机制，数据质量管理是数据管控体系的核心，　数据质量的好坏是数据管控工作最直接的体现，其他数　据管控内容为数据质量管理工作提供重要的支撑。数据　方面，随着国家“十三五”规划实施，　“一带一　质量问题的产生原因很多，如图ｌ所示。　路”战略、自贸区建设、精准扶贫等为金融业带来机遇　和挑战。金融机构需要不断提高金融服务实体经济的效　率，实现数据融合，推动普惠金融，增强风险防控能力，　这些都需要大量、高质量的数据提供支撑，对银行业数　三、银行业数据质量检核规则设计　存在的问题　在２０１３年以前，各大银行数据质量检核规Ｎｆｆ，Ｊ设　计更侧重技术角度，主要通过查看数据库表结构、主键　据管控提出更高要求。另一方面，随着大数据、云计算、　数据挖掘、移动互联、人工智能等新技术在金融领域的　非空等方式设计形成检核规则库，在一定程度上满足了　探索与应用．新型互联网金融服务模式不断涌现，金融　当时数据质量管理的要求。随着数据管控水平的不断提　　机构经营和服务模式正发生深刻变革，数据管控工作将　升，原有检核规则在落地实施过程中暴露出一些问题，对银行的业务发展产生革命性的影响，为银行直接创造　如规则种类单一、覆盖范围广度不够、与业务衔接不足　显性业务价值　等，需要探索更有效、更全面的数据质量检核规则设计　６４　ＦＩＮＡＮＣＩＡＬ　ＣＯＭＰＵＴＥＲ　ＯＦ　ＣＨＩＮＡ　金　科技勖鞭　ＦＩｎＴｅｃｈ｜ｎｎｏｖｏｔｉｏｎ　问题描述　原因类别　原因分析　解决手段　标准落地引发质　问题。ｔｌＩ小和全＼　流　埘个系统“担保，Ｊ　…　段的＼　ｆ℃　码　ｌｌ｝‘称　＼　、　Ｉｌ＿小和全流程两个系统ｔｆＩ的“担保种＿类”　和“于ｆｉ保方　”字段的　称和代码与《蓟　标准公共代码集》（Ｑ／ＣＤＢＯ１９－２０１　１）　？　１　敛，“　保方式”这项数据标准没ｆ＿　‘敛，，Ｉ】小【ｔｌ代码“０２”／、　标准术落地　埘麻　称为“保证”．【町　全流程／　·ｔ，代　５“０２”时Ｊ越名稍　为“抵押”／　系统中落地　部分　划限。宽限期的合Ｉ¨Ｊ＝未求入宽限＼　＼　校验规则缺失或锵　，ｆ　ｌ订Ｉ个流　“合列　同时录入数字不超过２位　ｆ　数．尤法满足以“年”、“年月”约定的　，电站顺ＩＩ合同宽限蚓为９　（１Ｏ８　／　Ｊ　），　系统功能缺陷无法录入／　如　ＪＩ１分行雅学江　河ｕ水　＼　系统技术问题　宽限期”宁段术作必匀乇约束，　持“』ｊ”单位期限只支　｝　或超过ｌｏｏ个，］的　限期录入　图１数据质量问题产生的主要原因　方法和思路，丰富银行数据质量检核规则库，提升银行　接在业务逻辑上的数据要求，全面覆盖业务运营过程中　数据质量主动防御的能力．　．创建干ｕ使用的备类数据，提高数据质量检核范围的完整　性．　．四、基于业务流程梳理的数据质量检核规则　设计探索　为了更好地发挥数据质量管理对各项数据应用的支　撑效应，　家开发银行创新性地提出通过业务流程和数　据流向梳　的方法来设汁数据质量检核规则，在业务环　（２）加强业务针对性　推动数据质量偏技术检核向业务检核方向的转变，　器　图圈　量管理的业务驱动　通过梳理业务流程上的数据要求，确保设计的检核规则　更ＪＪ【Ｉ贴近业务，确保规则设ｉｆＶ，Ｊ业务引导，实现数据质　１了中设置数据质量检核点，及时发现数据质量『ｕ】题，　时通过数据质量　题分析，发现业务流程或技术功能中　（３）推动质营管理前移　推动数据质量检核规则落实在需求审核和系统开发　存在的缺陷，推动业务流程优化和应用系统改造，更好　阶段，确保生产数据质量，建立和强化“事前”数据管　地促进业务与科技融合。　１．设计目标　控的能力。促进数据管理工作山“治标”向“治本”转变　２．业务流程梳理方法　（１）提高检核完整性　通过梳理完整的业务流程，重新审视业务，识别挂　通常情况下，从企业价值链的视角，银行业务主要　也括营销支持、产品与服务、业务运营（产品运营与业　２０１８．０２中国金融电脑　６５　ｌＮ　ＡＴＩ　ＩＩ金融禾　上－Ｉ千－Ｊ玉　。Ｉ－：－ｒＩ技创新　】ｘ匕－Ｊ］，　ｌ　ｃ　Ｎ　ＯＶＴＩＯＮ　务支持）、ＪｘＬ险管控、核算报告与决策分析。业务流程　通过信贷业务流程梳理工作．进一步扩大１ｒ数　质　梳理就是基于流程方法沦对银行业务流程进行逐级分解　量检核的数据集范围．丰富了对业务数据要求的积累，　的结果，最终形成“企业流程一流程组一流程活动一操　在检核规则没汁方向上应更』Ｊｕ关注丰富检核规则没汁维　作任务”的四层级流程结构。企业流程是按照业务领域　度，有效提升质量问题发现的广度和深度　划分形成；流程组是企业流程的组成部分，按照创造价　一方面，对单一完整性规则升级为约束完整性、关　值的资源状态变化定义不同阶段；流程活动通过实现特　注在一个数据项取特定值的条件下其他数据项的非空约　一方而．从准　定业务目标、创造特定价值进行判定；操作任务表示完　束，确保数据的关联匹配和准确识别；　成某项业务活动的一系列工作，这些工作产生具体的工　确性、一致性维度新增设计规则。准确性规则内涵叮也　作成果　．　括数值的等式或不等式约束、　期的比对关系等．　·皱　以产品运营为例，结合国家开发银行业务实际和数　性检核规则可包括　一数据项跨库表、跨系统的一致性，　据标准定义，划分为存款、贷款、债券发行、资金交易、　支付结算、权益投资、担保承诺、受托代理等企业流程，　不同数据项的关联合理性等，ＪＪｕ强原有规则库在这两个　检核维度方面的不足。　其中信货业务占据全量业务的８０％．是业务重要度最高　的领域之一，凶此此项研究工作选择信贷业务作为试点。　（２）注重基础规则向复合规！Ｊ！ＩＪ方向的转变　独立检核数据库表的单一数据项通常能够得到　障　首先。结合信贷业务手册、信贷系统需求说明书等　数据质量的基础规则，而实际业务处理、统、ｌ｝．分析干【ｌ监　相关资料，将信贷业务分解为“规划管理、项目管理、　管报送中通常涉及数据项之　的分类值域对应、ＬＩ期对　比、金额，厶Ｊ稽关系和跨系统对比，复合规则能够更全　、　更敏锐地发掘数据背后的业务操作　题或系统技术缺　授信管理、担保管理、合同管理和贷后管理”６个流程组，　每个流程组反映信贷业务的一个阶段。其次，通过分析　各业务环节的定义和划分、系统的子功能模块设汁和运　陷，通过规则落地推动深度数据质量　题的发现与整改，　行，从操作用户、操作时间和实体内容三个方面．将流　进一步规范业务操作、优化业务运营及审批流程、改进　程组进一步分解为一系列的流程活动，每个业务活动有　明确的输入、输出，最终实现特定的业务目标。以合同　管理为例，分解：为“生成合　谈判一修改谈判一结束谈　判一新建合　一维护合　一终止合同”６个流程活动。　系统功能　五、设计成果总结　１．信贷业务流程梳理的成果　最后，参考洋尽的业务流程　和系统具体功能点，　别　通过梳理信贷业务流程，　家开发银行梳理形成　　出一系列的操作任务．．以新建合同为例，分解为“客户　贷业务６个流程组，４８个流程活动，２５４个操作任务，经理发起合Ｍｔ￣，Ｊ建申清、录入合同信息、经过总分行不　６２９个数据项及４８６项数据要求　其中，５６％的数　项　Ｉ－Ｊ层级的审核、客户经理落实审批意见、合同生效确认”　分布在“合ｌＪＪ管理”、“贷后管理”等流程复杂的重要　等ｓ个具体操作任务。在分析确认具体操作任务的过程　业务领域，真实地反映了业务处理对数据的需求　符级　中，同时采集并ｆ己录相应的业务规则和数据管理要求，　形成数据项及数据要求列表，为检核规则设计提供重要　输入。　流程及数据项的分布如图２所示　２．检核规则设计的成果　基于上述流程梳理成果，对采集的数据项及数槲婴　求进行分析，完成２０８条检核规则设¨　．全部纳入《开　发银行数据质量检核规则库》　３．数据质量检核规则设计思路　（１］注重检核规则没汁维度的多样化　６６　ＦＩＮＡＮＣＩＡＬ　ＣＯＭＰＵＴＥＲ　ＯＦ　ＣＨＩＮＡ　金惑辩技＾｛ｊ新　／：ｉｎＴｅｃｈ｜ｎｎｏｖｏ＇／／ｏｎ　大程度填补了基础规则　项目管理　一数据项　５　１４　７５．１２％　对单一数据项进行独立　检核的　足。规则性质　分布如　４所示．．　３．应用成效　结合业务重要度、　系统共享性、问题发生　频数、整改可行性等四　方面因素，已甄选４８条　纳入国家开发银行分支　１４　７４　１８７，３０％　机构数据质量专项考核　担保管理　规则库，并在数据管理　一数据项　１０　４２　５９，９％　系统中开发部署上线，　进行每日监控、逐月整　改，成效显著。　图２各级流程及数据项分布雷达展示　（１）检核维度丰富　准确性维度的检核规则最多，达】２８条，．　全量规　则的５７％；完整性与一致性的检核规则分别为ｓ０条和　３ＬＪ条，Ｉ‘ｉ比为２２％和】７％，并新增唯一性、规范性维　度的规ＩＪ！ＩＪ　各维度的规则分机如图３所示　（２）规则性质丰富　共没汁４ｓ条复合规则，占全部规则的２２％，在很　墨　甚甜ｊ类　●　复合类　４．２％　■　范　图４检核规则性质分布　本文探索了一套银行业务流程梳理的方法干ｕ提高数　国　戍ＩＩ，＂１：　据质量检核规则没汁水平的思路，后续可以根据银行业　务管理需求和数据质量现状，基于相同的方法论，逐步　２，１％　１２．＆Ｓ７％　嚣　完　一　●　唯　开展财务、资金等业务条线或监管报送等专项领域的业　务流程梳理和检核规则没汁工作，丰富银行数据质量检　■　撤，ｒＩ　：确一　核规则库，并推动规则在生产源端的落地，提高数据质　量“事前主动防御”的能力。圆　图３检核规则在各数据质量度量维度的分布　２０１８．０２中国金融电脑　６７