大数据标准化背景

面对目前数量、速度和多样性日益增长的信息资产，大数据技术通过各种解决方案、体系、结构、工具和平台集合，能有效应对大数据场景。 因为数据是大数据的基础，对于大数据标准化，除了继承数据标准化的内容外，有其特别关注的方面。 比如：定义大数据专业词汇，增加不同类型的数据结构如何标准化，解决海量多样化数据集的存储计算架构，定义并标识敏感数据，研究海量数据脱敏及数据隐私等。

在大数据领域，标准研制机构也陆续研制和发布了一系列标准，如何有效将这些标准梳理并串接起来，需要构建一套框架。 2017年11月发布的《金融业标准化体系建设发展规划（2016-2020年）》就明确提出要构建金融大数据标准体系。以下通过大数据技术参考模型角度来梳理大数据系列标准。

大数据技术参考模型

《信息技术大数据技术参考模型》是2018年7月实施的国家标准。此标准规范了大数据的基础通用模型，包括大数据角色、活动和功能组件以及它们之间的关系。

大数据参考模型总体上可以概括为“一个概念体系、二个价值链维度”。 “一个概念体系”是指它为大数据参考模型中使用的概念提供了一个构件层级分类体系，即“角色—活动—功能组件”，用于描述参考架构中的逻辑构件及其关系。“二个价值链维度”分别为“IT价值链”和“信息价值链”。其中“IT价值链”反映的是大数据作为一种新兴数据应用范式对IT技术产生的新需求所带来的价值；“信息价值链”反映的是大数据作为一种数据科学方法论，对数据到知识的处理过程中所实现的信息流价值。

大数据标准梳理

概念体系角度：上述参考模型的角色、活动和组件涉及大数据概念，需要大数据基础标准来定义。 比如最新发布的大数据标准《信息技术大数据术语》《信息技术大数据技术参考模型》等。

信息价值维度：包括数据提供者、大数据应用提供者和数据消费者角色。 其中大数据应用提供者包括收集、预处理、分析、可视化、访问活动。提供信息价值服务需要业务类标准规范数据，也需要针对大数据从产生到其使用终止的数据生命周期制定标准。业务标准比如《征信数据元》《统计数据和元数据交换（SDMX）》《银行间市场基础数据元》等。

IT价值链维度：包括大数据框架提供者、大数据应用提供者、系统协调者角色。 其中大数据框架提供者包括基础设施、平台、处理框架活动。IT基础服务需要制订大数据技术类的标准，包括大数据平台相关工具和产品规范，以及针对不同功能层次系统和技术架构系统之间的互联和互操作机制。比如说工信部正在制订的《信息技术大数据系统通用规范》通过对照大数据技术参考模型来设计规范测试内容。

框架的外围支撑：需要制订相应的大数据管理类标准和安全类标准为上述角色活动提供支撑。

管理模块：数据管理能力标准对于金融机构很有意义。 比如国际管理标准方面，国外有DAMA（数据管理协会）组织致力于研究此领域；GB/T36073-2018《数据管理能力成熟度评估模型》标准已发布，是我国首个数据管理领域的国家标准。

安全和隐私模块：安全类大数据标准需贯穿于整个数据生命周期的各个阶段，指导行业在数据采集、传输、存储、整合、共享、应用、归档与销毁等阶段进行安全技术防护和安全管理。 在大数据安全方面国标《信息安全技术大数据服务安全能力要求》已经发布，规定了大数据服务提供者应具有的相关基础安全能力和数据生命周期相关的数据服务安全能力。

来源商业新知：https://www.shangyexinzhi.com/Article/details/id-63835/