大数据国际标准即将正式发布

    作者:佚名更新于: 2020-09-04 14:11:00

    我国主导的两项大数据国际标准即将正式发布.随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

     2020年6月22日-7月3日,国际电信联盟第十六研究组(简称ITU-T SG16)召开全体会议,来自中国、美国、德国、日本、韩国、巴西、瑞士、加拿大、英国等国家和世界卫生组织等国际组织的代表参加了此次为期一周的在线会议。

    大数据国际标准即将正式发布_大数据_数据库_虚拟化_课课家会上,由中国信息通信研究院提出的ITU-T F.743.20 “Assessment framework for big data infrastructure(大数据基础设施评测框架)”和ITU-T F.743.21 “Framework for data asset management(数据资产管理框架)”两项标准正式冻结。上述两项国际标准于2018年7月在ITU-T SG16斯洛文尼亚全体会议上正式立项,历时2年经过多轮讨论修订,于本次会议提交报批并通过全会审议进入公示阶段,即将正式发布。

    ITU-T F.743.20 “Assessment framework for big data infrastructure(大数据基础设施评测框架)”

    ITU-T F.743.20 “Assessment framework for big data infrastructure(大数据基础设施评测框架)”主要定义大数据基础设施的整体架构、服务方式以及各项技术能力。大数据基础设施作为支撑大数据应用业务的核心服务单元,覆盖数据接入、数据存储、数据处理、数据应用、资源运维等大数据业务全生命周期。其服务能力和性能水平决定了实际场景中大数据应用的深度和广度,采购及搭建大数据基础设施成为企业大数据应用构建的首个环节。

    当前大数据基础设施仍以开源软件为主,其运维、安全等配套服务能力以及性能水平与实际业务需求仍存在巨大鸿沟,同时基于开源软件改造的种类繁多的大数据基础设施商业版本良莠不齐,功能、性能、服务等能力均存在较大差异。应用大数据技术的组织和企业需要花费大量时间和精力来完成产品对比及选型工作。ITU-T F.743.20标准的输出,对指导高效大数据基础设施系统的设计与开发,促进大数据技术产品成熟,具有非常深远的意义。

    ITU-T F.743.21 “Framework for data asset management(数据资产管理框架)”

    ITU-T F.743.21 “Framework for data asset management(数据资产管理框架)”主要定义数据资产的基本概念,梳理数据资产管理的需求,提出数据资产管理的框架。数据成为资产,已经是各个行业的共识,但如果对比实物资产,对数据资产的管理,还处于非常原始的阶段。往往一个机构针对其数据资产类别和数量都缺乏全面了解,数据质量、数据安全、资产评估、资产交换交易等精细管理、价值挖掘和持续运营则更为薄弱,需要一个科学的框架去管理实践。

    数据资产管理一般通过活动职能和保障措施两方面实现,活动职能涉及元数据管理、主数据管理、数据标准管理、数据质量管理、数据模型管理、数据安全管理、数据价值管理、数据共享管理等,保障措施指的是支持活动职能实现的辅助性组织架构和制度体系。ITU-T F.743.21标准结合实践经验,形成一个通用的数据资产管理框架和技术平台普适功能,这对于提升数据质量、增值数据价值、保障数据安全、完善数据标准、确保数据合规等方面将起到重要的推动作用,从而实现数据精细化管控和数据价值最大化。

    上述两项国际标准,是在中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)相关研究和行业标准基础上提出的。2015年起,中国信息通信研究院联合华为、中兴、百度、阿里巴巴、腾讯、中国电信、联通大数据、新华三、星环、中软国际、东方金信、四方伟业、数梦工场、南大通用、联想、数语科技等50多家单位共同制定大数据产品测试、数据管理和流通等40余项标准,得到了国内产业界的广泛认可。

    本次两项大数据国际标准的正式冻结,标志着我国大数据基础设施技术研发和数据资产管理能力得到了国际认可,是我国大数据领域对国际标准化研究的重要贡献,也为我国大数据技术、产品和服务走出国门开辟了道路。

    关于ITU-T SG16

    ITU-T SG16是国际电信联盟标准化局非常活跃的研究组,主要研究领域为多媒体与e-Services。目前,SG16的研究范围覆盖了视频与音频处理与压缩编码、视频监控、内容分发、大数据、区块链、人工智能等众多热点标准化研究方向。

    从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

课课家教育

未登录