数据资产治理平台（数据资产管理委员会）

本篇文章给大家谈谈数据资产治理平台，以及数据资产管理委员会对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享数据资产治理平台的知识，其中也会对数据资产管理委员会进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、数据治理有哪些好的平台工具？
• 2、目前主流的数据治理平台有那些。
• 3、如何做好银行金融大数据治理平台建设？
• 4、大数据治理平台应用建设方案精选「PPT」
• 5、大数据治理平台——维度管理

数据治理有哪些好的平台工具？

国内数据资产治理平台的数据治理工具平台有睿治数据治理平台

功能描述：睿治智能数据治理平台由亿信华辰自主研发数据资产治理平台，融合元数据管理、数据标准管理、数据质量管理、数据集成管理、主数据管理、数据交换管理、数据资产管理、数据安全管理、数据生命周期管理九大产品模块，各产品模块可独立或任意组合使用，打通数据治理各个环节，可快速满足政府、企业用户各类不同数据资产治理平台的数据治理场景。

国外数据资产治理平台的数据治理工具平台有：

Alation

平台：ASG Technologies

描述： Alation为广泛的数据智能解决方案提供了一个平台，包括数据搜索和发现，数据治理，数据管理，分析和数字转换。该产品具有行为分析引擎，内置的协作功能和开放的界面。Alation还可以分析数据并监视使用情况，以确保用户对数据准确性有准确的了解。该平台还可以洞察用户如何从原始数据创建和共享信息。

ASG技术

平台： ASG企业数据智能

描述： ASG Technologies提供了一个数据智能平台，可以发现来自220多个传统和大数据源的数据。该工具具有通过模式匹配，参考数据集成和丰富指标进行自动数据标记的功能。自动化业务流水线使用户可以更好地了解他们的数据，并且治理功能包括在数据湖和传统来源中跟踪数据的能力。ASG的EDI产品提供了令人印象深刻的功能组合，其中的参考客户称赞供应商对各种业务用例的支持。

目前主流的数据治理平台有那些。

目前国内外能称得上数据治理平台的不多，基本上都是主数据管理平台，只不过都改个名字为数据治理平台，真正数据治理的概念可以参考dama的《数据管理知识体系指南》内容。在这个行业，国内厂商主要有四个来源，物资编码管理厂商（2010年前入行，最早也最普及）、PDM厂商（基本是大BOM的概念，较晚）、ERP厂商（最晚，但是也属于编码管理的延续）和其他后续（2015年后）入行的。国外厂商主要来源有三个，客户主数据厂商（sap、orcale、IBM、informatica）、PDM厂商（达索、Stibo）、开源主数据厂商（Talend）。
国内第一家做主数据管理平台的是一家叫中翰软件的公司，2010年发布的自主产权MDM平台，2013年最早开启数据治理概念，并于2014年试水发布了基于静态数据中心管理的数据治理平台，2018年发布了数据管控平台和数据评估监测平台。

如何做好银行金融大数据治理平台建设？

大数据、云计算、互联网等技术，将人类带入了一个以PB为单位的大规模生产、分享和应用数据的新时代。当治理的对象发生变化时，治理体系也应进行改进以适应大数据的发展变化。
（1）完善数据管控相关标准，提升相关系统控制能力
大数据时代，银行数据除了从传统的客户、协议、账户等结构化数据外，已经逐步扩展到非结构化数据的存储管理及应用，因此需从数据标准、数据模型、元数据、数据质量、数据生命周期等方面依据非结构化数据的特点，补充相关治理管控标准，并通过相应的管控系统实现控制，确保非结构化数据得到有效的管控和应用。
（2）利用大数据技术提升数据集成及共享能力
海量数据给银行数据治理带来挑战，但也是一种机遇，利用大数据技术，可使数据治理的方法和手段更加丰富，数据价值可以获得更大的发挥。
一方面，采用分布式计算等大数据技术，构建开放、高效、异构、弹性的大数据平台，实现“全渠道、全客户、全产品”信息的综合分析与快速共享，提升客户拓展、风险管控和创新营销能力。
另一方面，利用大数据技术，重点完善补充银行业务以外的其它基础信息（如行外政府部门、第三方合作机构等各类有价值的数据），并按照统一的客户标准进行客户信息整合，形成更加完善的客户视图；通过大数据技术实现“数据地图”等可视化服务，提升数据资产易用性；通过元数据的统一管理和分析，提供信息检索、指标灵活定制等数据服务，提升数据资产的一致性和可用性。
亿信华辰在数据治理领域也持续深耕，从数据质量管理平台、元数据管理平台，到发布智能数据治理平台-睿治，实现了数据治理全场景覆盖，包含九大核心模块：元数据、数据标准、数据质量、主数据、数据资产、数据安全、数据交换、数据处理、数据生命周期等，所有模块可自由组合，并支持本地或云上使用，全面满足客户各类治理需求。

大数据治理平台应用建设方案精选「PPT」

【前言】大数据时代到来，我们已被海量数据信息包围

电信：持有大量用户数据，对数据资产的售出，将成为行业的新增长点；

金融：各行业的金融信息流可结合第三方数据，更深入分析客户情况；

制造：从传统制造到互联网+的转型，大数据是核心动力；

政府：大数据已经成为国家战略，政府机构大数据将能够更好的治理 社会 ；

【目录】

大数据治理平台背景

大数据治理平台应用场景分析

大数据治理平台建设方案

【内容】

来源公众号：售前之家

大数据治理平台——维度管理

苏宁八大产业,每个产业有自己的数据集市,每个数据集市有自己的维度表，没有统一的维度管理(包括管理规范和系统支撑)。业务痛点包含以下几个方面：

建立统一的维度管理系统，实现对维度信息的统一管控，并为集团的数据产品提供统一的维度数据服务，包含维度开发管理，维度信息管理及维度数据服务三个方面。

维度数据

如上图所示，ETL将采集的数据，进行数据清洗之后存储到维度数据仓库（磐石）中，维度系统再将维度数据仓库中的数据同步达到维度库系统。

维度数据存储方式：维度数据一般以一百万的数据量作为分割点，一百万以上数据量的维度采用的存储是HBASE，一百万以下的数据采用的存储是MYSQL。

维度数据同步方式：存储到HBASE的维度数据采用的是BULKLOAD导入，存储到MYSQL的维度数据采用的是SPARKSQL+RDD写入。针对数据同步都已经实现通过页面配置任务的方式一键同步，节省人工。

为什么采用这种存储方式？

1， 针对数据量的大小采用不同的存储引擎，节约存储资源，提高维度服务的稳定性。

2， 实时指标的计算：OALP需要关联维度表和事实表做指标数据加速（实时计算指标数据）。这种需要实时的查询维度表的所有维度属性，调用量非常庞大，所以采用了直接查询HBASE的方式。

3， 维度需要提供基于维度值ID查询维度值名称的服务(包括批量精确查询和模糊查询)，HBASE在精确查询上性能较高。MYSQL由于数据量不大，可以再加一层分布式缓存，提高精确查询维度值的性能。

维度建模

1， 选择业务过程

根据业务场景以及可用数据源

2， 声明粒度

根据事实表及应用场景，确定汇总粒度，一般尽可能的用最细粒度

3， 确定维度

根据确定的粒度，定义对应的维度，最细粒度，也是最低层次的维度

4， 确定事实

确认将哪些事实放到事实表中，维度表只是做关联，不做维度数据的查询服务。

维度定义

1. 当增加新的维度时，编码号将在已用号码的基础上递增，四位十进制编码号不能满足需求时，可增加编码号长度为五位十进制数，以此类推。

2. 当删除已有的维度时，其编码号将不再利用。

3. 当修改已有的维度时，其编码号不变。

4. 当拆分已有的维度或合并两个及两个以上的维度时（数据应用场景需要），其编码号的使用原则按照删除原维度，并新增拆分/合并后的维度执行。

维度管理

维度：目前维度平台支持快速定义维度,通过设置维度的基本信息，选择维度映射的维度表，做好维度与维度表的映射，设定维度的一些特性（布尔维度，时间维度，杂项维度等），检测维度的定义结果。达到了让业务人员能够只是通过页面操作就可以制定需要的维度。

维度表：数据开发人员可以通过维度库平台定义维度表，定义好之后可以集成数据仓库的同步任务一键将仓库的数据同步到维度表中，将维度表与维度做映射关系。

维度层级：维度库平台支持定义维度层级，只要是维度库平台上有的维度表并且做好维度与维度的映射关系之后，就可以定义需要的维度层级，根据维度层级提供维度值的上卷下钻查询服务。

维度血缘：提供了维度，指标，报表的血缘关系，以及还准备做的维度数据的血缘，维度，指标，报表调用次数的血缘等等。

维度服务

1. 维度服务调用申请：

调用维度服务，需要在维度库管理系统中申请调用权限。等维度管理系统授权之后，生成维度服务调用授权码，在调用维度服务的时候带上维度服务调用授权码，维度服务会根据授权码判定是否有访问权限。

2. 维度系统提供的服务：

1,对存储在HBASE的维度表，我们又加了一层存储到ELASTICSEARCH（提供维度值的模糊查询服务）

2，针对负载较高的HBASE表，加了一层本地缓存，解决热点问题。

3，对存储在MYSQL的维度表，我们又加了一层存储到分布式缓存ZEDIS（提供维度值精确查询服务）。提供了定时或者手动刷新缓存数据的功能，以及缓存数据的监控机制。

监控分析

由于维度服务的调用量是亿万级别的，系统的监控统计，采用的是Log4j+kafka+druid的架构，如下图所示，应用将调用日志采用log4j- KafkaLog4jAppender写入kafka中，再将kafka与druid集成，准实时的输入druid中，业务基于druid做统计分析，查看维度服务调用成功或失败的情况。

除了维度服务的调用监控，平台还有针对维度值的数据量监控（主要监控暴增或者突然没有维度数据的情况），维度值数据质量的监控（根据维度表和事实表做数据比对，分析维度值数据的差异情况）。维度数据同步任务的监控（每个维度表的数据同步情况监控，异常告警到具体的任务负责人）。通过各种有效的监控手段，来提升维度服务的稳定性和准确性。

1. 未来平台会更加的完善,会有越来越多的维度在平台上建设,提供更加稳定和高效的维度查询服务。

2. 能够支持更多个性化的维度，能够支持维度的数据版本（例如过去一段时间的维度值），支撑全集团所有数据产品的维度调用服务，将平台打造成苏宁主数据服务的航空母舰。

3. 通过维度数据资产体系的建立，实现集团一切业务数据化，连接打通数据孤岛，驱动一切数据业务化，助力企业数字化转型，让数据做到真正意义上的产生价值。

4. 通过提供各种维度数据支持数据产品及各类应用产品，帮助各岗位用户在日常经营决策中做出正确决策。

目前平台的现状及以后的规划

1， 完善系统监控功能点：缓存任务较多，没有有效的监控，告警机制。

2， 完善业务监控功能点：数据量监控，数据异常监控，告警功能

3， 落地维度新增、变更、下线全流程审核管理功能.

4， 完善应用层的维度、指标、报表数据链路的血缘分析图谱，全方位透析资产，

5， 打通全链路维度变更通知的消息机制，降低数据链路变更带来的风险，

6， 多系统用户资源隔离、限流，保障多个部门在使用和体验上的一致性，

7， 支持用户自定义维度、完善个人工作台，基于通用维度进行维度的衍生，

8， 维度门户的建设，将业务端和管理端进行隔离，提升用户体验 关于数据资产治理平台和数据资产管理委员会的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 数据资产治理平台的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于数据资产管理委员会、数据资产治理平台的信息别忘了在本站进行查找喔。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。