如何解决企业各个部门间的“数据孤岛”问题？

这是傅一平的第354篇原创

【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702 为好友后入群。新开招聘交流群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。

正文开始

企业数据管理团队最大的一个挑战就是跨部门数据的整合，因为部门墙到处都是。

对于大多数企业，需要先破后立，通过大数据平台项目的形式进行跨部门的数据采集和整合。因为在项目阶段，公司领导一般比较关注，而规划等部门也会强势介入，因此跨部门的一些工作往往能有效推进。

这个时候，数据团队则要顺势而为，重兵投入，别人以前也许可以不配合，但这次由于项目的因素不得不配合，不抓住机会更待何时？

笔者团队在多年前企业大数据平台整合的时候，花了3个月时间调研清楚了企业数据的基本面，基本上整个数据团队全部投入去做数据字典的梳理，一方面这个事情太重要，另一方面源端的数据情况实在太复杂。

合作伙伴也许能解决平台和技术的问题，但如果把数据的梳理和整合都交给合作伙伴去做，显然是太天真了。

比如很多源端系统没有数据字典，这个时候就需要协同源端的厂家去了解一个个系统，尽量“抠出”有用的数据，但这种带着强烈的业务数据属性、以沟通协调为核心的工作是很难托付别人去做的。

而笔者看到很多企业的大数据平台项目侧重的却是平台和工具的建立，大家都喜欢看得到的“硬”的东西，各种技术方案的选型和论证啥的，但却忘了大数据平台的核心根本不是平台和技术，而是数据的整合，平台和工具的问题总是能得到解决，但数据则不一定。

因此，也许A和B企业都完成了大数据平台项目的建设，但获得的结果可能是不一样的。

A通过这次机会新增了企业30-40%的数据，而B也许只是把原来的数据通过新平台重新捣鼓了一遍，造成的后果是业务部门没有感知。领导有时就会疑惑：难道钱都打了水漂?

数据团队在感叹部门墙林立的时候，就要想一想，在机会出现的时候，自己有没有竭尽全力？有没有带来信息的增量？

当然，大数据平台项目只是做到了先破后立，但它不是终极救世主。

项目结束后，如果企业始终未建立起跨部门的数据汇通的组织、机制和流程，一旦公司风向、人员及系统发生大的变动，以往通过项目建立起来的那点数据资产就经不起折腾了，具体表现在四个方面：采集完整性问题、跨域数据融合问题、数据质量问题和应用拓展问题。

1、采集完整性问题

各业务条线数据资产的新增、变动情况封闭在各部门内部，导致企业级数据资产的盘点不全面，更新不及时，开放不充分。

比如项目阶段一次性采集了A部门各类应用的数据，但由于A部门本身的数据管理水平很低（比如连数据字典都没有），一旦A部门对于应用进行了大幅的变更，企业的数据团队实际很难第一时间获知相关变动信息并保证采集的完整性。

2、跨域数据融合问题

企业数据管理团队处于业务的下游，往往对于业务知识的掌握不够全面，很难从企业级的视角发现数据融合融通带来的业务价值，虽然数据1+1>2的道理大家都知道，但真要数据团队给出一些数据融合带来更高业务价值的案例，还是有很大的挑战。

3、数据质量问题

数据汇通过程中往往存在源端供数质量差、不及时、保障缺失等问题，企业数据管理团队对于前端业务数据提供方的约束力其实是比较小的.一方面是受限于当前的职能，另一方面受限于源端的认知.

这也很容易理解，对于你来说很重要的数据对于源端数据提供者来说可能一文不值，因为对整个企业长远来讲很有价值的数据对于某个部门短期来说不一定有价值，毕竟屁股决定脑袋，因此处理的优先级可能非常低。

4、应用拓展问题

企业数据管理团队往往以自身直接支撑的业务部门为应用创新的出发点，比如很多企业大数据团队支撑的传统场景还是精确营销，但事实上，企业的精益管理、安全风控、精准建设都需要大数据。

究其根本，还是因为企业级的数据团队往往缺乏企业级的应用视野，数据团队被限制在了以前的赛道而不可自拔，不知道自己不知道是最可怕的。

以上四个问题，本质上是大数据汇通工作缺乏企业级机制的保障。虽然数据团队也许通过项目化的方式已经事实上承担起企业级数据资产汇通的工作，但如果企业各个部门对于这个事情缺乏共识，没有企业级跨部门协同机制的保障，以上问题是很难彻底解决的。

有人会讲，强扭的瓜不甜啊，你即使强制建立相关的机制流程，人家不配合照样不配合，做的慢一点你也没办法。

这在大数据运营的初期有道理，但一旦进入规模化变现阶段，靠人情世故来推动大数据汇通的改善就很难了，因为客户不会买账，如果你现在觉得没压力，只是因为大数据做的还不够深入。

因此，企业级的大数据汇通机制是必须要建立的。这里就给出业界的一些最佳实践，然后谈谈落地的策略。

数据管理能力成熟度模型（DCMM）是针对一个组织数据管理、应用能力的评估框架，通过数据能力成熟度模型，组织可以清晰的定义数据当前所处的发展阶段以及未来发展方向，DCMM分为5个等级，如下图所示：

其中受管理级和稳健级都明确提到企业建立标准化数据管理流程的必要性，这个跟笔者的认知相符，其实最难的是落实到实操层面。

现在很多企业认识到了IT的重要型，比如成立了企业级的IT架构委员会，这是非常大的进步。而企业级的数据管理是IT管理的一部分，在诸如IT架构委员会下成立相关的企业级跨部门数据专业工作组是非常好的选择。

企业级IT组织的建立对于企业级数据汇通机制的建立至关重要，因为在大多传统企业，很难像互联网公司那样设立CDO岗位直通管理层，毕竟基因不同。

但光有一个企业级组织的名头也是不够的，必须设立具体的岗位、角色和职责。DAMA里面就明确提到了跨部门数据专业工作组（数据治理的跨职能团队）这类组织中数据专员角色的重要性。

笔者非常认可。只有设立各个部门的数据代表即数据专员，才能解决前面提到的一系列问题，比如业务知识不理解问题。

在起步阶段，笔者认为跨部门数据专业工作组需要具备以下最小职能：

1、建章立制：编制大数据汇通工作的规范流程和管理办法，建立企业级数据量化评估体系，确保各系统按要求开放数据资产、统一数据采集、保障数据质量。

2、汇通实施：将各部门盘点的数据资产统一采集汇聚到大数据平台，通过大数据技术将数据融合融通，并向全企业开放使用。

而各部门数据专员最小的职责包括：

1、数据资产盘点：及时盘点和维护部门内数据资产，协助工作组审核IT项目数据汇通合规性。

2、数据融合融通：收集部门内的数据融合融通需求并提交，协调部门内各领域专业知识分享。

3、数据质量保障：协助工作组督导部门内的大数据汇通对接保障，组织协调解决大数据汇通过程中的数据质量问题。

总之一句话，要彻底打破企业的数据部门墙，一方面依赖企业对于IT和数据的认知和重视程度，能够给予组织、机制和资源上的保障，另一方面则需要数据团队积极作为，给出合理的策略，否则就没什么希望了。

友情推荐【大鱼的数据人生】公众号

元数据的生死时速

企业数据治理的十个最佳实践

美团配送数据治理实践

如何实施有效的报表治理？

面向数据中台的数据治理七把利剑

如何有效推进百万标签库的治理？

艰难的旅程：我们如何用“十步法”完成了一次企业级数据治理的落地？

图数据库：一种解决元数据管理“两张皮”的方法！

最新发布的《数据资产管理实践白皮书4.0》，是学习数据管理的最好框架指引！

数据的价值到底如何评估？

业务系统的数据资产管理为什么这么难？

数据的价值到底如何衡量？

从DAMA出发，一个指标库到底是如何炼成的？

一本数据字典的三生三世

思考|谈谈数据管理的原则

我如何完成一本企业数据字典的编写？

为什么数据管理工作很难成功?

六把武器？谈谈DT时代的大数据资产管理（下）

六把武器？谈谈DT时代的大数据资产管理（上）

本文地址：https://blog.csdn.net/fuyipingwml1976124/article/details/108860523