数据分析云平台如何构建（构建数据分析云平台完整方案）

大数据时代，几乎每一个企业都对数据分析平台趋之若鹜，尤其是今年，更多的企业主意识到了数据所具有的的极大商业价值，以及其作为支撑企业信息智能化的无形资产。

通常来说，企业内部的运营和业务系统每天会积累下大量历史数据，很多企业最多是对一些零散的数据进行浅层次的分析，真正的海量数据其实并没有得到真正有效的分析利用。

同时随着系统的不断增加和积累，沉淀在系统深处的数据也更加难以提取和整合，后期的报表展示和可视化分析也就成了空壳应用。

所以数据分析平台的建设就十分必要了，一方面它可以汇通企业的各个业务系统，从源头打通数据资源，另一方面也可以实现从数据提取、集成到数据清洗、加工、可视化的一站式分析，帮助企业真正从数据中提取价值，提高企业的经营能力。

不得说阿里很有战略远见，2015年底就宣布搭建“中台事业群”，在缩减开支，优化内部架构，提高工作效率，精细化运营产生了不小的作用，这也就是数据分析平台的作用。

神秘的数据分析平台究竟是什么？

通俗一点说，数据分析平台就是将公司所有的数据进行进行收集整理，包括系统数据、业务数据等等，在统一的数据框架下实现对数据的挖掘和分析，最后通过可视化的手段进行数据展示。

因为数据分析平台涉及的组件众多、功能复杂，如何将其有机的结合起来是其建设过程中最关键的核心。我们不妨以某集团的数据分析平台为例，来看一下具体的数据分析平台架构是什么样的：

在搭建数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的数据平台要具备的基本的功能，以上图为例从下至上可分为四个层次：

• 数据采集层：底层就是各种数据源，主要是对企业底层数据的采集和解析，将零散的数据整合起来，包括企业的核心业务数据、用户数据、日志数据、集团数据等等，通常有传统的etl离线采集和实时采集两种方式；
• 数据储存和处理层：有了数据底层的数据，然后根据需求和场景的不同进行数据预处理，储存到一个合适的持久化储存层中，比如说olap、机器学习、数据库等等；
• 数据分析层：这里就要用到bi分析系统，比如finebi、python等，如果是传统的数据挖掘还有spss，这一层主要是对数据进行加工，然后进行深层次的分析和挖掘。
• 数据应用层：根据业务需求不同划分出不同类别的应用，主要是对最终的数据进行展示和可视化，如上图的数据报表、仪表板、数字大屏、及时查询等等。

总结来说，企业对数据、效率要求的逐步提高，也给大数据提供了展现能力的平台，企业构建大数据平台，归根到底是构建企业的数据资产运营中心，发挥数据的价值，支撑企业的发展。

数据分析平台真的有必要吗？

在企业在进行数据分析平台建设之前，经常会有一个疑问：企业数据系统每天都在正常跑数据，业务系统也都正常稳定，那我们还需要数据分析平台吗？

答案是当然需要，在实际的企业数据管理中，业务系统往往不是单一的，而是多源的。

业务人员看似每天都在用业务数据，但实际上彼此的数据都是相互割裂、不打通的，如果想要实现数据分析，就要从多系统中取数，然后手动整合分析，这个显然是不能靠人力就能做到的。

这就叫做数据孤岛，这个问题的难点在于需要跨数据源进行分析，不同数据源之间的对接很难打通；其次，企业的数据一定是海量的，有的还需要二次加工，如果没有数据分析平台的支撑很难实现

另外从企业业务系统的角度看，我们如果把数据分析的工作直接单独放在业务系统上，一来系统的性能支撑不了这么耗费资源的事情，系统压力会很大；

二来随着数据的积累，单独的业务系统很难承受大数据量的处理，所以重新构建一个大数据处理平台就是必须的了。

所以，一个数据分析平台的出现，不仅可以承担数据分析的压力，同样可以对业务数据进行整合，也会不同程度的提高数据处理的性能，基于数据平台实现更丰富的功能需求。

数据分析平台建设流程

数据分析平台的建设流程基本上可以从数据分析流程来理解，比如数据采集、数据整合、数据加工、数据可视化等等，一般的大数据平台都会包括这些流程，叫做一站式大数据平台。

这里要注意一点，很多企业通常把基础数据平台建设错以为是一站式数据平台，二者最大的区别就在于架构上有没有实现业务探索式分析。

比如一站式数据平台架构有很多类型，现在比较流行的是自助式分析，也就是主动式的企业数据分析平台，让业务人员直接参与数据分析，借助于bi平台充分分析探索数据，并能将庞大的任务分解为小任务处理。

下面就以finebi为例，简单梳理一下自助式数据分析平台的具体建设流程：

1、数据采集

我们首先通过finebi的数据连接功能连接多个数据源，比如如果企业有oracle、sqlserver、mysql等多个业务系统数据库，就可以通过finebi的服务器数据集进行多维数据库的对接。

此外，如果是excel、csv、txt等常规文件数据，直接导入和读取就可以了，这样可以实现多数据源数据的采集。

这样就得到了企业业务系统的底层数据，但是这些来自不同系统的数据指标基本是混乱的、不统一的，所以下一步就要对数据进行整合，实现彻底打通。

2、数据整合

finebi中是通过业务包的形式进行数据存储，业务人员将不同来源的数据基于需求进行分类管理，通过设立表间的关联关系和多路径设置来进行数据整合。

数据整合完毕，我们需要将各平台的历史数据采用kettle完成etl数据抽取、清洗、转换等处理操作，以保证高质量的数据进入数据仓库进行储存。

在数据库性能尚可，或者业务的实时性要求很高，可以使用finebi的spider分布式引擎进行大数据完美对接，将数据基于业务分类整理成主题业务包，供业务人员前端进行固定报表查看以及自助分析使用。

3、数据加工

我们整合过的数据往往也是异构数据源中的，因此要先对关系数据进行初步的处理，比如说指标的筛选等等，将处理后的表存到业务包中作为数据分析的基础，这就叫做自助数据集。

通常在业务人员创建了数据连接和业务包以后，数据处理用户负责构建bi基础的数据模型，通过一定的数据处理，为分析用户配置好关联关系，分配好权限和设置好数据更新的频率，提供一层可供业务理解的基础模型。

然后我们再在数据集中对这些数据进行进一步的加工处理，比如筛选数据、过滤数据、数据分组汇总、数据行列转行等等，经过清洗后的数据就是我们进行分析的最终数据了。

4、数据分析和展示

得到了清洗后的数据，我们就要进行分析和最终的可视化展示，首先要依靠bi系统的探索式分析功能进行特定业务场景的分析，然后对数据进行拖拽式数据可视化操作。

当然了，数据展示的内容和方式包含很多，比如通过数据报表工具，根据需求制定多样的，针对性的数据报表，其他主要应用还有仪表板、数字大屏等等，这里就不一一介绍了。

给大家看一下finebi的可视化分析：

总结

总的来说，无论是大数据平台的流程，还是业务分析平台的建设，必须要注意涵盖两个要点：

一是要保证大数据处理性能的高效，比如finebi提供的fineindex+finedirect双数据引擎则分别满足实时和大数据量的计算需求；

二是要打破传统业务系统的沉疴，比如传统信息部门开发报表，最好避免使用重型bi来搭建企业平台；

最后在大数据时代，大多数企业的数据分析平台架构必然向着分布式、可扩展及多元化发展，这样才能通过对数据流程的梳理，去推动公司梳理整个业务体系。