大数据时代向我们走来

一、大数据的概念和内涵

目前，信息通信技术迎来新一轮重大突破，产业发展模式和格局正在发生深刻变革。信息技术向泛在、融合、智能和绿色方向发展，网络通信、计算、软件、服务领域出现群体性突破，对信息产业产生破坏性、颠覆性、革命性创新效应，正在重塑全球信息产业发展新格局。以产品功能融合、网络融合、制造与服务融合以及信息技术向其他产业渗透等为主要特征的融合发展，正在成为推动信息产业转型升级的重要力量；基于“硬件+软件+终端+内容+服务”的产业链垂直整合，正在推动信息产业组织方式深刻变革；云计算、移动互联网、大数据等面向服务的商业模式创新，正在开辟新的产业增长点。根据赛迪顾问的测算，全球数据正以每年超过50%的速度爆发式增长。“大数据”一词首次被提出是在2011年有关机构发布的研究报告——《大数据：创新、竞争和生产力的下一个新领域》之中，这份报告研究了数字数据和文档的状态，同时讲解了处理这些数据能够释放出的潜在价值。我认为：大数据是指基于海量、多样化的交易数据、交互数据与传感数据，通过快速获娶处理、分析等一系列手段以从中提取价值的技术、产品及服务。

根据上述对大数据的定义，我认为大数据具有四个关键特征，分别是：海量化（Volume）、多样化（Variety）、快速化（Velocity）和价值化（Value）。

二、大数据的商业价值

随着云计算、移动互联网和物联网等新一代信息技术的创新和应用普及，社会信息化、企业信息化日趋成熟，社会化网络逐渐兴起。传感设备、移动终端正在越来越多地接入到网络，各种统计数据、交易数据、交互数据和传感数据正在源源不断从各行各业迅速生成，全球数据的增长速度之快前所未有、数据的类型也变得越来越多。种类广泛、数量庞大、产生和更新速度加剧的大数据聚蕴含着前所未有的社会价值和商业价值，发展潜力十分巨大。数据对决策者的意义主要表现在三个方面，一是早期预警，二是实时感知，三是实时反溃早期预警就是早期检测数字设备、服务、用户行业中的异常，可以在时间上快速响应危机。实时感知就是数据可以很细粒度的描绘现实情况，有助于制定行动计划和政策。实时反馈就是数据具有实时监测能力，可及时了解政策和行动计划的失效性，并做出必要的防护。

在零售领域，对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对。沃尔玛已经开始利用各个连锁店不断产生的海量销售数据，并结合天气数据、经济学、人口统计学进行分析，从而在特定的连锁店中选择合适的上架产品，并判定商品减价的时机。在互联网领域，对大数据的分析可以为商家制定更加精准有效的营销策略提供决策支持。Facebook、Ebay等网站正在对海量的社交网络数据与在线交易数据进行分析和挖掘，从而提供点对点的个性化广告投放。在公共事业领域，结合各种数据的分析和挖掘可以提高公共管理的效率。欧洲多个城市通过分析实时采集的交通流量数据，指导驾车出行者选择最佳路径，从而改善城市交通状况。联合国也推出了名为“全球脉动”（Global Pulse）的新项目，希望利用“大数据”来促进全球经济发展。

三、大数据对企业决策的变革性影响

决策主体从“精英式”向“大众化”过度。无论是关注客户长期价值的“核心竞争力理论”，还是以产品或客户需求为基础的“定位论”，决策的核心都是精英式的企业管理层，而非员工和社会公众。这些决策的依据均是相对静止的、确定的结构化数据。但是随着社会化媒体和大数据的应用的深入，决策主体正从决策主体从“精英式”转向“大众化”。社会化媒体的出现加速了信息传播的范围和效力，社交网络的普及增进了知识的共享和信息的交互，社会公众及其意见领袖已经成为企业决策的中坚力量。他们通过意见的表达、信息的传递，迅速形成信息共同体和利益共同体，成为商业经营决策的依据，也成为其决策的外部压力。同时，决策的依据正从结构化数据转向非结构化、半结构化和结构化混合的大数据，而大数据技术和处理手段可以使看似杂乱无章、关联性不强的变成服务决策的有效信息。

决策方式从“业务驱动”向“数据驱动”转型。在大数据时代，数据渗透各个行业，渐渐成为企业战略资产，以及企业创新的核心驱动力。拥有数据的规模、活性，以及收集、分析、利用数据的能力，将决定企业的核心竞争力。掌控数据就可以支配市场，意味着巨大的投资回报。过去很多企业对自身经营发展的分析只停留在简单业务信息层面，缺乏对客户需求、业务流程、品牌营销、市场竞争等方面的深入分析。如果管理者只依靠业务现状与主观经验对市场的估测进行判断，将导致战略与决策定位不准，存在很大风险。在大数据时代，企业通过收集和分析大量内部和外部的数据，获取有价值的信息。通过挖掘这些信息，企业可以预测市场需求，进行智能化决策分析。有研究显示，在美国公司，数据智能化每提高10%，产品和服务质量提高14.6%。

决策过程从“被动式”向“预判式”演变。在互联经济时代，原材料、生产设备、顾客和市场等因素越来越变得没有固定的定义，传统决策过程的“被动式反馈”难以适应这一变化，如何充分大数据技术构建业务发展需求的内外部数据采集、筛癣存储、分析和决策的系统，支撑预判，服务决策，成为移动互联时代企业塑造核心竞争能力的关键。当前科技正走向跨领域融合，产业界限正在模糊，充斥其间的则是大量的非结构化数据，赛迪顾问预测，未来5年中企业数据将增长8倍，其中非结构化数据将占到85%以上。于此同时，现代化企业管理越来越流程和规范化，严格的执行各种规章流程成为竞争乏力的直接原因，也造成了决策层的经验判断和预测越发无从奏效。在社会化媒体中发掘消费者的真正需求，在大数据中挖掘员工和社会公众的创造性，日益成为企业决策的基本前提，也是推动企业决策过程从“被动式”向“预判式”演变新的决策模式。

四、大数据产业链解析

大数据产业：是指一切与大数据的产生与集聚、组织与管理、分析与发现、应用与服务相关的所有活动的集合。主要包括三个方面：（1）用以搭建大数据平台、实现大数据组织与管理、分析与发现的相关IT基础设施与软件的销售和租赁活动。（2）大数据平台的运维与管理服务，系统集成、数据安全、云存储等解决方案与相关咨询服务。（3）与大数据应用相关的数据出售与租赁服务、分析与预测服务、决策支持服务、数据共享平台、数据分析平台等。大数据产业链按照数据价值实现流程包括数据生产与集聚层、数据组织与管理层、数据分析与发现层、数据应用与服务层。

数据生产与集聚层。大数据主要来源于伴随着社会信息化、企业信息化、平安城市、智慧城市、社交网络、电子商务等不断发展，以及云计算、物联网、移动互联网等新一代信息技术广泛应用而不断产生的交易数据、交互数据与传感数据。数据的产生与集聚层包括社会管理信息系统、企业ERP系统、在线交易系统、视频监控设备、传感设备、GPS设备、移动智能终端、光传输、移动通讯、网络传输等数据生成、采集、传输的系统与设备。涉及到*机构，互联网、金融、电信、交通、能源、零售、制造等行业龙头，他们占据大数据产业链的上游，对数据的掌控能够带来对市场的支配和巨大的经济回报。

数据组织与管理层。数据组织与管理层是指能支撑大数据的组织与管理的所有活动集合。数据组织与管理层是对大数据进行处理分析并发现价值的必备基矗主要包含：（1）分布式文件系统、数据库、数据仓库、数据转换工具等软件销售与租赁，（2）支撑数据组织与管理的服务器、存储设备、网络设备、数据中心附属设备等IT基础设施硬件销售与租赁，（3）支撑数据组织与管理的平台规划咨询、系统集成、数据中心运营管理、云存储等服务。

数据分析与发现层。数据分析与发现层是指能支撑大数据的处理分析并挖掘数据价值的所有活动集合。数据分析与发现层是大数据从量变到质变，完成价值飞跃的关键环节。主要包含：（1）数据统计、内容/知识管理、数据挖掘、商务智能、人工智能、语义分析、数据可视化等软件销售与租赁。（2）支撑数据分析与发现的嵌入式芯片、服务器、高性能计算设备等IT基础设施硬件销售与租赁。（3）支撑数据分析与发现的计算平台集成、数据中心运营管理、弹性运算能力租赁等服务。

数据应用与服务层。数据应用与服务层是指通过数据出售与租赁、分析与预测服务、决策支持服务、数据共享平台、数据分析平台等商业模式为最终用户提供原始数据、数据价值、数据能力的产业集合，还包括支撑数据分析与共享平台的IT基础设施等硬件销售与租赁、系统集成、运营管理服务。

个人与行业用户是大数据产业链的最后环节，是产业链的目的地，行业用户通过商业智能、数据挖掘与可视化、预测性分析、行业应用、内容分析等大数据应用，决策现有业务的发展方向与目标。同时，企业结合新的技术与需求，规划未来的数据体系，重构IT架构，在新的数据体系下，则会形成新的大数据源。个人则通过数据服务商提供的服务开启智慧生活。因此，大数据的行业应用会促使大数据产业链形成一个循环过程，包括对大数据的组织与管理、分析与发现、应用服务，产业链的最终用户也可以是产业链的上游大数据资源拥有者。随着每次数据产生到数据价值实现的循环过程，数据规模不断扩大、数据复杂度不断加深、数据创造的价值不断加大，同时，也加速大数据技术创新与产业升级。

五、如何应对大数据时代的到来

大数据带来战略机遇的同时，也带来了不可忽视的一系列挑战。数据分析与管理人才紧缺。人才是大数据带来的挑战之一。研究表明，单单在美国，对拥有深厚的海量数据分析（包括机器学习和高级统计分析）技能人才的需求，可能超出目前预测供应量的50-60%。到2018年，需要新增多达14-19万名专家。此外，还需要150万名熟悉如何应用海量数据的管理者和分析员。企业必须加大招聘和人才挽留力度，同时大力投入关键数据人员的教育和培训。用户隐私与便利性的冲突。“大数据”对个人信息获取渠道的拓宽的需求引发了另一个重要问题：隐私和便利性之间的冲突。例如，研究表明，消费者受惠于海量数据：更低的价格、更符合消费者需要的商品，以及从改善健康状况到提高社会互动顺畅度等生活质量的提高。但同时，随着个人购买偏好、健康和财务情况的海量数据被收集，人们对隐私的担忧也在增大。数据安全的风险更加凸显。数据安全在大数据时代也同样面临挑战。大数据发展的趋势往往与加大信息开放度、设计新的信息收集设备以及为海量数据的庞大存续和分析需求提供支持的云计算等如影随形。带来的副作用是IT基础架构将变得越来越一体化和外向型，对数据安全和知识产权构成更大风险。

大数据产业：是指一切与大数据的产生与集聚、组织与管理、分析与发现、应用与服务相关的所有活动的集合。主要包括三个方面：（1）用以搭建大数据平台、实现大数据组织与管理、分析与发现的相关IT基础设施与软件的销售和租赁活动。（2）大数据平台的运维与管理服务，系统集成、数据安全、云存储等解决方案与相关咨询服务。（3）与大数据应用相关的数据出售与租赁服务、分析与预测服务、决策支持服务、数据共享平台、数据分析平台等。大数据产业链按照数据价值实现流程包括数据生产与集聚层、数据组织与管理层、数据分析与发现层、数据应用与服务层。

数据生产与集聚层。大数据主要来源于伴随着社会信息化、企业信息化、平安城市、智慧城市、社交网络、电子商务等不断发展，以及云计算、物联网、移动互联网等新一代信息技术广泛应用而不断产生的交易数据、交互数据与传感数据。数据的产生与集聚层包括社会管理信息系统、企业ERP系统、在线交易系统、视频监控设备、传感设备、GPS设备、移动智能终端、光传输、移动通讯、网络传输等数据生成、采集、传输的系统与设备。涉及到*机构，互联网、金融、电信、交通、能源、零售、制造等行业龙头，他们占据大数据产业链的上游，对数据的掌控能够带来对市场的支配和巨大的经济回报。

数据组织与管理层。数据组织与管理层是指能支撑大数据的组织与管理的所有活动集合。数据组织与管理层是对大数据进行处理分析并发现价值的必备基矗主要包含：（1）分布式文件系统、数据库、数据仓库、数据转换工具等软件销售与租赁，（2）支撑数据组织与管理的服务器、存储设备、网络设备、数据中心附属设备等IT基础设施硬件销售与租赁，（3）支撑数据组织与管理的平台规划咨询、系统集成、数据中心运营管理、云存储等服务。

数据分析与发现层。数据分析与发现层是指能支撑大数据的处理分析并挖掘数据价值的所有活动集合。数据分析与发现层是大数据从量变到质变，完成价值飞跃的关键环节。主要包含：（1）数据统计、内容/知识管理、数据挖掘、商务智能、人工智能、语义分析、数据可视化等软件销售与租赁。（2）支撑数据分析与发现的嵌入式芯片、服务器、高性能计算设备等IT基础设施硬件销售与租赁。（3）支撑数据分析与发现的计算平台集成、数据中心运营管理、弹性运算能力租赁等服务。

数据应用与服务层。数据应用与服务层是指通过数据出售与租赁、分析与预测服务、决策支持服务、数据共享平台、数据分析平台等商业模式为最终用户提供原始数据、数据价值、数据能力的产业集合，还包括支撑数据分析与共享平台的IT基础设施等硬件销售与租赁、系统集成、运营管理服务。

个人与行业用户是大数据产业链的最后环节，是产业链的目的地，行业用户通过商业智能、数据挖掘与可视化、预测性分析、行业应用、内容分析等大数据应用，决策现有业务的发展方向与目标。同时，企业结合新的技术与需求，规划未来的数据体系，重构IT架构，在新的数据体系下，则会形成新的大数据源。个人则通过数据服务商提供的服务开启智慧生活。因此，大数据的行业应用会促使大数据产业链形成一个循环过程，包括对大数据的组织与管理、分析与发现、应用服务，产业链的最终用户也可以是产业链的上游大数据资源拥有者。随着每次数据产生到数据价值实现的循环过程，数据规模不断扩大、数据复杂度不断加深、数据创造的价值不断加大，同时，也加速大数据技术创新与产业升级。

五、如何应对大数据时代的到来

大数据带来战略机遇的同时，也带来了不可忽视的一系列挑战。数据分析与管理人才紧缺。人才是大数据带来的挑战之一。研究表明，单单在美国，对拥有深厚的海量数据分析（包括机器学习和高级统计分析）技能人才的需求，可能超出目前预测供应量的50-60%。到2018年，需要新增多达14-19万名专家。此外，还需要150万名熟悉如何应用海量数据的管理者和分析员。企业必须加大招聘和人才挽留力度，同时大力投入关键数据人员的教育和培训。用户隐私与便利性的冲突。“大数据”对个人信息获取渠道的拓宽的需求引发了另一个重要问题：隐私和便利性之间的冲突。例如，研究表明，消费者受惠于海量数据：更低的价格、更符合消费者需要的商品，以及从改善健康状况到提高社会互动顺畅度等生活质量的提高。但同时，随着个人购买偏好、健康和财务情况的海量数据被收集，人们对隐私的担忧也在增大。数据安全的风险更加凸显。数据安全在大数据时代也同样面临挑战。大数据发展的趋势往往与加大信息开放度、设计新的信息收集设备以及为海量数据的庞大存续和分析需求提供支持的云计算等如影随形。带来的副作用是IT基础架构将变得越来越一体化和外向型，对数据安全和知识产权构成更大风险。