C时代的大数据整合之道

永远在线，互联互通，促使着一个新时代的来临！基于24小时在线(Connected 24 hours Era)这一直观特征，我们把这个时代简称为C时代！C时代所带来的变化，不仅仅是手指在手机屏幕上轻轻滑动的感觉，亦非只是随时随地信息实时互动，更多的是带来了数据的爆炸性增长。可以发现，信息发起已经从原来单纯机器产生数据，变成全民参与的时代，开启了前所未有的信息增长时期——更大容量、更多种类及更快速度。

大数据可为企业提供前所未有的机遇，可以提高营收和绩效，并洞察您的业务、市场和客户。从银行、保险企业需求来看，大家都在关注非结构化数据，大多数非结构化数据很难发现什么商业价值，那么如何去处理这些数据，辨别出低使用价值的数据，如何抽丝剥茧发现数据所蕴藏的价值，更好地为商业创新和决策服务呢。比如，传统的交易数据虽然可提供有关客户状况的重要视图，但这一视图并不完整，金融服务公司纷纷开通企业的微博和博客，在交互过程中希望倾听到不同客户对业务的需求或建议，从而开发新业务，发掘新的商机；金融机构还能够充分利用各种服务交付渠道(如网络、移动通信等)的海量客户数据，开发新的预测分析模型，实现对客户消费行为模式进行分析，提高客户转化率……。

虽然大家都认为数据是企业最重要的资产，可将有用的数据与没有价值的数据进行区分却是个棘手的问题，很多企业仍然只是将信息简单地堆砌在一起，无从发现数据的价值。大数据就像一场大洪水，如果能够有利的疏导可以为我所用，不能疏导则只能白白占用存储和通道，无任何价值，怎样才能有利的疏导、快速提取它的价值呢？必须有一种智能的、透明化的方式来解读它们，而大数据处理则是从海量数据中获得有价值信息的基矗

面对大数据，由于数据量非常巨大，而且数据类型异常复杂，特别是非结构化和半结构数据量远远超过传统的结构化数据，一些传统的基于关系型数据库的存储和分析办法显露出不足，同时巨大的成本压力已成为很多企业难以承受的负重。Hadoop这种可以更容易开发和运行处理大规模以及更多类型数据的软件平台，能够以更经济的方式、更好的性能来处理数据，从而获得了很多企业的青睐。但是，在现今的IT环境中，开源的Hadoop不可能作为一个孤岛存在。为了让Hadoop可以跨越不同平台并成为一种主流技术，用户需要将Hadoop作为他们IT大环境中的一部分来管理，通过Hadoop重复使用他们的开发技巧、资产及数据，并统筹管理全部数据。

许多人寄希望于Hadoop厂商们能够开发出一些成熟可靠的工具、功能和创新技术，使他们不用特别学习复杂的编程语言，就能轻松地操作、应用Hadoop。Informatica一直专注于数据集成、数据整合，期望把Hadoop技术通过一种透明的方式呈现给用户，帮助他们从海量数据中提炼出有价值的数据值，并降低数据操作中的成本。一年半前，Informatica就开始进行Hadoop方面的研究，希望借助统一的环境和方法，让用户通过一个易用的单一平台更好地释放Hadoop的潜能，帮助金融企业实现大数据最大投资回报。

目前，Informatica正在迅速执行针对Hadoop的路线图。Informatica于2011年6月发布了PowerExchange for Hadoop，解决了与Hadoop之间输入、输出数据的一大难题，让企业能够向Hadoop输送所有数据以便集成和处理大数据，通过与包括大型机、数据库及应用程序在内的所有数据(无论企业内部还是云中)的统一连接，轻松地以批量或实时方式在Hadoop系统中取送数据。同年11月发布的Hparser是业界第一款Hadoop环境下的数据编译转换解决方案，提供了一种可视化的IDE来部署预置解析器或为各种复杂的数据格式(诸如网络记录、社交媒体数据、通话详细记录以及其他数据格式)设计特定分析器，然后将其部署到Hadoop上，用户能大大简化并加快数据分析过程，有效避免处理过程中的风险并削减定制编译脚本的成本。此外，Informatica继续大量投资研发活动，以在路线图中提供更多功能，例如关于Hadoop的数据集成和数据质量，Hadoop上的数据发现和探查，Hadoop的数据摄取(例如包括实时流)，以及管理和监控Hadoop工作负荷。

在Hadoop系统上实施大数据处理可能需要高度专业化且价格昂贵的开发资源。Informatica数据集成平台所具备的专供Hadoop使用的统一可视化开发环境让Informatica开发人员能够在无需专业培训的情况下，轻松地在Hadoop上大展身手。借助于该技术，开发人员可使用熟悉而直观的Informatica开发工具定义业务逻辑、转换和映射规则，从而降低成本、优化资源利用率并充分发挥大数据的潜能。西太平洋银行早已清楚地认识到深入了解自身数据资产的必要性，积极探索大数据所带来的机遇，他们正在利用社交媒体数据来提升市场促销活动的成功率，以及提高客户招揽率和维系率。采用Informatica数据集成平台，西太平洋银行能够更好地通过Hadoop管理和处理社交媒体数据来增进对客户的了解并实现大数据的最大回报。

金融服务机构必须不断寻找新的、更具创意的方法以保持其竞争优势，不论是通过目标定位更准确的产品和服务，或是更有效率的业务。作为全球领先的独立企业数据集成软件提供商，Informatica帮助全球近5000家企业管理其在本地的、云中和社交网络上的信息资产，帮助他们通过对数据的利用，发现新的机遇，找到竞争优势。Hadoop技术改变非常快，与Informatica合作，无论Hadoop怎样变，Informatica都能提供支持，保证用户可以充分地利用数据的价值，避免对错误的技术下注。