数据软件有哪些（大数据软件和分析工具）

数据分析是对数据进行摄取、转换和可视化的过程，用来发掘对业务决策有用的洞见。

在过去的十年中，越来越多的数据被收集，客户希望从数据中获得更有价值的洞见。他们还希望能在最短的时间内（甚至实时地）获得这种洞见。他们希望有更多的临时查询以便回答更多的业务问题。为了回答这些问题，客户需要更强大、更高效的系统。

批处理通常涉及查询大量的冷数据。在批处理中，可能需要几个小时才能获得业务问题的答案。例如，你可能会使用批处理在月底生成账单报告。

实时的流处理通常涉及查询少量的热数据，只需要很短的时间就可以得到答案。例如，基于mapreduce的系统（如hadoop）就是支持批处理作业类型的平台。数据仓库是支持查询引擎类型的平台。

流数据处理需要摄取数据序列，并根据每条数据记录进行增量更新。通常，它们摄取连续产生的数据流，如计量数据、监控数据、审计日志、调试日志、网站点击流以及设备、人员和商品的位置跟踪事件。

图13-6展示了使用aws云技术栈处理、转换并可视化数据的数据湖流水线。

▲图13-6 使用数据湖etl流水线处理数据

在这里，etl流水线使用amazon athena对存储在amazon s3中的数据进行临时查询。从各种数据源（例如，web应用服务器）摄取的数据会生成日志文件，并持久保存在s3。然后，这些文件将被amazon elastic mapreduce（emr）转换和清洗成产生洞见所需的形式并加载到amazon s3。

用copy命令将这些转换后的文件加载到amazon redshift，并使用amazon quicksight进行可视化。使用amazon athena，你可以在数据存储时直接从amazon s3中查询，也可以在数据转换后查询（从聚合后的数据集）。你可以在amazon quicksight中对数据进行可视化，也可以在不改变现有数据流程的情况下轻松查询这些文件。

以下是一些最流行的可以帮助你对海量数据进行转换和处理的数据处理技术：

01 apache hadoop

apache hadoop使用分布式处理架构，将任务分发到服务器集群上进行处理。分发到集群服务器上的每一项任务都可以在任意一台服务器上运行或重新运行。集群服务器通常使用hdfs将数据存储到本地进行处理。

在hadoop框架中，hadoop将大的作业分割成离散的任务，并行处理。它能在数量庞大的hadoop集群中实现大规模的伸缩性。它还设计了容错功能，每个工作节点都会定期向主节点报告自己的状态，主节点可以将工作负载从没有积极响应的集群重新分配出去。

hadoop最常用的框架有hive、presto、pig和spark。

02 apache spark

apache spark是一个内存处理框架。apache spark是一个大规模并行处理系统，它有不同的执行器，可以将spark作业拆分，并行执行任务。为了提高作业的并行度，可以在集群中增加节点。spark支持批处理、交互式和流式数据源。

spark在作业执行过程中的所有阶段都使用有向无环图（directed acyclic graph，dag）。dag可以跟踪作业过程中数据的转换或数据沿袭情况，并将dataframes存储在内存中，有效地最小化i/o。spark还具有分区感知功能，以避免网络密集型的数据改组。

03 hadoop用户体验

hadoop用户体验（hadoop user experience，hue）使你能够通过基于浏览器的用户界面而不是命令行在集群上进行查询并运行脚本。

hue在用户界面中提供了最常见的hadoop组件。它可以基于浏览器查看和跟踪hadoop操作。多个用户可以登录hue的门户访问集群，管理员可以手动或通过ldap、pam、spnego、openid、oauth和saml2认证管理访问。hue允许你实时查看日志，并提供一个元存储管理器来操作hive元存储内容。

04 pig

pig通常用于处理大量的原始数据，然后再以结构化格式（sql表）存储。pig适用于etl操作，如数据验证、数据加载、数据转换，以及以多种格式组合来自多个来源的数据。除了etl，pig还支持关系操作，如嵌套数据、连接和分组。

pig脚本可以使用非结构化和半结构化数据（如web服务器日志或点击流日志）作为输入。相比之下，hive总是要求输入数据满足一定模式。pig的latin脚本包含关于如何过滤、分组和连接数据的指令，但pig并不打算成为一种查询语言。hive更适合查询数据。pig脚本根据pig latin语言的指令，编译并运行以转换数据。

05 hive

hive是一个开源的数据仓库和查询包，运行在hadoop集群之上。sql是一项非常常见的技能，它可以帮助团队轻松过渡到大数据世界。

hive使用了一种类似于sql的语言，叫作hive query语言（hive query language，hql），这使得在hadoop系统中查询和处理数据变得非常容易。hive抽象了用java等编码语言编写程序来执行分析作业的复杂性。

06 presto

presto是一个类似hive的查询引擎，但它的速度更快。它支持ansi sql标准，该标准很容易学习，也是最流行的技能集。presto支持复杂的查询、连接和聚合功能。

与hive或mapreduce不同，presto在内存中执行查询，减少了延迟，提高了查询性能。在选择presto的服务器容量时需要小心，因为它需要有足够的内存。内存溢出时，presto作业将重新启动。

07 hbase

hbase是作为开源hadoop项目的一部分开发的nosql数据库。hbase运行在hdfs上，为hadoop生态系统提供非关系型数据库。hbase有助于将大量数据压缩并以列式格式存储。同时，它还提供了快速查找功能，因为其中很大一部分数据被缓存在内存中，集群实例存储也同时在使用。

08 apache zeppelin

apache zeppelin是一个建立在hadoop系统之上的用于数据分析的基于web的编辑器，又被称为zeppelin notebook。它的后台语言使用了解释器的概念，允许任何语言接入zeppelin。apache zeppelin包括一些基本的图表和透视图。它非常灵活，任何语言后台的任何输出结果都可以被识别和可视化。

09 ganglia

ganglia是一个hadoop集群监控工具。但是，你需要在启动时在集群上安装ganglia。ganglia ui运行在主节点上，你可以通过ssh访问主节点。ganglia是一个开源项目，旨在监控集群而不影响其性能。ganglia可以帮助检查集群中各个服务器的性能以及集群整体的性能。

10 jupyterhub

jupyterhub是一个多用户的jupyter notebook。jupyter notebook是数据科学家进行数据工程和ml的最流行的工具之一。jupyterhub服务器为每个用户提供基于web的jupyter notebook ide。多个用户可以同时使用他们的jupyter notebook来编写和执行代码，从而进行探索性数据分析。

11 amazon athena

amazon athena是一个交互式查询服务，它使用标准ansi sql语法在amazon s3对象存储上运行查询。amazon athena建立在presto之上，并扩展了作为托管服务的临时查询功能。amazon athena元数据存储与hive元数据存储的工作方式相同，因此你可以在amazon athena中使用与hive元数据存储相同的ddl语句。

athena是一个无服务器的托管服务，这意味着所有的基础设施和软件运维都由aws负责，你可以直接在athena的基于web的编辑器中执行查询。

12 amazon elastic mapreduce

amazon elastic mapreduce（emr）本质上是云上的hadoop。你可以使用emr来发挥hadoop框架与aws云的强大功能。emr支持所有最流行的开源框架，包括apache spark、hive、pig、presto、impala、hbase等。

emr提供了解耦的计算和存储，这意味着不必让大型的hadoop集群持续运转，你可以执行数据转换并将结果加载到持久化的amazon s3存储中，然后关闭服务器。emr提供了自动伸缩功能，为你节省了安装和更新服务器的各种软件的管理开销。

13 aws glue

aws glue是一个托管的etl服务，它有助于实现数据处理、登记和机器学习转换以查找重复记录。aws glue数据目录与hive数据目录兼容，并在各种数据源（包括关系型数据库、nosql和文件）间提供集中的元数据存储库。

aws glue建立在spark集群之上，并将etl作为一项托管服务提供。aws glue可为常见的用例生成pyspark和scala代码，因此不需要从头开始编写etl代码。

glue作业授权功能可处理作业中的任何错误，并提供日志以了解底层权限或数据格式问题。glue提供了工作流，通过简单的拖放功能帮助你建立自动化的数据流水线。

小结

数据分析和处理是一个庞大的主题，值得单独写一本书。本文概括地介绍了数据处理的流行工具。还有更多的专有和开源工具可供选择。