欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

基于EMR离线数据分析-反馈有礼

程序员文章站 2022-04-28 22:34:09
...

“云上漫步”第三期-反馈有礼

参与体验产品,提交反馈,就有机会获得定制背包,T恤,超萌虎年鼠标垫,以及5到100元阿里云通用代金券~ 反馈地址:
https://developer.aliyun.com/adc/series/ysmb3

简介

数据量爆发式增长的今天,数字化转型成为IT行业的热点,数据需要更深度的价值挖掘,应对未来不断变化的需求。海量离线数据分析可以应用于多种商业系统环境,例如电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。

本场景将通过开通登录EMR Hadoop集群,简单进行hive操作,使用hive对数据进行加载,计算等操作。展示了如何构建弹性低成本的离线大数据分析。

体验此场景后,可以掌握的知识有:

1.EMR集群的基本操作,对EMR产品有初步的了解

2.EMR集群的数据传输和hive的简单操作,对如何进行离线大数据分析有初步的掌握

背景知识

E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。EMR计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK、专有云平台。产品文档地址:https://www.aliyun.com/product/emapreduce

产品优势

开源生态:提供高性能、稳定版本Hadoop、Spark、Hive、Flink、Kafka、HBase、Presto、Impala、Hudi等开源大数据组件,客户可根据场景灵活搭配使用

引擎优化:多引擎性能优化,如Spark SQL较开源版本提升6倍。采用JindoFS+OSS,保证数据可靠性基础上,性能大幅提升

便捷运维:在阿里云控制台和OpenAPI方便地对集群、节点和服务进行监控和运维操作。助您大幅提升运维工作效率,让数据工程师更专注于业务开发

节约成本:集群资源可自动按需匹配,您只需要按实际使用量付费,减少资源浪费成本。支持阿里云抢占式实例、预留实例券(RI),进一步降低成本

弹性资源:可以灵活调整集群资源,在数分钟内创建出基于云服务器 ECS、容器 ACK的集群,快速响应业务需求

安全可靠:通过 VPC 和安全组设置集群网络安全策略,支持Kerberos身份认证和数据加密,使用Ranger数据访问控制。支持数据加密,保证数据安全

对比维度 EMR 自建Hadoop
成本 资源按量付费,支持集群资源灵活调整,数据分层存储,资源使用率高。无额外软件License费用。 提前预估资源,且资源相对固定,资源使用率低。采用Hadoop发行版,需额外支付License费用。
性能 较开源版本性能大幅提升,如EMR SparkSQL性能是开源版本6倍。 采用开源社区版本,性能需自行优化。
易用 分钟级别启动Hadoop集群,敏捷响应业务需求。 采购服务器,部署Hadoop生态组件,周期长达数周。
弹性 可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS计算存储分离架构,轻松分别扩展计算和存储资源。 计算和存储耦合,资源相对固定,无法弹性调整资源。
安全 支持企业级多租户资源管理能力,支持对表、列、行级别的权限控制和日志审计,支持数据加密。 多租户管理能力需自行配置,能力不完善,无法满足企业级需求。
可靠 大规模、企业级环境的检验,随开源版本升级,并经过专业的兼容性验证测试,提供优于社区版本的使用体验。 需自行更新和升级开源版本,验证各组件版本兼容性,自行修复社区bug。
服务 专业和资深大数据专家技术服务团队提供售后支持。 社区版本无服务支持,Hadoop发行版,需额外支付License和服务费用。