大数据概述 ——林子雨老师第一课
程序员文章站
2022-07-07 23:47:27
大数据概念:数据量大,数据类型繁多,处理速度快,价值密度低 。 大数据的影响: 思维方面:全样而非抽样,效率而非精确,相关而非因果。 关键技术:数据采集,数据存储与管理,数据处理与分析,数据隐私和安全。 两大核心技术:分布式存储:如GFS 和 HDFS 分布式处理:如MapReduce 和 Spar ......
大数据概念:数据量大,数据类型繁多,处理速度快,价值密度低 。
大数据的影响: 思维方面:全样而非抽样,效率而非精确,相关而非因果。
关键技术:数据采集,数据存储与管理,数据处理与分析,数据隐私和安全。
两大核心技术:分布式存储:如GFS 和 HDFS
分布式处理:如MapReduce 和 Spark
计算模式:批处理计算:针对大规模的数据的批量处理 技术:MapReduce,Spark等
流处理:针对流数据的实时计算 技术:Storm等
图计算:针对大规模图结构数据的处理 技术: Pregel ,Graph等
查询分析计算:大规模数据的存储管理和查询分析 技术:Dremel, Hive等
云计算:实现了通过网络提供的可伸缩的,廉价的分布式计算能力。用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。
云可分为:公有云,私有云和混合云。
云计算分为:Saas(Software as a Service)软件即服务。 从一个集中的系统部署软件。并通过云购买。
Paas(Platform as a Service )平台即服务。 类似Iaas ,但它包括操作系统和围绕特定应用的必需服务。
Iaas(Infrastructure as a Service) 基础设施即服务。 将基础设施作为服务出租。
云计算关键技术:虚拟化,分布式存储,分布式计算,多租户。
PS:图片摘自厦门大学林子雨老师在中国大学上的公开课《大数据技术原理与应用》。