欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

大数据概述 ——林子雨老师第一课

程序员文章站 2022-07-07 23:47:27
大数据概念:数据量大,数据类型繁多,处理速度快,价值密度低 。 大数据的影响: 思维方面:全样而非抽样,效率而非精确,相关而非因果。 关键技术:数据采集,数据存储与管理,数据处理与分析,数据隐私和安全。 两大核心技术:分布式存储:如GFS 和 HDFS 分布式处理:如MapReduce 和 Spar ......

大数据概念:数据量大,数据类型繁多,处理速度快,价值密度低 。

大数据的影响: 思维方面:全样而非抽样,效率而非精确,相关而非因果。

关键技术:数据采集,数据存储与管理,数据处理与分析,数据隐私和安全。

两大核心技术:分布式存储:如GFS 和 HDFS

       分布式处理:如MapReduce 和 Spark

计算模式:批处理计算:针对大规模的数据的批量处理                 技术:MapReduce,Spark等

     流处理:针对流数据的实时计算                                    技术:Storm等

     图计算:针对大规模图结构数据的处理                         技术: Pregel ,Graph等

     查询分析计算:大规模数据的存储管理和查询分析       技术:Dremel, Hive等

云计算:实现了通过网络提供的可伸缩的,廉价的分布式计算能力。用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。

云可分为:公有云,私有云和混合云。

云计算分为:Saas(Software as a Service)软件即服务。 从一个集中的系统部署软件。并通过云购买。

     Paas(Platform as a  Service )平台即服务。 类似Iaas ,但它包括操作系统和围绕特定应用的必需服务。

     Iaas(Infrastructure as a Service) 基础设施即服务。 将基础设施作为服务出租。

      

云计算关键技术:虚拟化,分布式存储,分布式计算,多租户。

大数据概述 ——林子雨老师第一课

大数据概述 ——林子雨老师第一课

PS:图片摘自厦门大学林子雨老师在中国大学上的公开课《大数据技术原理与应用》。