大数据及Hadoop的概述
程序员文章站
2022-06-08 21:15:24
一、大数据存储和计算的各种框架即工具 1.存储:HDFS:分布式文件系统 Hbase:分布式数据库系统 Kafka:分布式消息缓存系统 2.计算:Mapreduce:离线计算框架 storm:实时流式计算 spark:离线批处理/实时流处理计算框架(MR的二次封装) 3.辅助类工具:hive:数据仓 ......
一、大数据存储和计算的各种框架即工具
1.存储:hdfs:分布式文件系统
hbase:分布式数据库系统
kafka:分布式消息缓存系统
2.计算:mapreduce:离线计算框架
storm:实时流式计算
spark:离线批处理/实时流处理计算框架(mr的二次封装)
3.辅助类工具:hive:数据仓库工具
flume:数据采集工具
sqoop:数据迁移工具
二、大数据应用场景:
典型应用:公司运营情况 =>典型网站:cnzz、数据专家、友盟
电商广告推荐系统:淘宝、京东、苏宁
大量基于算法模型的运算,得出各种推荐结论
天气预报等。。。
三、hadoop的概述
hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计用于检测和处理应用层的故障,从而在计算机集群之上提供高可用性服务,每个计算机都可能容易出现故障。
hadoop中单个核心组件:
分布式文件系统:hdfs =>实现存储在多台服务器之上
分布式运行编程框架:mapreduce=>实现在很多太机器的分布式并行计算框架
分布式资源调度平台:yarn=>帮助我们调度大量mr任务,并合理分配运算资源
上一篇: php+mysql 分页问题
推荐阅读
-
湖南十大大专学校排名及分数线(2021年参考)-湖南最好的大专学校有哪些?
-
详解利用Dockerfile构建mysql镜像并实现数据的初始化及权限设置
-
模拟HTTP请求实现网页自动操作及数据采集的方法
-
hadoop和hbase的关系(flume数据采集)
-
非985的211大学有几所?顶尖211大学(非985)理工类院校及录取分数线
-
算法与数据结构(算法简介及大O表示法)
-
Android 数据存储之 FileInputStream 工具类及FileInputStream类的使用
-
mysql5.6及以下版本如何查询数据库里的json
-
业界大佬们对于2013年大数据的预测
-
三维数据可视化软件(数据可视化的基本概述)