大数据面试题汇总

1.Hadoop中有哪些组件？

              Hadoop=HDFS+Yarn+MapReduce+Hive+Hbase+...

            1).HDFS:分布式文件存储系统

                 主：namenode,secondarynamenode

                 从：datanode

            2).Yarn:分布式资源管理系统，用于同一管理集群中的资源（内存等）

                     主：ResourceManager

                     从：NodeManager

            3).MapReduce:Hadoop的计算框架，用map和reduce方式实现数据的全局汇总

            4).Zookeeper：分布式协调服务，用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等

                     主：QuorumPeerMain

                     从：QuorumPeerMain

            5).Hbase:Hadoop下的分布式数据库，类似于NoSQL

                     主：HMaster,HRegionserver,Region

            7).Hive:分布式数据仓库，其实说白了就是一个数据分析工具，底层用的还是MapReduce

            8).Sqoop:用于将传统数据库中数据导入到hbase或者Hdfs中一个导入工具

            9).Spark:基于内存的分布式处理框架

                     主：Master

                     从：Worker
 

2.Hdfs中角色有哪些？

          NameNode：管理元数据信息，给子节点分配任务（FSImage是主节点启动时对整个文件系统的快照，Edits是修改记录）

          DataNode：负责数据存储，实时上报心跳给主节点

          SecondaryNameNode：

                1）首先，它定时到NameNode去获取edit logs，并更新到fsimage上。一旦它有了新的fsimage文件，它将其拷贝回                            NameNode中。

               2） NameNode在下次重启时会使用这个新的fsimage文件，从而减少重启的时间。

3.Hdfs和Yarn有什么区别？

              1）Hdfs是分布式文件存储系统，是用来存储文件的； 

              2）Yarn是一个资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和                        数据共享等方面带来了巨大好处
 

4.MapReduce的shuffle过程？

              从Map产生输出开始到Reduce取得数据作为输入之前的过程称作shuffle。

              1).Collect阶段：将MapTask的结果输出到默认大小为100M的环形缓冲区，保存的是key/value，Partition分区信息等。

              2).Spill阶段：当内存中的数据量达到一定的阀值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据                     进行一次排序的操作，如果配置了combiner，还会将有相同分区号和key的数据进行排序。

              3).Merge阶段：把所有溢出的临时文件进行一次合并操作，以确保一个MapTask最终只产生一个中间数据文件。

              4).Copy阶段：ReduceTask启动Fetcher线程到已经完成MapTask的节点上复制一份属于自己的数据，这些数据默认会                       保存在内存的缓冲区中，当内存的缓冲区达到一定的阀值的时候，就会将数据写到磁盘之上。

              5).Merge阶段：在ReduceTask远程复制数据的同时，会在后台开启两个线程对内存到本地的数据文件进行合并操作。

              6).Sort阶段：在对数据进行合并的同时，会进行排序操作，由于MapTask阶段已经对数据进行了局部的排序，                                  ReduceTask只需保证Copy的数据的最终整体有效性即可。
 

5.MapReduce的Partition和Combine有什么区别？

                  1)combine分为map端和reduce端，作用是把同一个key的键值对合并在一起，可以自定义,该类的主要功能是合并相                         同的key键

                  2)partition是分割map每个节点的结果，按照key分别映射给不同的reduce，也是可以自定义的,partition的作用就是把                      这些数据归类
 

6.Hadoop的高可用模式说一下？

7.Zookeeper在Hadoop中的作用？

                    1)Zookeepe主要用来解决分布式应用中经常遇到的数据管理问题，如集群管理、统一命名服务、分布式配置管理、                        分布式消息队列、分布式锁、分布式协调等。

                    2)Zookeeper是一个由多个server组成的集群，一个leader，多个follower，每个server保存一份数据副本，全局数据                         一致、分布式读写，更新请求转发，由leader实施。
 

是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特                        点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错.

 

12.你的项目中你的Hive仓库怎么设计的？分几层？

                  1 ）源数据层：此层数据无任何更改，不对外开放，为临时存储层，是接口数据的临时存储区域，为后一步的数据处                          理做准备。

                  2） 数据仓库层（DW）：DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了                            杂质后的数据。

                  2） 数据应用层（DA或APP）：前端应用直接读取的数据源；根据报表、专题分析需求而计算生成的数据。
 

 

13.Hive中的内表和外表的区别？

                  1）在删除内部表的时候，Hive将会把属于表的元数据和数据全部删掉；

                  2）而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的

 

14.分区表和分桶表有什么区别？

                  1）分区就是分文件夹，在表文件夹下多一个文件夹，分区字段是虚拟的，用于标识文件，分区字段一定不是表中存                           在的字段，否则会便宜报错；

                  2）分桶功能默认不开启，需要手动开启，分桶个数自定义，是相对于分区更细粒度的划分，是分文件；
 

19.Azkaban的特性？

       1、Web用户界面 
　　2、方便上传工作流 
　　3、方便设置任务之间的关系 
　　4、调度工作流 
　　5、认证/授权(权限的工作) 
　　6、能够杀死并重新启动工作流 
　　7、模块化和可插拔的插件机制 
　　8、项目工作区 
　　9、工作流和任务的日志记录和审计

20.怎么查看本机内存CPU使用情况？

  free -m

 

21.怎么查看目录下的所有详细情况？

       先使用 ls -a 查看当前目录下的所有文件；

       然后使用 ls -a -l 查看所有文件的详细信息，每一行是一个文件的所有信息；

       再使用 ls -a -l -h 查看所有文件的详细信息

22.Hbase索引和Hive索引有什么区别？

                  1.Hive中的表为纯逻辑表，仅仅对表的元数据进行定义。Hive没有物理存储的功能，它完全依赖HDFS和                                          MapReduce。HBase表则是物理表，适合存放非结构化的数据。

                  2.Hive是在MapReduce的基础上对数据进行处理；而HBase为列模式，这样使得对海量数据的随机访问变得可行。

                  3.HBase的存储表存储密度小，因而用户可以对行定义成不同的列；而Hive是逻辑表，属于稠密型，即定义列数，每                       一行对列数都有固定的数据。

                  4.Hive使用Hadoop来分析处理数据，而Hadoop系统是批处理系统，所以数据处理存在延时的问题；而HBase是准实                       时系统，可以实现数据的实时查询。

                  5.Hive没有row-level的更新，它适用于大量append-only数据集（如日志）的批任务处理。而基于HBase的查询，支                         持和row-level的更新。

                  6.Hive全面支持SQL，一般可以用来进行基于历史数据的挖掘、分析。而HBase不适用于有join，多级索引，表关系                         复杂的应用场景
 

24.Kafka,Flume中组件包括哪些？

       Kafka组件：

              Topic ：消息根据Topic进行归类

              Producer：发送消息者

              Consumer：消息接受者

              broker：每个kafka实例(server)

              Zookeeper：依赖集群保存meta信息。

       Flume组件：

              Agent:

              Source:

              Channel:

              Sink:

 

 

29.order by ,sort by ,destribute by,cluster by 区别？

       1)order by

              order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导                  致当输入规模较大时，消耗较长的计算时间。

       2)sort by

              sort by不是全局排序，其在数据进入reducer前完成排序，sort by只会保证每个reducer的输出有序，并不保证全局有                    序。sort by的数据只能保证在同一个reduce中的数据可以按指定字段排序。

       3)distribute by

             distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，对应reduce的个数进行分                     发，默认是采用hash算法。sort by为每个reduce产生一个排序文件。在有些情况下，你需要控制某个特定行应该到哪个               reducer，这通常是为了进行后续的聚集操作。distribute by刚好可以做这件事。因此，distribute by经常和sort by配合                   使 用。

       4)cluster by

             cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是倒叙排序，不能指定排序规则为ASC或                 者DESC。
 

31.where和having的区别？

     1)  “Where” 是一个约束声明，使用Where来约束来自数据库的数据，Where是在结果返回之前起作用的，且Where中不能使              用聚合函数。

       2)“Having”是一个过滤声明，是在查询返回结果集以后对查询结果进行的过滤操作，在Having中可以使用聚合函数
 

 

 

 

 

 

 

参考博文:https://blog.csdn.net/Sunshine_2211468152/article/details/83627524