面试问题总结

 

 什么事map reduce

 

1。mapreduce 中map内存溢出如何解决

 

找到hive-env.sh文件

打开后配置HADOOP_OPTS

加上

1. if [ "$SERVICE" = "hiveserver2" ]; then
2. echo $HADOOP_OPTS
3. export HADOOP_OPTS="$HADOOP_OPTS -XX:PermSize=512M -XX:MaxPermSize=1024M"
4. echo $HADOOP_OPTS
5. fi

 

保存

再启动后内存就已经改过来了

 

当然，其他java的内存参数也能自己配

 

2.reduce 二次排序解决方案

hadoop 二次排序的一些思考

先说一下mr的二次排序需求：

假如文件有两列分别为name、score，需求是先按照name排序，name相同按照score排序

数据如下：

jx 20
gj 30
jx 10
gj 15

输出结果要求：

gj 15
gj 30
jx 10
jx 20

我们常见的实现思路是：

1. 自定义类，重写compare()比较逻辑(先比较name,name相同比较score),这样可以保证无论map端，还是reduce端的排序规则是我们需求的
    当然，就这道题来说可以使用组合key，name_score吗？其实不行，主要因为score会按照字典排序
2. 我们按照key中的name做分区,按照需求只能有一个reduce，否则name不会全局有序。

然后是不是就ok了呢，如果就结果来说是ok的。但是内部隐藏种种问题。
现在需求换了，我要输出：

gj 15,30
jx 10,20

那么按照之前的逻辑，立马崩盘了。达不到此需求的效果。
我觉得二次排序重点考察之一就是隐藏的grouping。

grouping是做什么的呢，她是reduce端的分组，她是决定reduce方法会被框架调用几次关键，之前的需求之所以成功是因为grouping的compare()默认实现是迭代的前后对象==,
也就是比较对象的内存地址，对象不同所以就返回false，也就是不同组，这时reduce方法会被再次调用，而不是内部values的迭代器了。
由于reduce端的归并排序规则(之前我们已经定义好了)，直接输出就ok了，相当于每行数据就调用一次reduce方法。

但如果是第二次需求，没有实现grouping,无法实现相同名字的分数都好分隔。
实现方式就是实现grouping，重写compare方法，逻辑是如果名字相同就返回true。
这样到reduce端，相同name就是reduce同组，一次reduce方法，迭代values内容就可以实现value之间的逗号分隔。

那为什么我们刚学mr是的wordcount不用实现grouping呢？

主要是wordcount的key是string，到了reduce端相同的string内容是有字符串常量池的，所以 == 会相同，这样相同的word单词会同组，会在同一个values迭代器累加。
如果手贱，把string 封装成对象，并且不实现grouping，那得到的结果就不是我们想要的
会变成：
a 1
a 1
b 1
b 1
...

---

思考问题：

1. 一般的二次排序key如何定义？
2. grouping 是不是一定要实现，不实现可以吗？
3. 二次排序的本质是什么？
4. 如果以下输出
    gj 15,30
    jx 10,20
    1). 可不可以不设置grouping
    2). key可不可以设置为name

1. 一般自定义对象，但是如果比较的东东都是string，并且需求是字典序，那就可以用string的组合key。
2. 如何要实现二次排序，grouping是要实现的，但是像第一种需求没重写grouping结果恰巧也对。
3. 笔者认为本质：考察对mr整个数据流向的理解，还有关键的reduce分组理解是否深入
4. 其实根据需求有时候不实现也可以， 可以定义一个全局中间变量，判断当前name与上一个name是否一样，一样就拼接value，不一样就write，不过中间要多定义几个全局临时变量，用于数据交换，不推荐这么使用。可以把可以key定义为name不过这样reduce压力较大，value(score)的排序也会在reduce内存中进行,数据量大也会有问题，不推荐。

 

3.数据倾斜解决方案

1、原因 1)、业务数据本身的特性 2)、建表时考虑不周 3)、某些SQL语句本身就有数据倾斜

2、优化方案 2.1 参数调节：

set hive.map.aggr=true Map 端部分聚合 ，相当于Combiner

set hive.auto.convert.join = true;Mapjoin 小表直接放进内存中避免了reduce过程从而避免了数据倾斜

set hive.groupby.skewindata = true 有数据倾斜时，查询计划生成两个mr job， 第一个job先进行key随机分配处理，先缩小数据量。第二个job再进行真正的group by key处理。

 

Hadoop中发现数据倾斜的原因？如何处理？

数据倾斜就是key分布不均匀，导致分发到不同的reduce上，个别reduce任务特别重，导致其他reduce都完成，而这些个别的reduce迟迟不完成的情况。 发生数据倾斜的原因有

key分布不均匀。

map端数据倾斜，输入文件太多且大小不一 。

reduce端数据倾斜，分区器问题。

业务数据本身的特征。

hive中的解决方案：

1.调节hive配置参数

设置hive.map.aggr = true map端部分聚合，相当于Combiner

设置hive.groupby.skewindata = true 有数据倾斜时，查询计划生成两个mr job， 第一个job先进行key随机分配处理，先缩小数据量。第二个job再进行真正的group by key处理。

2.SQL语句优化

大小表进行连接时，使用map join让小表先进内存，在map端完成reduce。

大表连接大表时，如果是空值造成数据倾斜，那么把空值变成一个字符串加上随机数，把这部分倾斜的数据分发到不同的reduce上。

如果count distinct有大量相同特殊值 （如空值） 空值可以不用处理，直接最后count结果加1即可。或者空值单独拿出来处理，最后再union回去。

不同数据类型关联 默认的hash操作会按其中一种类型的值进行分配，导致别一种类型全部分发到同一个reduce中。把两个关联的类型转换成相同类型。

MR解决方案

假设A、B两张表关联，A中存在数据倾斜的key 。

先对A表进行采样，将造成数据倾斜的key的记录存入一个临时表tmp1。

一般来说造成数据倾斜的key不会太多，所以tmp1会是一个小表。

故可以将tmp1和B表进行map join，生成tmp2，再把tmp2分发到distribute file cache。

map读入A表和B表，假如记录来自A表，则判断key是否在tmp2中，如果是，输出到本地文件a，如果不是，则生成对，假如记录来自B表，生成对，进入reduce阶段。

将文件a和步骤3中reduce输出文件合并起来写到hdfs。

也可以设置Combine, 聚合精简数据。也可以考虑将数据分为倾斜和非倾斜部分进行处理。这样倾斜部分会是小文件，可以使用map join处理，非倾斜部分则可以按正常reduce处理，最后合并起来即可。

问：hive join 的类型 有多少种

问：hive shuffle 是什么  shuffle 包括 map 阶段的 combine（压缩）group ，sort ，partition 以及 reducer阶段 的合并排序

问：hadoop  m r 的过程 什么是map 什么事 reduce

问：hadoop 组件 有哪些 分别作用

 问：hbase down机怎么处理

问：spark 速度为啥比mapreduce 快 DAG 算法

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4.如何在分布式系统中保持业务主键同步

5.多个有序链表如何组合链表排序

通过归并排序

 

6.海量数据查重，内存没法装下 

海量数据查不重复

 

问题：

 

7.MR-执行原理

 

8 sql  取所有科目 排名前五的学生

 

9 sql 去所有学生平均分数为 80分以上的

 

10 hive 拆词函数

 explode函数

解决思路？

11 hive 内表和外表 解释

1. 内部表

create table test (name string , age string) location '/input/table_data';    

注：hive默认创建的是内部表

此时，会在hdfs上新建一个test表的数据存放地

load data inpath '/input/data' into table test ;

会将hdfs上的/input/data目录下的数据转移到/input/table_data目录下。删除test表后，会将test表的数据和元数据信息全部删除，即最后/input/table_data下无数据，当然/input/data下再上一步已经没有了数据！

     如果创建内部表时没有指定location，就会在/user/Hive/warehouse/下新建一个表目录，其余情况同上。

    注：load data会转移数据

2. 外部表

create external table etest (name string , age string);   

会在/user/hive/warehouse/新建一个表目录et

load data inpath '/input/edata' into table etest;    

把hdfs上/input/edata/下的数据转到/user/hive/warehouse/et下，删除这个外部表后，/user/hive/warehouse/et下的数据不会删除，但是/input/edata/下的数据在上一步load后已经没有了！数据的位置发生了变化！

本质是load一个hdfs上的数据时会转移数据！

 

 

3. 小结

 

最后归纳一下Hive中表与外部表的区别：

 

     1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下(如果指定了location的话)，也就是说外部表中的数据并不是由它自己来管理的！而内部表则不一样；
     2、在删除内部表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！

 

     3. 在创建内部表或外部表时加上location 的效果是一样的，只不过表目录的位置不同而已，加上partition用法也一样，只不过表目录下会有分区目录而已，load data local inpath直接把本地文件系统的数据上传到hdfs上，有location上传到location指定的位置上，没有的话上传到hive默认配置的数据仓库中。

外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 

那么，应该如何选择使用哪种表呢？在大多数情况没有太多的区别，因此选择只是个人喜好的问题。但是作为一个经验，如果所有处理都需要由Hive完成，那么你应该创建表，否则使用外部表！

 

问题：hive 如何获取留存率

问题：hive 的开窗函数

 

 

关于数仓的问题

 

上钻下钻 的实现方式 

从低维度到高纬度  是上钻 ，从高纬度 到底 纬度 是下钻

从低维度到片段，称为切片，不如按天统计 ，再分类型统计产品

 

问题 ：什么是 spark

问题： 数仓 stage ods mds ads 和  stage  mid  dw  ms 的区别 已经分层区别

问题:  渐变维 - 的方式，以及应用场景

问题：如何能带人？

问题：如果能表述自己能知道的东西

问题：雪花模型和星星模型区别

 

ssis 问题

ssis 阻塞 半阻塞

ssis 配置

ssis 优化

sql 计划任务

 

 

待补充，有知道的可以留言