hive on spark 以及 hive on mr
程序员文章站
2022-03-08 08:37:43
...
--默认方式是mapreduce
set hive.execution.engine=spark;
select count(*) from sxs_comment_his;
set hive.execution.engine=MR;
select count(*) from sxs_comment_his;
总结:
- hive默认方式是mapreduce,比on spark 慢
- 从最后一张图可以看到一个箭头所覆盖的ip,可以通过这个ip访问YARN的UI界面,可能需要个跳板机,比如我司还需要登陆个win跳板机才能看。怎么找hadoop磁盘的datanode的具体情况的ip我还不知道,是跟同事要的ip
- 如果要看spark的UI界面,你在运行spark-shell的时候会有ip提示,当然我司这三个界面要看都要通过跳板机
推荐阅读
-
HIVE基本语法以及HIVE分区
-
基于ubuntu16.04伪分布式安装hadoop2.9.1以及hive2.3.1
-
Hive使用概述以及环境配置
-
hive程序报FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
-
Spark 2.4.0 cdh6.3.2连接 Hive 2.1.1 cdh6.3.2
-
hive中小文件的产生原因 如何合并小文件 以及控制Map个数,增加/缩小map个数,
-
spark连接hive,使用sparksql处理hive中的数据
-
Spark读取Hive中的数据加载为DataFrame
-
oozie运行hive以及hive的udf
-
Spark使用Java读Hive写入HBase