欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

hive on spark 以及 hive on mr

程序员文章站 2022-03-08 08:37:43
...
--默认方式是mapreduce
set hive.execution.engine=spark;
select count(*) from sxs_comment_his;

hive on spark 以及 hive on mr

set hive.execution.engine=MR;
select count(*) from sxs_comment_his;

hive on spark 以及 hive on mr

总结:

  • hive默认方式是mapreduce,比on spark 慢
  • 从最后一张图可以看到一个箭头所覆盖的ip,可以通过这个ip访问YARN的UI界面,可能需要个跳板机,比如我司还需要登陆个win跳板机才能看。怎么找hadoop磁盘的datanode的具体情况的ip我还不知道,是跟同事要的ip
  • 如果要看spark的UI界面,你在运行spark-shell的时候会有ip提示,当然我司这三个界面要看都要通过跳板机
相关标签: hadoop生态