欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

hive sql跑起来后似乎卡住 drop也 drop不掉hive table

程序员文章站 2022-07-14 15:12:47
...

最近遇到的问题是
hive sql跑起来后似乎卡住,没有一点反映。

insert overwrite table tmp 
SELECT
  字段,udf(字段)
FROM
(select * from tableA where DEL_FLAG = 0  ) a
left JOIN 
tableB t 
ON a.key= t.key

测试select语句是完全没有问题的,
那么可以锁定是表的问题

create table xxx
SELECT
  字段,udf(字段)
FROM
(select * from tableA where DEL_FLAG = 0  ) a
left JOIN 
tableB t 
ON a.key= t.key

是可以创建和计算成功的,再改成

insert overwrite table xxx
SELECT
  字段,udf(字段)
FROM
(select * from tableA where DEL_FLAG = 0  ) a
left JOIN 
tableB t 
ON a.key= t.key

也是可以的。

到hdfs上查看该表tmp 的权限等都没有发现问题。
最后决定直接drop掉表 重建一个更快。
然后发现drop这个表也会卡住没有往下执行。
于是删掉hdfs该表目录,再建表,会报表依然存在。
于是重启hive,再drop表建表,发现此时是可以执行的了。
so一开始脚本可以执行了。

发生这个问题的原因不确定,只能知道这个hive表出问题了,最后的解决方式是重启hive,至于怎么导致的暂时不明确。

相关标签: hive