hive sql跑起来后似乎卡住 drop也 drop不掉hive table
程序员文章站
2022-07-14 15:12:47
...
最近遇到的问题是
hive sql跑起来后似乎卡住,没有一点反映。
insert overwrite table tmp
SELECT
字段,udf(字段)
FROM
(select * from tableA where DEL_FLAG = 0 ) a
left JOIN
tableB t
ON a.key= t.key
测试select语句是完全没有问题的,
那么可以锁定是表的问题
create table xxx
SELECT
字段,udf(字段)
FROM
(select * from tableA where DEL_FLAG = 0 ) a
left JOIN
tableB t
ON a.key= t.key
是可以创建和计算成功的,再改成
insert overwrite table xxx
SELECT
字段,udf(字段)
FROM
(select * from tableA where DEL_FLAG = 0 ) a
left JOIN
tableB t
ON a.key= t.key
也是可以的。
到hdfs上查看该表tmp 的权限等都没有发现问题。
最后决定直接drop掉表 重建一个更快。
然后发现drop这个表也会卡住没有往下执行。
于是删掉hdfs该表目录,再建表,会报表依然存在。
于是重启hive,再drop表建表,发现此时是可以执行的了。
so一开始脚本可以执行了。
发生这个问题的原因不确定,只能知道这个hive表出问题了,最后的解决方式是重启hive,至于怎么导致的暂时不明确。