欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

CDH 6.3.1 Hive对update delete支持

程序员文章站 2022-04-29 08:10:08
...

Hive update insert 发展

1 Web配置

CDH 6.3.1 Hive对update delete支持

服务端

hive.compactor.initiator.on – true
hive.compactor.worker.threads – 1
hive.txn.manager – org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

CDH 6.3.1 Hive对update delete支持

客户端

hive.support.concurrency – true
hive.enforce.bucketing – true
hive.exec.dynamic.partition.mode – nonstrict  
hive.txn.manager – org.apache.hadoop.hive.ql.lockmgr.DbTxnManager  

CDH 6.3.1 Hive对update delete支持

重启Hive服务

保存成功,CDH的页面做的是真的好
CDH 6.3.1 Hive对update delete支持
CDH 6.3.1 Hive对update delete支持

测试

CDH 6.3.1 Hive对update delete支持
还是不行,
对于此错误的讨论

引出了Hive里面的ACID的概念
Hive_ACID

demo

CREATE TABLE table_name (
  id                int,
  name              string
)
CLUSTERED BY (id) INTO 2 BUCKETS STORED AS ORC
TBLPROPERTIES ("transactional"="true",
  "compactor.mapreduce.map.memory.mb"="2048",     -- specify compaction map job properties
  "compactorthreshold.hive.compactor.delta.num.threshold"="4",  -- trigger minor compaction if there are more than 4 delta directories
  "compactorthreshold.hive.compactor.delta.pct.threshold"="0.5" -- trigger major compaction if the ratio of size of delta files to
                                                                   -- size of base files is greater than 50%
);

针对事务表的压缩类型进行一些修改

ALTER TABLE table_name COMPACT 'minor'
   WITH OVERWRITE TBLPROPERTIES ("compactor.mapreduce.map.memory.mb"="3072");  -- specify compaction map job properties
ALTER TABLE table_name COMPACT 'major'
   WITH OVERWRITE TBLPROPERTIES ("tblprops.orc.compress.size"="8192");         -- change any other Hive table properties

CDH 6.3.1 Hive对update delete支持

Hive ACID的理解

CDH 6.3.1 Hive对update delete支持

相关标签: Lenovo