欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

mapreduce编程模型之mysql 输入数据至hbase表数据

程序员文章站 2022-03-31 18:16:09
...

1.Hbase shell中创建表
create 'tab1','f','i'/*表名,行名,列族*/

2.导出mysql数据到文本
select gid,a,b,c,d,e,f,g
from itemprofile where a='1234' into outfile '/tmp/data' FIELDS TERMINATED BY '\t';

2.1.将导出的文件放入hdfs的/user/aaa/

3.转存文件为Hfile格式
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,i:a,i:b,i:c,i:d,i:e,i:f,i:g -Dimporttsv.bulk.output=/user/aaa/hbase/aaaa tab1 /user/aaa/
注意:其中a,b,c,d,e,f,g是列族的子列名,2.1的数据行第一个默认为rowkey
4.导入到Hbase
hadoop jar hbase-0.94.7-security.jar completebulkload /user/aaa/hbase/aaaa tab1