GREENPLUM配置HDFS外部表

程序员文章站 2024-03-22 10:42:22

...

下面是已GREENPLUM 5.8为例

1.在所有Segment上设置环境变量

vim ~gpadmin/.bash_profile

export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/usr/hadoop
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

2.设置GREENPLUM参数

使用gpadmin用户

su - gpadmin
gpconfig -c gp_hadoop_target_version -v "'hadoop'"
gpconfig -c gp_hadoop_home -v "'/usr/hadoop'" --hadoop安装目录

3.为HDFS协议授予权限

GRANT SELECT ON PROTOCOL gphdfs TO gpadmin;
GRANT INSERT ON PROTOCOL gphdfs TO gpadmin;

4.创建外部表

注意CSV文件不要有表头

CREATE EXTERNAL TABLE HADOOP_TEST
(
 id integer,
 name character varying,
 age integer
)
LOCATION('gphdfs://nameNode:9000/csv/test.csv')
FORMAT 'csv'();

ALTER TABLE HADOOP_TEST OWNER TO gpadmin;

select * from hadoop_test;

更多详情可以查看

GREENPLUM数据库文档