欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

技巧-如何通过hive开发平台上传csv文件

程序员文章站 2023-11-09 18:17:52
通过数据交换平台上传较大的文件时,经常会出现导入失败情况,换种方式通过新数据开发平台(stark)也可以轻松实现外部数据与hive的数据关联。 --第一步、导入csv文件到hive --stark数据开发平台——>资源管理——>搜索栏右边+号——>上传资源(资源类型:选择普通文件) --第二步、建表 ......

通过数据交换平台上传较大的文件时,经常会出现导入失败情况,换种方式通过新数据开发平台(stark)也可以轻松实现外部数据与hive的数据关联。 

 

--第一步、导入csv文件到hive

--stark数据开发平台——>资源管理——>搜索栏右边+号——>上传资源(资源类型:选择普通文件) 

技巧-如何通过hive开发平台上传csv文件

 

 

 --第二步、建表并让这张表关联上上传的csv文件 

drop table temp.tmp_site_oppo_did_test$tmptable;

CREATE EXTERNAL TABLE temp.tmp_site_oppo_did_test$tmptable (   

  did string   

  ,new_date string

) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','      --表示以,为分隔符

stored as textfile;

load data inpath 'hdfs://mgjcluster/stark/resource_83/latest/latest.csv' --上传的csv文件存储到hive的路径(可以通过搜索上传文件名基本信息中获取)

overwrite into table temp.tmp_site_oppo_did_test$tmptable;  --覆盖到创建的临时表