【HIVE】（四）数据导入/导出

学习搬运工，笔记摘自 实验楼课程

一、实验介绍

⭐实验内容

• Hive 数据的导入导出
• EXPORT 命令导出数据表或分区，与元数据一起输出到指定位置。又可以从这个输出位置移动到不同的Hadoop 或Hive 实例中，并且使用IMPORT 命令导入。
• 当导出一个分区表时，原始数据可能位于不同的HDFS位置，同时还支持导出/导入分区的子集。
• 导出的元数据存储在目标目录中，数据文件则存储在子目录中。
• EXPORT 和IMPORT 命令独立于所用的数据源和目标元数据数据管理系统；例如，它们可以在Derby和MYSQL数据库之间使用

⭐实验知识点

• sql
• hdfs相关知识
• hive<=>hdfs互相导入语法

 

二、实验准备

本实验是建立在前面实验之上，其中表格操作使用的是实验二中的表格。

⭐切换为hadoop用户

su -l hadoop #密码为hadoop

 

 

⭐启动hdfs

cd /opt/hadoop-2.7.3/sbin
hdfs namenode -format   #如果之前已经初始化过一次并且使用的是保存的环境，这里就不需要执行初始化，否则在启动之前应该进行一次初始化
./start-all.sh

 

⭐启动mysql

sudo service mysql start

 

⭐其中为方便导入导出数据查询在hdfs的/user/hive/目录下创建tmp目录作为导出数据的目的地址。
在实验中可以通过以下命令查看导入/导出结果。

cd /opt/hadoop-2.7.3/sbin
hdfs dfs -ls /user/hive/warehouse #该路径为hive创建表的默认路径

 

 

三、导入/导出

⭐数据导出（EXPORT）

EXPORT TABLE tablename [PARTITION (part_column="value"[, ...])] 
  TO 'export_target_path' [ FOR replication('eventid') 

 

 

⭐数据导入（IMPORT）

IMPORT [[EXTERNAL] TABLE new_or_original_tablename [PARTITION (part_column="value"[, ...])]] 
  FROM 'source_path' [LOCATION 'import_target_path']

 

⭐简单导入/导出

export table shiyanlou1 to '/user/hive/tmp/';
import from '/user/hive/tmp';