欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

从Kudu中导出、导入数据

程序员文章站 2022-05-05 16:33:38
...

从kudu的表中导出数据,源码中提供了一系列的工具包。

kudu导出数据或者导入数据:

这是一个spark Application,根据代码中的用法:

从Kudu中导出、导入数据

可以选择导入或者导出数据
可以选择文件格式(csv,avro)
可以选择表名
可以选择输出路径
可以选择kudu的master

如果有特殊需求可以修改源码。


1. 用maven编译:

mvn package -DskipTests

2. 然后运行spark 任务

./spark-submit \
--master local \
--jars  /home/libs/spark-avro_2.11-3.2.0.jar \
--class org.apache.kudu.spark.tools.ImportExportFiles \
/home/kudu/kudu/java/kudu-spark-tools/target/kudu-spark2-tools_2.11-1.6.0-SNAPSHOT.jar \
--operation=import --format=avro --master-addrs=192.168.1.1  --path=/data/apps/data/kudu/users --table-name=test_users

kudu源码中还有一些tools,用Maven编译后可以使用,具体使用可以看代码中的usage。