DataX 离线跨网场景的实施配置
程序员文章站
2023-12-29 16:55:52
配置仅限于跨不同网情况,网络互通情况方案和配置会更简单一点 内网A:MySql数据转换成Csv { "job": { "setting": { "speed": { "channel":1 } }, "content": [ { "reader": { "name": "mysqlreader", ......
配置仅限于跨不同网情况,网络互通情况方案和配置会更简单一点
内网a:mysql数据转换成csv
{
"job": {
"setting": {
"speed": {
"channel":1
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "root",
"password": "",
"connection": [
{
"querysql": [
"select id,name from table;"
],
"jdbcurl": [
"jdbc:mysql://127.0.0.1/database"
]
}
]
}
},
"writer": {
"name": "txtfilewriter",
"parameter": {
"print": true,
"encoding": "utf-8",
"path": "/result",
"filename": "result.csv",
"writemode": "truncate",
"dateformat": "yyyy-mm-dd hh:mm:ss",
"header":["id", "name"]
}
}
}
]
}
}
内网b:csv导入到内网b配置:
{
"job": {
"setting": {
"speed": {
"channel": 2
}
},
"content": [
{
"reader": {
"name": "txtfilereader",
"parameter": {
"path":["d:/result/result.csv"],
"encoding": "utf-8",
"column": [
{
"index": 0,
"name":"id",
"type": "long"
},
{
"index": 1,
"name":"name",
"type": "string"
}
],
"skipheader": "true"
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"writemode": "insert",
"username": "root",
"password": "",
"column": [
"id", "name"
],
"presql": [
"truncate table table;"
],
"connection": [
{
"jdbcurl": "jdbc:mysql://127.0.0.1:3306/table?characterencoding=utf-8",
"table": [
"table"
]
}
]
}
}
}
]
}
}
注意编码和字段支持的类型,详细可查看datax官方文档。