数据迁移,初识Datax及的Datax的使用
数据迁移,初识Datax及的Datax的使用
一、阿里云开源离线同步工具DataX3.0介绍
一、DataX3.0概览
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
设计理念
为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
当前使用现状
DataX在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已持续稳定运行了6年之久。目前每天完成同步8w多道作业，每日传输数据量超过300TB。
此前已经开源DataX1.0版本，此次介绍为阿里云开源全新版本DataX3.0，有了更多更强大的功能和更好的使用体验。Github主页地址：https://github.com/alibaba/DataX
二、DataX3.0框架设计
DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。
Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。
三、DataX3.0插件体系
经过几年积累，DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入。DataX目前支持数据如下：
| 类型 | 数据源 | Reader(读) | Writer(写) | 文档 |
|---|---|---|---|---|
| RDBMS 关系型数据库 | MySQL | √ | √ | 读 、写 |
| Oracle | √ | √ | 读 、写 | |
| SQLServer | √ | √ | 读 、写 | |
| PostgreSQL | √ | √ | 读 、写 | |
| DRDS | √ | √ | 读 、写 | |
| 达梦 | √ | √ | 读 、写 | |
| 通用RDBMS(支持所有关系型数据库) | √ | √ | 读 、写 | |
| 阿里云数仓数据存储 | ODPS | √ | √ | 读 、写 |
| ADS | √ | 写 | ||
| OSS | √ | √ | 读 、写 | |
| OCS | √ | √ | 读 、写 | |
| NoSQL数据存储 | OTS | √ | √ | 读 、写 |
| Hbase0.94 | √ | √ | 读 、写 | |
| Hbase1.1 | √ | √ | 读 、写 | |
| MongoDB | √ | √ | 读 、写 | |
| Hive | √ | √ | 读 、写 | |
| 无结构化数据存储 | TxtFile | √ | √ | 读 、写 |
| FTP | √ | √ | 读 、写 | |
| HDFS | √ | √ | 读 、写 | |
| Elasticsearch | √ | 写 |
DataX Framework提供了简单的接口与插件交互，提供简单的插件接入机制，只需要任意加上一种插件，就能无缝对接其他数据源。详情请看：DataX数据源指南
四、DataX3.0核心架构
DataX 3.0 开源版本支持单机多线程模式完成同步作业运行，本小节按一个DataX作业生命周期的时序图，从整体架构设计非常简要说明DataX各个模块相互关系。
核心模块介绍：
- DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。
- DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
切分多个Task之后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task，默认单个任务组的并发数量为5。
每一个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。 - DataX作业运行起来之后， Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出。否则，异常退出，进程退出值非0
DataX调度流程：
举例来说，用户提交了一个DataX作业，并且配置了20个并发，目的是将一个100张分表的mysql数据同步到odps里面。 DataX的调度决策思路是：
- DataXJob根据分库分表切分成了100个Task。
- 根据20个并发，DataX计算共需要分配4个TaskGroup。
- 4个TaskGroup平分切分好的100个Task，每一个TaskGroup负责以5个并发共计运行25个Task。
五、DataX 3.0六大核心优势
可靠的数据质量监控
完美解决数据传输个别类型失真问题
1.DataX旧版对于部分数据类型(比如时间戳)传输一直存在毫秒阶段等数据失真情况，新版本DataX3.0已经做到支持所有的强数据类型，每一种插件都有自己的数据类型转换策略，让数据可以完整无损的传输到目的端。
2.提供作业全链路的流量、数据量运行时监控
DataX3.0运行过程中可以将作业本身状态、数据流量、数据速度、执行进度等信息进行全面的展示，让用户可以实时了解作业状态。并可在作业执行过程中智能判断源端和目的端的速度对比情况，给予用户更多性能排查信息。
3.提供脏数据探测
在大量数据的传输过程中，必定会由于各种原因导致很多数据传输报错(比如类型转换错误)，这种数据DataX认为就是脏数据。DataX目前可以实现脏数据精确过滤、识别、采集、展示，为用户提供多种的脏数据处理模式，让用户准确把控数据质量大关！
丰富的数据转换功能
DataX作为一个服务于大数据的ETL工具，除了提供数据快照搬迁功能之外，还提供了丰富数据转换的功能，让数据在传输过程中可以轻松完成数据脱敏，补全，过滤等数据转换功能，另外还提供了自动groovy函数，让用户自定义转换函数。详情请看DataX3的transformer详细介绍。
精准的速度控制
还在为同步过程对在线存储压力影响而担心吗？新版本DataX3.0提供了包括通道(并发)、记录流、字节流三种流控模式，可以随意控制你的作业速度，让你的作业在库可以承受的范围内达到最佳的同步速度。
"speed": {
"channel": 5,
"byte": 1048576,
"record": 10000
}
强劲的同步性能
DataX3.0每一种读插件都有一种或多种切分策略，都能将作业合理切分成多个Task并行执行，单机多线程执行模型可以让DataX速度随并发成线性增长。在源端和目的端性能都足够的情况下，单个作业一定可以打满网卡。另外，DataX团队对所有的已经接入的插件都做了极致的性能优化，并且做了完整的性能测试。性能测试相关详情可以参照每单个数据源的详细介绍：DataX数据源指南
健壮的容错机制
DataX作业是极易受外部因素的干扰，网络闪断、数据源不稳定等因素很容易让同步到一半的作业报错停止。因此稳定性是DataX的基本要求，在DataX 3.0的设计中，重点完善了框架和插件的稳定性。目前DataX3.0可以做到线程级别、进程级别(暂时未开放)、作业级别多层次局部/全局的重试，保证用户的作业稳定运行。
-
线程内部重试
DataX的核心插件都经过团队的全盘review，不同的网络交互方式都有不同的重试策略。
-
线程级别重试
目前DataX已经可以实现TaskFailover，针对于中间失败的Task，DataX框架可以做到整个Task级别的重新调度。
极简的使用体验
-
易用
下载即可用，支持linux和windows，只需要短短几步骤就可以完成数据的传输。请点击：Quick Start -
详细
DataX在运行日志中打印了大量信息，其中包括传输速度，Reader、Writer性能，进程CPU，JVM和GC情况等等。 -
传输过程中打印传输速度、进度等
-
传输过程中会打印进程相关的CPU、JVM等
- 在任务结束之后，打印总体运行情况
二、DataX Demo
一、Datax 的下载
Download DataX下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
二、Datax 的使用
解压datax.tar.gz
解压后的目录结构
├─bin 可执行文件目录
│ datax.py datax执行文件
│ dxprof.py
│ perftrace.py
│
├─conf 配置文件目录
│ .secret.properties
│ core.json
│ logback.xml
│
├─job 数据迁移的json配置文件
│ job.json demo文件
│
├─lib 相关jar包
│ commons-beanutils-1.9.2.jar
│ commons-cli-1.2.jar
…
├─plugin 相关插件
…
三、job下的.json文件
job.json文件如下
{
"job": {
"setting": {
"speed": {
"byte":10485760
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"column" : [
{
"value": "DataX",
"type": "string"
},
{
"value": 19890604,
"type": "long"
},
{
"value": "1989-06-04 00:00:00",
"type": "date"
},
{
"value": true,
"type": "bool"
},
{
"value": "test",
"type": "bytes"
}
],
"sliceRecordCount": 100000
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"print": false,
"encoding": "UTF-8"
}
}
}
]
}
}
四、Datax 执行
找到datax的解压目录：D:\workerInverment\datax
cd D:\workerInverment\datax
python bin\datax.py job\job.json
DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
2020-08-19 10:42:01.241 [main] INFO VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2020-08-19 10:42:01.249 [main] INFO Engine - the machine info =>
osInfo: Oracle Corporation 1.8 25.241-b07
jvmInfo: Windows 10 amd64 10.0
cpu num: 8
totalPhysicalMemory: -0.00G
freePhysicalMemory: -0.00G
maxFileDescriptorCount: -1
currentOpenFileDescriptorCount: -1
GC Names [PS MarkSweep, PS Scavenge]
MEMORY_NAME | allocation_size | init_size
PS Eden Space | 256.00MB | 256.00MB
Code Cache | 240.00MB | 2.44MB
Compressed Class Space | 1,024.00MB | 0.00MB
PS Survivor Space | 42.50MB | 42.50MB
PS Old Gen | 683.00MB | 683.00MB
Metaspace | -0.00MB | 0.00MB
2020-08-19 10:42:01.266 [main] INFO Engine -
{
"content":[
{
"reader":{
"name":"streamreader",
"parameter":{
"column":[
{
"type":"string",
"value":"DataX"
},
{
"type":"long",
"value":19890604
},
{
"type":"date",
"value":"1989-06-04 00:00:00"
},
{
"type":"bool",
"value":true
},
{
"type":"bytes",
"value":"test"
}
],
"sliceRecordCount":100000
}
},
"writer":{
"name":"streamwriter",
"parameter":{
"encoding":"UTF-8",
"print":false
}
}
}
],
"setting":{
"errorLimit":{
"percentage":0.02,
"record":0
},
"speed":{
"byte":10485760
}
}
}
2020-08-19 10:42:01.283 [main] WARN Engine - prioriy set to 0, because NumberFormatException, the value is: null
2020-08-19 10:42:01.285 [main] INFO PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2020-08-19 10:42:01.285 [main] INFO JobContainer - DataX jobContainer starts job.
2020-08-19 10:42:01.286 [main] INFO JobContainer - Set jobId = 0
2020-08-19 10:42:01.299 [job-0] INFO JobContainer - jobContainer starts to do prepare ...
2020-08-19 10:42:01.299 [job-0] INFO JobContainer - DataX Reader.Job [streamreader] do prepare work .
2020-08-19 10:42:01.300 [job-0] INFO JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2020-08-19 10:42:01.300 [job-0] INFO JobContainer - jobContainer starts to do split ...
2020-08-19 10:42:01.301 [job-0] INFO JobContainer - Job set Max-Byte-Speed to 10485760 bytes.
2020-08-19 10:42:01.302 [job-0] INFO JobContainer - DataX Reader.Job [streamreader] splits to [1] tasks.
2020-08-19 10:42:01.303 [job-0] INFO JobContainer - DataX Writer.Job [streamwriter] splits to [1] tasks.
2020-08-19 10:42:01.319 [job-0] INFO JobContainer - jobContainer starts to do schedule ...
2020-08-19 10:42:01.323 [job-0] INFO JobContainer - Scheduler starts [1] taskGroups.
2020-08-19 10:42:01.328 [job-0] INFO JobContainer - Running by standalone Mode.
2020-08-19 10:42:01.334 [taskGroup-0] INFO TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
2020-08-19 10:42:01.337 [taskGroup-0] INFO Channel - Channel set byte_speed_limit to -1, No bps activated.
2020-08-19 10:42:01.337 [taskGroup-0] INFO Channel - Channel set record_speed_limit to -1, No tps activated.
2020-08-19 10:42:01.345 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
2020-08-19 10:42:01.646 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[301]ms
2020-08-19 10:42:01.648 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] completed it's tasks.
2020-08-19 10:42:11.341 [job-0] INFO StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 253.91KB/s, 10000 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.016s | All Task WaitReaderTime 0.025s | Percentage 100.00%
2020-08-19 10:42:11.587 [job-0] INFO AbstractScheduler - Scheduler accomplished all tasks.
2020-08-19 10:42:11.602 [job-0] INFO JobContainer - DataX Writer.Job [streamwriter] do post work.
2020-08-19 10:42:11.603 [job-0] INFO JobContainer - DataX Reader.Job [streamreader] do post work.
2020-08-19 10:42:11.604 [job-0] INFO JobContainer - DataX jobId [0] completed successfully.
2020-08-19 10:42:11.604 [job-0] INFO HookInvoker - No hook invoked, because base dir not exists or is a file: D:\workerInverment\datax\hook
2020-08-19 10:42:11.606 [job-0] INFO JobContainer -
[total cpu info] =>
averageCpu | maxDeltaCpu | minDeltaCpu
-1.00% | -1.00% | -1.00%
[total gc info] =>
NAME | totalGCCount | maxDeltaGCCount | minDeltaGCCount | totalGCTime | maxDeltaGCTime | minDeltaGCTime
PS MarkSweep | 0 | 0 | 0 | 0.000s | 0.000s | 0.000s
PS Scavenge | 0 | 0 | 0 | 0.000s | 0.000s | 0.000s
2020-08-19 10:42:11.606 [job-0] INFO JobContainer - PerfTrace not enable!
2020-08-19 10:42:11.607 [job-0] INFO StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 253.91KB/s, 10000 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.016s | All Task WaitReaderTime 0.025s | Percentage 100.00%
2020-08-19 10:42:11.609 [job-0] INFO JobContainer -
浠诲姟鍚姩鏃跺埢 : 2020-08-19 10:42:01
浠诲姟缁撴潫鏃跺埢 : 2020-08-19 10:42:11
浠诲姟鎬昏鑰楁椂 : 10s
浠诲姟骞冲潎娴侀噺 : 253.91KB/s
璁板綍鍐欏叆閫熷害 : 10000rec/s
璇诲嚭璁板綍鎬绘暟 : 100000
璇诲啓澶辫触鎬绘暟 : 0
demo文件执行完毕。
自己想要使用需要编写对应的json文件即可
上一篇： 手机网站建设注意事项
推荐阅读
-
Android 数据存储之 FileInputStream 工具类及FileInputStream类的使用
-
Python的Flask框架中使用Flask-Migrate扩展迁移数据库的教程
-
CodeIgniter针对数据库的连接、配置及使用方法
-
iOS App使用SQLite之句柄的定义及数据库的基本操作
-
vue axios数据请求及vue中使用axios的方法
-
django配置连接数据库及原生sql语句的使用方法
-
Android 数据存储之 FileInputStream 工具类及FileInputStream类的使用
-
Python的Flask框架中使用Flask-Migrate扩展迁移数据库的教程
-
java--变量，常量，数据类型的声明及使用
-
vue axios数据请求及vue中使用axios的方法