datax helloworld

datax是离线数据同步工具/平台，阿里云的DataWorks数据集成工具的开源版本。DataX l实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

datax设计理念

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

datax框架设计

datax3.0架构图

  • Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
  • Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
  • Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。
    datax的机构决定了简单的扩展可能性。读写插件扩展起来很容易。

开源版本中只完成了单机数据同步，作为小数据量的数据处理依据可以做的非常好了。如果你是中小型系统这是一个不错的选择，数据迁移、异构同步是不错的选择。

datax helloworld

  1. 如果是指简单的使用，相信很多人会选择直接下载编译好的安装包.下载地址(太大了，慎重):下载地址
    1
    2
    $ cd  {YOUR_DATAX_HOME}/bin
    $ python datax.py {YOUR_JOB.json}
  2. 看着下载文件大小，有java基础的小伙伴肯定在打源代码的注意了，没错这是大多数小伙伴的选择
    1
    2
    3
    4
    5
    6
    7
    8
    9
    git clone git@github.com:alibaba/DataX.git
    cd  {DataX_source_code_home}
    mvn -U clean package assembly:assembly -Dmaven.test.skip=true
    cd  {DataX_source_code_home}
    ls ./target/datax/datax/
    这个时候你应该可以看到编译好的结果了
    下面就是正常使用了
    $ cd  {YOUR_DATAX_HOME}/bin
    $ python datax.py {YOUR_JOB.json}
    到这里，基本上都会有疑惑为啥编译结果那么大呢?

打开编译结果，你去观察一下哪个文件夹最大你就知道了。类加载机制成就了插件机制，也造成了编译结果特别大。但是正常情况大家用不到所有插件，所以可以去除部分插件。