DataX安装和使用说明

1、安装准备

1.1 环境

Linux操作系统。（已测试SUSE11、RHEL5.4、 Ubuntu12.04）

JDK 1.6 或以上。

python 2.6 或以上。

Oracle客户端。

1.2 所需软件和源码

ant

rpm

dos2unix(可选)

以上为工具系统一般自带，如没有，可单独安装。

dataexchange源码

libiconv包 （datax plugin oracle writer用）

openjdk源码 （datax plugin oracle writer用）

2、编译安装

安装libiconv时需要root权限。在这里，为了方便，我们使用的root用户。

2.1 完整安装

1.进入dataexchange/rpm

2.先把所有spec的文件格式转为unix格式，执行dos2unix *.spec。也可以单个编辑， vi， 然后执行 :set ff=unix。

（这一步也可以不执行。因为在windows下编辑这些文件有可以转成了dos格式，而rpmbuild时编译dos格式会报错，所以还是建议手动转换下。也可安装完成后，检查plugins目录下是否缺少自己用的插件，如果没有，那就可能是未编译成功的问题，可以单独安装下，方法见后面单个插件安装）

3.执行bash rpmbuild.sh

4.然后选择安装目录，输入前面的数字。在这里我们安装到/home/bonc/下，选择1；如果选择3，随后输入安装路径，安装程序会在此路径下创建datax目录。

5.请选择你要编译打包的spec文件个数，在这里选择all，输入1。

然后安装程序会自动安装。等待几分钟，自动安装完成。

6.安装完成后，为使所有用户都能使用，可将datax/logs、datax/jobs两个目录设为777的权限。

cd /home/bonc/datax

chmod 777 logs

chmod 777 jobs

2.2安装单个插件

1.进入dataexchange/rpm

2.执行bash rpmbuild.sh

3.然后选择安装目录，输入前面的数字。

4.目录已存在，是否继续，yes， 输入1。

5.请选择你要编译打包的spec文件个数，在这里选择other，输入2。

6.会列出所有的spec文件，选择要安装的插件，比如execlwriter, 输入

3、DataX使用

3.1 使用datax生成相关配置文件

进入到/home/bonc/datax/bin目录

1、 执行datax路径下的bin下的datax.py，该文件是程序入口。

2、 命令行：python datax.py –e true ，根据提示选择数据库转换类型

3、 执行成功之后会在datax路径的jobs文件夹下生成XML配置文件。例如：xxx_to_xxx_123456.xml

4、 根据数据库参数修改xml配置文件，对文件中所有显示“？”的value，属于必填项；即使该项value为空，也要把“？”去掉，否则会报错。

3.2 根据配置文件执行相关操作

1、 再次进入datax的bin路径下，执行python datax.py xxx.xml //xxx.xml需要写对该xml文件的路径，否则会报错

2、 执行成功之后会显示如下信息

3、可以在相关路径下看到生成文件，与数据库表中格式一样，表示此次过程成功。