Dolphinscheduler配置Datax踩坑记录

1、tmp/dolphinscheduler/exec/process 下文件创建失败问题

dolphinscheduler调度datax任务时需要在tmp/dolphinscheduler/exec/process 目录下创建一系列临时文件，但是在worker运行日志中/opt/soft/dolphinscheduler/logs/dolphinscheduler-worker.log看到创建失败的报错

[taskAppId=TASK-1-10-13]:[178] - datax task failure
java.io.IOException: Directory ‘/tmp/dolphinscheduler/exec/process/1/1/10/13’ could not be created

发现该目录的权限是root，我dolphinscheduler是安装在dolphin用户下的，所以我要修改该机器的tmp文件权限

$ sudo chown -R dolphin:dolphin tmp

2、datax环境变量设置问题

使用dolphinscheduler调度datax任务时，数据源、任务都能创建成功，就是运行总是失败，还直接看不到日志，然后登录运行的worker机器，查看/opt/soft/dolphinscheduler/logs/dolphinscheduler-worker.log日志文件，看到提示ERR

[INFO] 2021-11-09 11:25:35.446 - [taskAppId=TASK-1-11-14]:[138] - -> python2.7: can’t open file ‘/opt/soft/datax/bin/datax.py/bin/datax.py’: [Errno 20] Not a directory

表示datax的路径配置错误，找不到该文件。
查看 vim /opt/soft/dolphinscheduler/conf/env/

这个路径是之前官方默认的，现在看不需要指定到bin以及运行文件，只要到安装目录即可。
将路径
export DATAX_HOME=/opt/soft/datax/bin/datax.py
改为
export DATAX_HOME=/opt/soft/datax

保存后，重跑任务

重跑成功

3、dolphinscheduler调度Datax执行mysql到hive的数据交换，因为默认数据源选择只能为mysql等关系型数据库，所以需要选择自定义模板，自定义配置连接地址等信息json。

配置文件模板（该配置是我最终成功版本的配置，部分参数需要根据你自己的信息进行配置）

{
    
    "job": {
    
        "content": [
            {
    
                "reader": {
    
                    "name": "mysqlreader", 
                    "parameter": {
    
                        "column": [
                            "*"
                        ], 
                        "connection": [
                            {
    
                                "jdbcUrl": [
                                    "jdbc:mysql://xx.xx.xx.xx:3306/datatest?useUnicode=true&characterEncoding=utf8&useSSL=false"
                                ], 
                                "table": [
                                    "test_table_info"
                                ]
                            }
                        ], 
                        "password": "cloud", 
                        "username": "root", 
                        "where": ""
                    }
                }, 
                "writer": {
    
                    "name": "hdfswriter", 
                    "parameter": {
    
                        "column": [
                            {
    
                                "name": "order_id", 
                                "type": "string"
                            }, 
                            {
    
                                "name": "str_cd", 
                                "type": "string"
                            }, 
                            {
    
                                "name": "gds_cd", 
                                "type": "string"
                            }, 
                            {
    
                                "name": "pay_amnt", 
                                "type": "string"
                            }, 
                            {
    
                                "name": "member_id", 
                                "type": "string"
                            }, 
                            {
    
                                "name": "statis_date", 
                                "type": "string"
                            }
                        ], 
                        "compress": "", 
                        "defaultFS": "hdfs://你的hdfs namenode地址:9000", 
                        "fieldDelimiter": ",", 
                        "fileName": "hive_test_table_info", 
                        "fileType": "text", 
                        "path": "/hive/hive.db/hive_test_table_info", 
                        "writeMode": "append"
                    }
                }
            }
        ], 
        "setting": {
    
            "speed": {
    
                "channel": "1"
            }
        }
    }
}

3.1、该任务执行过程中遇到的第一个问题:与HDFS建立连接时出现IO异常

 [job-0] ERROR Engine - 经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[HdfsWriter-06], Description:[与HDFS建立连接时出现IO异常.]. 
- java.net.ConnectException: Call From xxxxx/10.xx.xx.xx to 10.xx.1xx.1xx:8020 failed on connection exception: java.net.ConnectException: Connection refused;
- For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

因为我是按照网上的模板配置的hdfs端口8020，而实际我们的端口是9000。所以这里我把8020改成了9000.

3.2 第二个问题还是：与HDFS建立连接时出现IO异常。但这次异常内容有所不同了

 ERROR JobContainer - Exception when job run
com.alibaba.datax.common.exception.DataXException: Code:[HdfsWriter-06], Description:[与HDFS建立连接时出现IO异常.]. - org.apache.hadoop.security.AccessControlException: Permission denied: user=developer01, access=WRITE, inode="/hive/hive.db/hive_test_table_info":bigdata:supergroup:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:399)

这里因为我执行时采用的租户是developer01，而hdfs中拥有hive表写权限的是bigdata用户，所以在执行任务时要先配置并选择相应权限的租户
在安全中心–租户管理 菜单配置bigdata租户

编辑该datax任务，在保存时选择bigdata租户

3.3 执行中遇到的第三个问题是mysql连接的问题，这个在执行datax的mysql到mysql任务时也遇到过，这次自定义json文件时没留意，看到日志就想到了。

 ERROR RetryUtil - Exception when calling callable, 异常Msg:DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。

这里只要在jdbc连接的配置中加上useSSL=false即可。