欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

最简单dophinscheduler集成datax步骤

时间:2023-05-15

#找个目录

cd /data

#如果有更改python环境的话,需要再环境下挂python2.7

ln -s /usr/bin/python2.7 /data/anaconda3/bin/python2.7

#从官网下载datax安装包

wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

#习惯于把安装包放到一个固定的地方存起来,可以忽略

mv datax.tar.gz /data/package/


#删除插件中下划线开头的隐藏文件(不删除会报找不到插件错误,挺奇怪)

rm -rf /data/datax/plugin/reader/._*rm -rf /data/datax/plugin/writer/._*

#dophinscheduler集成datax,修改env文件

vim conf/env/dolphinscheduler_env.sh

export DATAX_HOME=/data/datax

修改完DATAX_HOME ,重启ds即可

如果是分布式,则每台机器都需要这样操作一起,再重启

操作完后,可直接使用dophinscheduler的datax节点

模版如何填写参考git上的文档

">github-DataX 传送门 =>

 

ok,仅做记录,祝顺利

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。