1.搭建前修改打开文件数
查询当前系统默认打开的文件数量
命令:ulimit -n
修改配置文件 /etc/security/limits.conf,在文件后加上
* soft nofile 102400
* hard nofile 102400
执行ulimit -n 查询是否修改成功需要重新连接
2、下载安装包(https://blog.csdn.net/qq_31515997/article/details/120290390)
3、解压jar包
命令:tar zxf streamsets-datacollector-all-3.17.1.tgz
4、重要目录介绍
bin目录:是Streamset DC运行脚本目录
etc目录:是Streamset DC默认的配置文件目录,包括系统配置、权限配置、邮件配置、日志配置等;
data目录:是Streamset DC默认的数据目录,用于存储你设计的数据流等;
log目录:是Streamset DC默认的日志目录,包括GC日志和系统日志;
libexec目录:是Streamset DC默认的运行时环境配置目录
streamsets-libs目录:是Streamset DC默认的系统自带组件的目录
user-libs目录:是Streamset DC放置用户自定义开发组件的目录
edge-binaries目录:是Streamset DC存放Streamsets DC Edge的各种类型的安装包
5、创建文件夹
命令:mkdir /data/sdc/conf
命令:mkdir /data/sdc/log
命令:mkdir /data/sdc/resources
6、将解压的etc目录下面的所有文件拷贝到conf 下
命令: cp -r /data/streamsets-datacollector/etc/ /data/sdc/conf
7、修改文件夹路径与端口
命令:vim /data/sdc/conf/sdc.propertie
8、修改路径
命令:vim /data/streamsets-datacollector/libexec/sdc-env.sh
9、启动(streamsets-datacollector/bin路径下面)
命令:nohup ./streamsets dc &