欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Streamsetsdatacollector安装

时间:2023-04-23

​​​​​​1.搭建前修改打开文件数

        查询当前系统默认打开的文件数量

                命令:ulimit -n

        修改配置文件 /etc/security/limits.conf,在文件后加上

                * soft nofile 102400

                * hard nofile 102400

        

         执行ulimit -n 查询是否修改成功需要重新连接   

2、下载安装包(https://blog.csdn.net/qq_31515997/article/details/120290390)

3、解压jar包

        命令:tar zxf streamsets-datacollector-all-3.17.1.tgz

4、重要目录介绍

         bin目录:是Streamset DC运行脚本目录

        etc目录:是Streamset DC默认的配置文件目录,包括系统配置、权限配置、邮件配置、日志配置等;

        data目录:是Streamset DC默认的数据目录,用于存储你设计的数据流等;

        log目录:是Streamset DC默认的日志目录,包括GC日志和系统日志;

        libexec目录:是Streamset DC默认的运行时环境配置目录

        streamsets-libs目录:是Streamset DC默认的系统自带组件的目录

        user-libs目录:是Streamset DC放置用户自定义开发组件的目录

        edge-binaries目录:是Streamset DC存放Streamsets DC Edge的各种类型的安装包

5、创建文件夹

        命令:mkdir /data/sdc/conf

        命令:mkdir /data/sdc/log

        命令:mkdir /data/sdc/resources

6、将解压的etc目录下面的所有文件拷贝到conf 下

          命令: cp -r  /data/streamsets-datacollector/etc/ /data/sdc/conf

7、修改文件夹路径与端口

        命令:vim /data/sdc/conf/sdc.propertie

8、修改路径

        命令:vim /data/streamsets-datacollector/libexec/sdc-env.sh

 

9、启动(streamsets-datacollector/bin路径下面)

        命令:nohup ./streamsets dc  &

 

 

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。