03springboot+kafka+ELK实现海量日志收集

1 架构图 2 安装kafka (1)安装zookeeper

zookeeper下载地址

上传下载好的软件包到/home，并解压，解压后删除掉软件包

 在zookeepr目录下新建data和log文件夹

 进入/conf目录

复制zoo_sample.cfg -> zoo.cfg,编辑zoo.cfg

 (1)指定dataDir

(2）指定端口

admin.serverPort=2180

 修改环境变量

vim /etc/profileexport ZK_HOME=/home/apache-zookeeper-3.7.0-binexport PATH=.:$ZK_HOME/bin:$PATH###使其生效source /etc/profile###运行zkzkServer.sh start

zk启动报错，显示没有安装jdk

 那么接下来安装jdk

(2)安装jdk11

1 准备安装包

jdk11国内镜像源地址

2 上传，解压，删除压缩包

3 配置环境变量

vim /etc/profileexport JAVA_HOME=/home/jdk-11.0.14.1+1export JRE_HOME=$JAVA_HOME/export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar###刷新配置，使其生效source /etc/profile

使用java,javac,java -version，校验成功

再次启动zk，启动成功

 （3）安装kafka

1 下载安装包

kafka下载地址

2 开始安装

 进入/config，修改server.properties 

配置advertised.listeners(公网监听器)

listeners（内网监听器）

 配置logs

创建logs文件夹 

指定logs路径

 指定zk（和我们的端口一致，就不需要改了）

 启动kafka并测试

bin/kafka-server-start.sh config/server.properties &

 启动结果