1、加载外部配置文件
1.1 Input config1.2 Module config 2、Elasticsearch output
2.1 配置模板加载2.2 自定义索引名
2.2.1 配置filebeat2.2.2 查看es是否增加了新的索引2.2.3 在kibana上关联es索引 1、加载外部配置文件 1.1 Input config
filebeat.config.inputs: enabled: true path: inputs.d/*.yml
inputs.d目录下的配置文件示例：
- type: log paths: - /var/log/mysql.log scan_frequency: 10s- type: log paths: - /var/log/apache.log scan_frequency: 5s
1.2 Module configfilebeat.config.modules: enabled: true path: ${path.config}/modules.d/*.yml
外部配置文件示例：
- module: apache access: enabled: true var.paths: [/var/log/apache2/access.log*] error: enabled: true var.paths: [/var/log/apache2/error.log*]
2、Elasticsearch output 2.1 配置模板加载默认情况下，如果启用了Elasticsearch输出，Filebeat会自动加载推荐的模板文件fields.yml，如果要使用默认索引模板，则不需要其他配置，否则，你可以将filebeat.yml配置文件中的默认值更改为：
加载不同的模板
setup.template.name: "your_template_name"setup.template.fields: "path/to/fields.yml"
如果模板已存在，则除非你配置Filebeat，否则不会覆盖该模板。
覆盖现有模板
setup.template.overwrite: true
禁用自动模板加载
setup.template.enabled: false
如果禁用自动模板加载，则需要手动加载模板。
更改索引名称
如果要将事件发送到支持索引生命周期管理的集群，请参阅配置索引生命周期管理以了解如何更改索引名称。
默认情况下，当禁用或不支持索引生命周期管理时，Filebeat使用时间系列索引，索引名为filebeat-7.3.0-yyyy.MM.dd，其中yyyy.MM.dd是事件索引的日期，要使用其他名称，请在Elasticsearch输出中设置index选项。你指定的值应包括索引的根名称以及版本和日期信息，你还需要配置setup.template.name和setup.template.pattern选项以匹配新名称，例如：
output.elasticsearch.index: "customname-%{[agent.version]}-%{+yyyy.MM.dd}"setup.template.name: "customname"setup.template.pattern: "customname-*"
如果你使用的是预先构建的Kibana仪表板，请同时设置setup.dashboards.index选项，例如：
setup.dashboards.index: "customname-*"
2.2 自定义索引名 2.2.1 配置filebeat如果我们不配置则默认会生成 ，如下类格式的索引，且如果检测到有的话，会默认一直使用这个日期
# ---------------------------- Elasticsearch Output ----------------------------output.elasticsearch: hosts: ["https://myEShost:9200"] # 输出到es的索引格式filebeat-8.0.0-rc1-2022-01-20
从上面的配置中我们可以看到，数据会送到ES里去，但是只会送到ES的filebeat-*的索引里去，这显然不是我们想要的。
使用默认索引时要写入事件的索引名称。默认为“filebeat-%{[agent.version]}-%{+yyyy.MM.dd}”，例如“filebeat-8.0.0-rc1-2022-01-20”。如果更改此设置，还需要配置 setup.template.name 和 setup.template.pattern 选项。
要想送到指定索引，我们对filebeat.yml的更改配置如下：
# ============================== Filebeat inputs ===============================filebeat.inputs:- type: log paths: - /var/log/nginx/access* fields: source: access- type: log paths: - /var/log/nginx/error* fields: source: error# ============================== Filebeat modules ==============================filebeat.config.modules: enabled: true path: ${path.config}/modules.d/*.ymlsetup.template.enabled: falsesetup.template.name: "nginx"setup.template.pattern: "nginx-*"setup.template.overwrite: truesetup.ilm.enabled: false# ============================== Elasticsearch Output ==============================output.elasticsearch: hosts: ["192.168.197.130:9200"] # 这里的index前缀nginx与模板的pattern匹配，中间这一串设置为field.source变量，如果下面indices格式没有匹配上，则使用该index格式 index: "nginx-%{[fields.source]}-*" indices: # 这里的前缀nginx同为与模板的pattern匹配，中间为field.source具体的值，当前面的input的field.source值与这里的匹配时，则index设置为定义的格式 - index: "nginx-access-%{[agent.version]}-%{+yyyy.MM.dd}" when.equals: fields: source: "access" - index: "nginx-error-%{[agent.version]}-%{+yyyy.MM.dd}" when.equals: fields: source: "error"# ============================== Processors ==============================processors: - add_host_metadata: ~ - add_cloud_metadata: ~
when.contains: 包含when.equals: 等于
# 相关模板字段意义：setup.template.name: “nginx” # 设置一个新的模板，模板的名称setup.template.pattern: “nginx-*” # 模板匹配那些索引，这里表示以nginx开头的所有的索引setup.template.enabled: false # 关掉默认的模板配置setup.template.overwrite: true # 开启新设置的模板setup.ilm.enabled: false # 索引生命周期管理ilm功能默认开启，开启的情况下索引名称只能为filebeat-*， 通过setup.ilm.enabled: false进行关闭；如果要使用自定义的索引名称，同时又需要启用ilm，可以修改filebeat的模板
2.2.2 查看es是否增加了新的索引 2.2.3 在kibana上关联es索引点击【Managerment】—【 Stack Management】
索引名使用通配符的形式，这样以后索引的 nginx-access 开头的索引库收集来的日志可以聚合展示了，否则每个月甚至每天都需要创建索引
可以看到在选择字段的时候也比原来的要少，因为是自定义的模板，因此字段只有我们定义的内容，默认的模板把所有支持的字段都会加上
创建成功
进行查看