详解EFK搭建过程及ES的生命周期管理

今天主要介绍下EFK搭建过程及ES的生命周期管理,平台采用EFK(ElasticSearch-6.6.1 + FileBeat-6.6.2 + Kibana-6.6.1)架构。建议三个组件主次版本保持一致。

详解EFK搭建过程及ES的生命周期管理

EFK概念

EFK采用集中式的日志管理架构

  • elasticsearch:一个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
  • kibana:可以为Logstash 、Beats和ElasticSearch提供友好的日志分析Web 界面,可以帮助汇总、分析和搜索重要数据日志。
  • filebeat:轻量级日志采集器。需要在每个应用服务器配置filebeat,来采集日志,并输出到elasticsearch

详解EFK搭建过程及ES的生命周期管理
一、ElasticSearch

  1. #rpm –import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  2. #vi/etc/yum.repos.d/elasticsearch.repo
  3. =====================================================
  4. [elasticsearch-6.x]
  5. name=Elasticsearch repository for 6.x packages
  6. baseurl=https://artifacts.elastic.co/packages/6.x/yum
  7. gpgcheck=1
  8. gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  9. enabled=1
  10. autorefresh=1
  11. type=rpm-md
  12. =====================================================
  13. # yum install elasticsearch
  14. # vim /etc/elasticsearch/elasticsearch.yml
  15. ====================================================
  16. network.host: 0.0.0.0
  17. ====================================================
  18. # service elasticsearch restart

二、Kibana

1、部署

  1. # rpm –import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  2. # vim /etc/yum.repos.d/kibana.repo
  3. =====================================================
  4. snippet.bash
  5. [kibana-6.x]
  6. name=Elasticsearch repository for 6.x packages
  7. baseurl=https://artifacts.elastic.co/packages/6.x/yum
  8. gpgcheck=1
  9. gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  10. enabled=1
  11. autorefresh=1
  12. type=rpm-md
  13. =====================================================
  14. # yum install kibana
  15. # vim /etc/kibana/kibana.yml
  16. =====================================================
  17. server.host: “kibana服务器ip”
  18. elasticsearch.hosts: [“http://ES服务器IP:9200”]
  19. #如果通过反向代理访问,则还需要添加如下配置。路径具体值视情况而定
  20. server.basePath: “/kibana”

2、下载汉化包并复制到指定目录

  1. wget https://codeload.github.com/anbai-inc/Kibana_Hanization/zip/master
  2. unzip master
  3. cp -r Kibana_Hanization-master/translations/ /usr/share/kibana/src/legacy/core_plugins/kibana/
  4. #修改语言配置
  5. #vim /etc/kibana/kibana.yml
  6. ======================================
  7. i18n.locale: “zh_CN”
  8. ======================================

3、重启服务

  1. service kibana restart

三、FileBeat

Filebeat隶属于Beats家族。目前Beats家族包含六种工具:

Packetbeat(搜集网络流量数据)

Metricbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据)

Filebeat(搜集文件数据)

Winlogbeat(搜集 Windows 事件日志数据)

Auditbeat( 轻量型审计日志采集器)

Heartbeat(轻量级服务器健康采集器)

1、部署

  1. # rpm –import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  2. # vim /etc/yum.repos.d/filebeat.repo
  3. ==================================================
  4. snippet.bash
  5. [filebeat-6.x]
  6. name=Elasticsearch repository for 6.x packages
  7. baseurl=https://artifacts.elastic.co/packages/6.x/yum
  8. gpgcheck=1
  9. gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  10. enabled=1
  11. autorefresh=1
  12. type=rpm-md
  13. ==================================================
  14. # yum install filebeat

2、配置

/etc/filebeat/filebeat.yml

  1. filebeat.inputs:
  2. # Each – is an input. Most options can be set at the input level, so
  3. # you can use different inputs for various configurations.
  4. # Below are the input specific configurations.
  5. – type: log
  6.  # Change to true to enable this input configuration.
  7.  enabled: true
  8.  # Paths that should be crawled and fetched. Glob based paths.
  9.  paths:
  10.  – d:/ams_logs/*.log
  11.  encoding: gbk
  12. # 输出配置
  13. output.elasticsearch:
  14.  # Array of hosts to connect to.
  15.  hosts: [“ES服务器IP:9200”]

3、重启服务

service filebeat restart

效果图如下:

详解EFK搭建过程及ES的生命周期管理
四、ES生命周期管理

对于日志数据,由于单个索引的存储量的瓶颈,ES一般推荐使用时间作为后缀为同一份日志数据创建多个索引,而用户则通过一个定时器来定时删除过期的索引。ES在6.6之后,在x-pack中推出了索引生命周期管理相关的API来简化与增强类似日志数据索引的管理。该方案基于时间将索引数据分为四个阶段:Hot、Warm、Cold、Delete,对于这四种并给不同的数据阶段,ES也给出了不同的数据处理方式,最终实现日志的生命周期管理

1、策略配置

管理→Index Lifecycle Policies,Create Policy,

详解EFK搭建过程及ES的生命周期管理
2、日志生成

filebeat提供了两种日志生成方式。一般情况下,建议使用默认生成策略

2.1、默认生成策略

打开filebeat配置文件,添加如下内容。使用本方案所对应的策略配置名称,必须为 beats-default-policy

详解EFK搭建过程及ES的生命周期管理

  1. output.elasticsearch:
  2.  hosts: [“ES服务器IP:9200”]
  3.  ilm.enabled: true
  4.  ilm.rollover_alias: “fsl.ams”
  5.  ilm.pattern: “{now/d}-000001”

2.2、高级生成策略

打开filebeat配置文件,添加如下内容。在6.6.1版本下,使用本方案前,请事先在es上创建合适的索引模板。否则其直接生成的索引将不会存在别名(疑似bug),最终造成无法使用生命周期策略。

  1. output.elasticesarch:
  2.  hosts: [“ES服务器IP:9200”]
  3.  index: fsl.ams-%{+yyyy.MM.dd}
  4. setup.template.name“fsl.ams”
  5. setup.template.pattern: “fsl.ams-*”
  6. setup.template.settings.index.lifecycle.rollover_alias: “fsl.ams”
  7. setup.template.settings.index.lifecycle.name“beats-default-policy”

详解EFK搭建过程及ES的生命周期管理

极牛网精选文章《详解EFK搭建过程及ES的生命周期管理》文中所述为作者独立观点,不代表极牛网立场。如若转载请注明出处:https://jikenb.com/6647.html

发表评论

登录后才能评论