第一章 什么是ELK？

前言

ELK是三个开源软件的缩写，Elasticsearch、Logstash、Kibana。它们都是开源软件。不过现在还新增了一个 Beats，它是一个轻量级的日志收集处理工具(Agent)，Beats 占用资源少，适合于在各个服务器上搜集日志后传输给 Logstash，官方也推荐此工具，目前由于原本的 ELK Stack 成员中加入了 Beats 工具所以已改名为 Elastic Stack。

一、Elasticsearch

Elasticsearch 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能,他是基于 lucene的搜索服务器，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。
tips：Lucene 是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene 的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

二、Logstash

Logstash 主要是用来日志的搜集、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s 架构，client（rsyslog，apache，nginx）端安装在需要收集日志的主机上，server （Logstash） 端负责将收到的各节点日志进行过滤、修改等操作然后在一并将受到的数据发往 elasticsearch 上去。

三、Kibana

Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

四、filebeat

Beats 是一个轻量级日志采集器，其实 Beats 家族有 6 个成员，早期的 ELK 架构中使用Logstash 收集、解析日志，但是 Logstash 对内存、cpu、io 等资源消耗比较高。相比 Logstash，Beats所占系统的 CPU 和内存几乎可以忽略不计。

总结

现在ELK采用的架构方案一般涉及到五个关键词:es logstash kibana filebeat kafka or redis
因为logstash 重量型,占用资源大,吞吐量有限 但是功能齐全。所以一般在收集日志的主机我们一般安装轻量型的filebeat。再转到logstash去进行处理。同时，为了防止消息丢失，在filebeat和logstash之间我们会采用消息队列来进行中转。