标签：elasticsearch

Elasticsearch 是开源搜索平台的新成员，实时数据分析的神器，发展迅猛，基于 Lucene、RESTful、分布式、面向云计算设计、实时搜索、全文搜索、稳定、高可靠、可扩展、安装＋使用方便，介绍都说的很好听，好不好用拿出来遛一遛。

ELK 由三部分组成elasticsearch、logstash、kibana，一个一个的啃过去。在安装elasticsearch之前，首先来看看elasticsearch几个至关重要的术语。

上一篇是处理MySQL的慢查询日志的，其实，ELK内容就这么多，很有规律的说，一通百通，通一反万。下面说说对mongodb日志处理。 不同mongodb版本的日志格式不同，这个需要看mongodb官方对日志格式的定义，在处理前自己去做好这方面的功课。还有就是，要抓取自己感兴趣的内容，这个根据各自的需求来做，没有千篇一律的，全凭各自喜好。

在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很多。MySQL慢查询日志格式如下：

logstash是ELK重要组成部分，日志进一步的处理差不多都需要经过logstash来完成的，除非自己开发beats将数据处理好直接写入到elasticsearch中。

Packetbeat 协议部分包含支持每个协议的配置项，如ports, send_request, send_response 和 特定的协议选项。目前Packetbeat支持以下协议：DNSHTTPMysqlPostgreSQLRedisThrift-RPCMongoDBMemcache

Packetbeat 是一个实时网络数据包分析工具，与elasticsearch一体来提供应用程序的监控和分析系统。Packetbeat通过嗅探应用服务器之间的网络通讯，来解码应用层协议类型如HTTP、MySQL、redis等等，关联请求与响应，并记录每个事务有意义的字段。Packetbeat可以帮助我们快速发现后端应用程序的问题，如bug或性能问题等等，修复排除故障也很快捷。

topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引。topbeat收集的指标有：系统统计信息系统负载: 最后1分钟、最后5分钟、最后15分钟CPU使用情况: user (和百分比), system, idle, IOWait等等 内存使用情况: 总共, 已用 (和百分比), 剩余等等swap使用情况:总共, 已用 (和百分比), 剩余等等

Beats配置文件是以YAML语法，该文件包含用于所有的beats的通用配置选项，以及其特点的选项。下面说说通用的配置，特定的配置要看各自beat文档。 通用的配置如下几部分：ShipperOutputLogging(可选)Run Options（可选）

kibana 本质上是elasticsearch web客户端，是一个分析和可视化elasticsearch平台，可通过kibana搜索、查看和与存储在elasticsearch的索引进行交互。可以很方便的执行先进的数据分析和可视化多种格式的数据，如图表、表格、地图等。