Logstash 参考指南

Logstash是一个具有实时管道功能的开源数据收集引擎，Logstash可以动态地将来自不同数据源的数据统一起来，并将数据规范化为你选择的目的地，清理和大众化你的所有数据，用于各种高级下游分析和可视化用例。

• 版本：v6.4
• 更新日期：2018-10-04

Logstash介绍

Logstash入门

本节将指导你安装Logstash并验证一切正常运行的过程，在了解如何储藏第一个事件之后，你将继续创建一个更高级的管道，该管道将Apache web日志作为输入，解析日志，并将解析后的数据写入Elasticsearch集群，然后你将学习如何将多个输入和输出插件组合在一起，以统一来自各种不同来源的数据。

Logstash是如何工作的

设置和运行Logstash

在阅读本节之前，请参阅了解基本的安装说明，以帮助你入门，本节包括关于如何设置和运行Logstash的其他信息。

• 为Docker配置Logstash

重要更改

升级Logstash

• 使用包管理器升级
• 直接下载进行升级
• 将Logstash升级到6.0
• 启用持久队列进行升级

配置Logstash

• 在配置中使用环境变量
• 管道到管道通信（Beta）
• 重新加载配置文件
• 管理多行事件
• Glob模式支持
• 转换摄取节点管道
• Logstash到Logstash沟通
• 集中的管道管理
• 在Logstash中配置安全性

管理Logstash

Logstash提供配置管理功能，使你可以更轻松地管理对配置的更新。

本节中的主题仅描述Logstash的配置管理功能，有关其他配置管理工具（如Puppet和Chef）的信息，请参阅这些项目的文档，还可以查看。

• 集中的管道管理
• 使用Logstash模块
• 使用Elastic Cloud
• ArcSight模块
• Netflow模块
• Azure模块

使用Filebeat Modules

数据弹性

• 持久队列
• Dead Letter队列

转换数据

• 执行核心操作
• 反序列化数据
• 提取字段并处理数据
• 通过查找丰富数据

部署和扩展Logstash

• 部署和扩展Logstash

性能调优

• 性能故障排除指南
• 调优和分析Logstash性能

监控Logstash

• X-Pack监控概述

监控API

• Node Info API
• Plugins Info API
• Node Stats API
• Hot Threads API

使用插件

• 生成插件
• 离线插件管理
• 私有Gem库
• Event API

输入插件

• beats
• file

输出插件

• elasticsearch

过滤器插件

• mutate

编解码器插件

• json
• plain

贡献给Logstash

• 如何编写Logstash输入插件
• 如何编写Logstash编解码器插件
• 如何编写Logstash过滤器插件
• 如何编写Logstash输出插件
• 为Logstash插件提供补丁
• Logstash插件社区维护人员指南
• 提交你的插件到RubyGems.org和logstash插件仓库

术语表

• 术语表

发布说明

• Logstash 6.4.2发布说明
• Logstash 6.4.1发布说明