Logstash日志分析系统详细教程<\/h1>

一、Logstash简介<\/h2>

Logstash是一个开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到存储库中。它是ELK(Elasticsearch、Logstash、Kibana)技术栈中的重要组成部分。<\/p>

主要功能组件：<\/p>

Input<\/strong>：从数据源采集数据<\/li>
Filter<\/strong>：修订\/格式化处理选择的数据（可选）<\/li>

Output<\/strong>：输出数据到其他软件<\/li> <\/ul>
二、安装Logstash<\/h2>
1. 前置条件<\/h3>

需要先安装JDK（Java Development Kit）<\/li> <\/ul>
2. 安装方式<\/h3>
在线安装<\/h4>
# 基于YUM的系统<\/span> <\/span><\/span>yum -y install logstash <\/span><\/span> <\/span><\/span># 基于APT的系统<\/span> <\/span><\/span>apt-get install logstash <\/span><\/span><\/code><\/pre>离线安装（以Ubuntu为例）<\/h4> dpkg -i logstash.deb <\/span><\/span><\/code><\/pre>三、运行测试<\/h2> 1. 基本测试<\/h3> 测试Logstash是否正常运行：<\/p> \/usr\/share\/logstash\/bin\/logstash -e 'input{stdin{}}output{stdout{}}'<\/span> <\/span><\/span><\/code><\/pre>输入"hello world"后，预期输出：<\/p> { "@timestamp" => 2018-07-24T07:18:14.165Z, "message" => "hello world", "host" => "ubuntu", "@version" => "1" } <\/code><\/pre> 说明：<\/p> -e<\/code>：通过命令行实现Logstash配置<\/li> ctrl+D<\/code>：终止任务<\/li> <\/ul> 2. 解析日志文件<\/h3> 准备工作<\/h4> 下载测试日志样本：<\/p> https:\/\/download.elastic.co\/demos\/logstash\/gettingstarted\/logstash-tutorial.log.gz <\/code><\/pre> <\/li> 安装配置Filebeat<\/p> <\/li> <\/ol> 修改filebeat.yml<\/code>配置文件：<\/p> filebeat.prospectors<\/span>: <\/span><\/span> - type<\/span>: log<\/span> <\/span><\/span> paths<\/span>: <\/span><\/span> - \/path\/to\/file\/logstash-tutorial-dataset<\/span> <\/span><\/span> <\/span><\/span>output.logstash<\/span>: <\/span><\/span> hosts<\/span>: ["192.168.18.130:9200"<\/span>] <\/span><\/span><\/code><\/pre>启动Filebeat：<\/p> Filebeat -e -c filebeat.yml -d "publish"<\/span> <\/span><\/span><\/code><\/pre>配置Logstash管道<\/h4> 创建first-pipeline.conf<\/code>配置文件：<\/p> input { beats { port => "9200" } } filter { } output { stdout { codec => rubydebug } } <\/code><\/pre> 验证配置文件：<\/p> \/usr\/share\/logstash\/bin\/logstash -f first-pipeline.conf --config.test_and_exit <\/span><\/span><\/code><\/pre>成功验证后运行：<\/p> \/usr\/share\/logstash\/bin\/logstash -f first-pipeline.conf --config.reload.automatic <\/span><\/span><\/code><\/pre>说明：--config.reload.automatic<\/code>表示动态加载配置文件而无需重启<\/p> 四、使用Grok插件处理日志<\/h2> 1. Grok基础<\/h3> Grok可以将非结构化日志数据解析为结构化格式。例如解析Apache访问日志：<\/p> 示例日志：<\/p> 83.149.9.216 - - [04\/Jan\/2015:05:13:42 +0000] "GET \/presentations\/logstash-monitorama-2013\/images\/kibana-search.png HTTP\/1.1" 200 203023 "http:\/\/semicomplete.com\/presentations\/logstash-monitorama-2013\/" "Mozilla\/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/32.0.1700.77 Safari\/537.36" <\/code><\/pre> 配置示例：<\/p> input { beats { port => "5044" } } filter { grok { match => {"message" => "%{COMBINEDAPACHELOG}"} } geoip { source => "clientip" } } output { elasticsearch { hosts => ["192.168.18.130:9200"] } } <\/code><\/pre> 2. 调试Grok模式<\/h3> 使用Kibana中的Grok Debugger<\/strong>工具（位于Dev Tools中）来测试和调试Grok模式。<\/p> 3. 清除Filebeat状态<\/h3> 如果需要重新处理日志文件：<\/p> rm -rf \/var\/lib\/filebeat\/registry <\/span><\/span># 如果找不到，使用find命令查找<\/span> <\/span><\/span><\/code><\/pre>然后重新启动Filebeat：<\/p> filebeat -e -c filebeat.yml -d "publish"<\/span> <\/span><\/span><\/code><\/pre>五、查看和分析结果<\/h2> 在Kibana中创建索引模式<\/li> 在"Discover"页面查看格式化后的日志<\/li> 在"Visualize"页面创建可视化图表<\/li> <\/ol> 六、高级功能<\/h2> Logstash支持自定义插件开发，可以扩展其功能以满足特定需求。<\/p> 七、总结<\/h2> 本教程详细介绍了：<\/p> Logstash的基本概念和架构<\/li> 安装和基本配置方法<\/li> 与Filebeat的集成<\/li> 使用Grok插件解析非结构化日志<\/li> 结果查看和分析方法<\/li> <\/ol> Logstash作为ELK技术栈中的数据收集和处理核心，提供了强大的日志处理能力，通过灵活的插件系统可以满足各种日志分析需求。<\/p>