Logstash 入门 学习 (一) logstash

Logstash简介

 

Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据规范化到您选择的目的地。清理和*化所有数据，用于各种先进的下游分析和可视化用例。

 

尽管Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任何类型的事件都可以通过大量的输入，过滤和输出插件进行丰富和转换，其中许多本地编解码器进一步简化了接收过程。Logstash通过利用更大的数据量和各种数据来加速您的见解。

 

Logstash 功能

 

1. 具有强大Elasticsearch和Kibana协同功能的水平可伸缩数据处理流水线

2. 社区可扩展和开发友好的插件生态系统

   超过200个可用的插件，以及创建和贡献自己的灵活性

 

日志

 

• 处理所有类型的日志记录数据

  • 轻松获取大量网络日志（如Apache）以及像log4j for Java的 应用程序日志
  • 捕获许多其他日志格式，如系统日志，网络和防火墙日志，等等
• 使用Filebeat享受互补的安全日志转发功能
• 通过TCP和UDP 从Ganglia，collectd， NetFlow，JMX和许多其他基础架构和应用程序平台收集指标

Web

 

• 将HTTP请求转换成事件

  • 从Twitter等Web服务消费者中进行社交情绪分析
  • Webhook支持GitHub，HipChat，JIRA和其他无数的应用程序
  • 启用许多观察器警报用例

• 通过按需轮询HTTP端点来 创建事件

  • 通用地从Web应用程序界面捕获健康状况，性能，指标和其他类型的数据
  • 适用于轮询控制优于接收的情况

数据存储

• 使用JDBC接口更好地理解来自任何关系数据库或NoSQL存储的数据
• 统一来自消息队列的不同数据流，如Apache Kafka， RabbitMQ和Amazon SQS

传感器和物联网

 

 

• 在这个技术进步的时代，海量的物联网世界通过捕捉和利用来自连接的传感器的数据释放无数的用例。
• Logstash是用于摄取从移动设备发送到智能家庭，连接车辆，医疗传感器以及许多其他行业特定应用的数据的常见事件收集中枢。

在摄取过程中清理并转换以便在索引或输出时刻立即获得近乎实时的信息。Logstash提供了许多聚合和突变以及模式匹配，地理映射和动态查找功能。

 

 

• Grok是Logstash过滤器的面包和黄油，并且无处不在地用于从非结构化数据中派生出结构。享受丰富的集成模式，旨在帮助快速解决Web，系统，网络和其他类型的事件格式。
• 通过解析来自IP地址的地理坐标，规范 日期复杂性，简化键值对和 CSV数据，指纹（匿名）敏感信息以及通过本地查找或Elasticsearch 查询进一步丰富您的数据，从而扩展您的视野。
• 编解码器通常用于简化JSON 和多行事件等常见事件结构的处理。

分析器

 

• Elasticsearch
• 数据存储，如MongoDB和Riak

 

持久存档

• HDFS
• S3

 

监控

 

• Nagios
• Ganglia
• Zabbix
• Graphite
• Datadog
• CloudWatch

 

报警

• Watcher with Elasticsearch
• Email
• Pagerduty
• IRC
• SNS