Logstash 入门 学习 (一) logstash
程序员文章站
2024-03-15 13:32:17
...
Logstash简介
Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据,并将数据规范化到您选择的目的地。清理和*化所有数据,用于各种先进的下游分析和可视化用例。
尽管Logstash最初推动了日志收集方面的创新,但其功能远远超出了该用例。任何类型的事件都可以通过大量的输入,过滤和输出插件进行丰富和转换,其中许多本地编解码器进一步简化了接收过程。Logstash通过利用更大的数据量和各种数据来加速您的见解。
Logstash 功能
- 具有强大Elasticsearch和Kibana协同功能的水平可伸缩数据处理流水线
-
社区可扩展和开发友好的插件生态系统
超过200个可用的插件,以及创建和贡献自己的灵活性
日志
Web
数据存储
- 使用JDBC接口更好地理解来自任何关系数据库或NoSQL存储的数据
- 统一来自消息队列的不同数据流,如Apache Kafka, RabbitMQ和Amazon SQS
传感器和物联网
- 在这个技术进步的时代,海量的物联网世界通过捕捉和利用来自连接的传感器的数据释放无数的用例。
- Logstash是用于摄取从移动设备发送到智能家庭,连接车辆,医疗传感器以及许多其他行业特定应用的数据的常见事件收集中枢。
在摄取过程中清理并转换以便在索引或输出时刻立即获得近乎实时的信息。Logstash提供了许多聚合和突变以及模式匹配,地理映射和动态查找功能。
- Grok是Logstash过滤器的面包和黄油,并且无处不在地用于从非结构化数据中派生出结构。享受丰富的集成模式,旨在帮助快速解决Web,系统,网络和其他类型的事件格式。
- 通过解析来自IP地址的地理坐标,规范 日期复杂性,简化键值对和 CSV数据,指纹(匿名)敏感信息以及通过本地查找或Elasticsearch 查询进一步丰富您的数据,从而扩展您的视野。
- 编解码器通常用于简化JSON 和多行事件等常见事件结构的处理。
分析器
- Elasticsearch
- 数据存储,如MongoDB和Riak
持久存档
监控
报警