实时可视化大数据项目01 -- 项目介绍

1、项目架构

OGG + FileBeat + Kafka + Logstash + ElaticSearch + SpringBoot + Echarts + Jquery

2、项目介绍

1、项目是通过beat采集业务系统的日志，发送至kafka ，Logstash解析日志存入ElaticSearch，
2、另外一个数据，通过oracle内部的OGG同步至kafka，消息中中包含insert，update的状态字段。采集时区分inset和update。由于ElaticSearch具有原子性。自己设置好document_id。多次插入和更新都是最新状态。
3、项目简单，服务器6台，数据量支持上亿查询。
4、时效性能达到秒级别，这是ES和采集的beat造成的。
5、一人开发，未进行前后端分离，项目使用的是ajax请求后端。

3、项目展示

该项目特别感谢开源软件的支持。
后续，我将逐步将代码贴出来。
感谢你的阅读！

本文地址：https://blog.csdn.net/AyubLIbra/article/details/107365238