elk部署文档
一、elasticsearch 集群安装
ELK+Filebeat流程：
Filebeat->Logstash->（Elasticsearch<->Kibana）
Elasticsearch: 能对大容量的数据进行接近实时的存储，搜索和分析操作。
Logstash： 数据收集引擎，它支持动态的的从各种数据源获取数据，并对数据进行过滤，分析，丰富，统一格式等操作，然后存储到用户指定的位置。
Kibana： 数据分析与可视化平台，对Elasticsearch存储的数据进行可视化分析，通过表格的形式展现出来。
Filebeat: 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat,并指定目录与日志格式,Filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给Elasticsearch存储
1、添加es用户&目录
root用户建议不直接启动es
useradd es
mkdir -p /data/elk/es/data
mkdir -p /data/elk/es/logs
chown es:es -R /data/elk/es
2、设置环境变量
vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096
vi /etc/sysctl.conf
vm.max_map_count=655360
配置生效
sysctl -p
3、jdk安装
4、上传安装包
上传安装包 elasticsearch-6.3.0.tar.gz to 到目录/opt
5、解压安装包
tar -zxvf elasticsearch-6.3.0.tar.gz
6、目录赋权
chown es:es -R elasticsearch-6.3.0
7、配置文件
cd /opt/elasticsearch-6.3.0/config
vim elasticsearch.yml
cluster.name: es-log #集群名称
node.name: "node-1" #该节点名称
path.data: /data/elk/es/data #数据存储路径
path.logs: /data/elk/es/logs #日志文件路径
network.host: 192.168.2.129 #绑定监听IP，一般为本机
http.port: 9200 #es服务端口号
discovery.zen.ping.unicast.hosts: ["192.168.2.129","192.168.2.130"] #配置自动发现
node.master: true #该节点为主节点，默认集群中第一台服务器为master，如果这台机器停止会重新选举master
node.data: true #允许该节点存储数据（默认开启）
8、启动es
su es
cd /opt/elasticsearch-6.3.0/bin
./elasticsearch -d
9、验证
http://ip:9200
10、es集群部署
重复上述步骤至相应服务器，修改相应配置文件的node.name、network.hosts。
11、查看集群健康
http://ip:9200/_cluster/health?pretty=true
二、Kibana安装
此次安装在es主服务器上
1、上传安装包
上传安装包kibana-6.3.0-linux-x86_64.tar.gz 到目录/opt
2、解压安装包
tar -xzvf kibana-6.3.0-linux-x86_64.tar.gz
3、创建elk用户&目录
useradd elk
mkdir -p /data/elk/kibana/pid
mkdir -p /data/elk/kibana/logs
chown elk:elk -R kibana-6.3.0-linux-x86_64
chown elk:elk -R /data/elk/kibana
4、配置文件
cd /opt/kibana-6.3.0-linux-x86_64/config
vim kibana.yml
server.port: 5601 #默认端口是5601,
server.host: "ip" #本机地址，访问此地址+端口显示kibana界面
server.name: "kibana" #
elasticsearch.url: "http://ip:9200" #es集群地址和端口
pid.file: /data/elk/kibana/pid/kibana.pid
logging.dest: /data/elk/kibana/logs/stdout.log
i18n.defaultLocale: "zh-CN"
5、启动kibana
su elk
cd /opt/kibana-6.3.0-linux-x86_64/bin
nohup ./kibana &
6、界面验证
如下网址能正常访问即可
http://ip:5601
三、Logstash安装
1、上传安装包
上传安装包 logstash-6.3.0.tar.gz 到目录 /opt
2、解压安装包
tar -xzvf logstash-6.3.0.tar.gz
3、创建目录&赋权
chown elk:elk -R logstash-6.3.0
cd /opt/logstash-6.3.0/config
mkdir conf.d
4、配置文件
vim logstash.yml
path.config: /opt/elk/logstash-6.3.0/config/conf.d
vim conf.d/logback-2-es.conf
input {
beats {
port => 5044
}
}
output {
elasticsearch {
hosts => ["http://ip:9200","http://ip:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
}
}
5、配置文件赋权
chown elk:elk -R conf.d
6、启动logstash
su elk
cd /opt/logstash-6.3.0/bin
nohup ./logstash -f …/config/conf.d/logback-2-es.conf &
7、验证
ps -ef |grep logstash
四、安装 filebeat
登陆需要拉取日志文件的服务器
1、上传安装包
上传安装包 filebeat-6.3.0-linux-x86_64.tar.gz 到目录 /opt
2、解压安装包
tar -xzvf filebeat-6.3.0-linux-x86_64.tar.gz
3、目录赋权
chown elk:elk -R filebeat-6.3.0-linux-x86_64
4、配置文件
cd /opt/filebeat-6.3.0-linux-x86_64
vim filebeat.yml
- type: log
enabled: true
paths:
- /var/log/*.log #监控日志
fields: #新增标签，用于分类展示
hospital: clsyy
logtype: mainlog
multiline.pattern: ^(\d{4}\d{2}\d{2})\s(\d{2}:\d{2}:\d{2}) #配置时间格式为yyyymmdd hh:mi:ss
multiline.negate: true
multiline.match: after
#output.elasticsearch:
# Array of hosts to connect to.
# hosts: ["localhost:9200"]
output.logstash:
# The Logstash hosts
hosts: ["ip:5044"] #需要配置logstash所在服务器IP
5、启动
su elk
cd /opt/filebeat-6.3.0-linux-x86_64
nohup ./filebeat -c ./filebeat.yml &
五、kibana前端使用
1、配置添加index
如下图在kibana的management菜单中配置index，填写索引名
2、配置时间索引
选择时间索引@timestampa
3、index配置完成
查看如下界面
4、日志数据浏览检索
在discover菜单中，可以预览查询数据，可以通过添加过滤条件来筛选数据
五、配置说明
1、scan_frequency：1s #小于1s可能导致filebeat在频繁的循环中扫描磁盘