《Centos7——ELK搭建》

ELK搭建

ELK 是什么?

• ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写

– Elasticsearch:负责日志检索和储存

– Logstash:负责日志的收集和分析、处理

– Kibana:负责日志的可视化

这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co 公司名下,故被简称为 ELK

ELK 能做什么?

• ELK组件在海量日志系统的运维中,可用于解决:

– 分布式日志数据集中式查询和管理

– 系统监控,包含系统硬件和应用各个组件的监控

– 故障排查

– 安全信息和事件管理

– 报表功能

1. 准备所需

准备两台centos7的mini
配置：2核心2G内存
规划如下：
ip地址：
192.168.179.130：
jdk
kibana
elasticsearch
192.168.179.131:
jdk
logstash

192.168.179.130

2. 关闭防火墙、selinux

systemctl stop firewalld -----关闭防火墙

setenforce 0 -----关闭selinux

3. 时间同步

yum -y install ntpdate -----安装工具

ntpdate  pool.ntp.org -----同步时间

4. 安装jdk

cd /usr/local/src -----进入目录

rz -----上传ELK压缩包(shell工具)

yum -y install unzip -----安装压缩工具

unzip ELK.zip -----解压压缩包

cd ELK -----进入ELK目录

rpm -ivh jdk-8u131-linux-x64_.rpm ------安装jdk

java -version -----查看java版本

4. 安装elasticsearch

rpm -ivh elasticsearch-6.6.2.rpm -----安装elasticsearch

vim /etc/elasticsearch/elasticsearch.yml -----修改配置文件

systemctl enable elasticsearch ------开机自启

systemctl start elasticsearch -----启动elasticsearch

tailf /var/log/elasticsearch/huazai007.log -----验证服务是否正常运行

192.168.179.131

5. 关闭防火墙、selinux

systemctl stop firewalld -----关闭防火墙

setenforce 0 -----关闭selinux

6. 时间同步

yum -y install ntpdate -----安装工具

ntpdate  pool.ntp.org -----同步时间

7. 安装jdk

cd /usr/local/src -----进入目录

rz -----上传ELK压缩包(shell工具)

yum -y install unzip -----安装压缩工具

unzip ELK.zip -----解压压缩包

cd ELK -----进入ELK目录

rpm -ivh jdk-8u131-linux-x64_.rpm ------安装jdk

java -version -----查看java版本

8. 安装logstash

收集/var/log/messages日志
vim /etc/logstash/conf.d/msg.conf -----编辑文件
input {
        file {
                path => "/var/log/messages"
                type => 'msg-log'
                start_position => "beginning"
        }
}

output {
        elasticsearch {
                hosts => "192.168.179.130:9200"
                index => "msg_log-%{+YYYY.MM.dd}"
        }
}

systemctl start logstash -----启动服务

netstat  -lptnu|grep 9600 -----查看状态(等待1-2分钟)

192.168.179.131

192.168.179.130

9. 安装kibana

rpm -ivh kibana-6.6.2-x86_64.rpm -----安装kibana

vim /etc/kibana/kibana.yml -----修改配置文件

systemctl start kibana -----启动服务

netstat  -lptnu|grep 5601 -----查看状态

10. 收集secure日志

192.168.179.130

vim /etc/logstash/conf.d/secure.conf -----编写文件
input{
	file{
		path => "/var/log/secure"
		type => 'sec-log'
		start_position => "beginning"
	}
}

output{
	elasticsearch{
		hosts => "192.168.179.130:9200"
		index => "sec_log-%{+YYYY.MM.dd}"
	}
}

11. 编辑pipeline.yaml

 vim /etc/logstash/pipeline.yaml -----编辑pipeline.yaml
 - pipeline.id: msg
  path.config: "/etc/logstash/conf.d/msg.conf"
- pipeline.id: sec
  path.config: "/etc/logstash/conf.d/secure.conf"