ELk(Elasticsearch, Logstash, Kibana)的安装配置
目录
elk(elasticsearch, logstash, kibana)的安装配置
本文中所有的版本都是基于5.2.0,因为公司es(elasticsearch)的环境是5.2.0。
1. elasticsearch的安装-
关于elasticsearch的安装在之前的文章中已经写过了,这里不再赘述。
2. kibana的安装配置-
kibana是一个能把你es中数据进行可视化显示的工具,包括实时统计和分析,基本上是零配置。
1. kibana下载地址
kibana 5.2.0 linux 64-bit tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.2.0-linux-x86_64.tar.gz
2.解压
tar -zxvf kibana-5.2.0-linux-x86_64.tar.gz
3. 配置
vim kibana-5.2.0-linux-x86_64/config/kibana.yml
# kibana is served by a back end server. this setting specifies the port to use. server.port: 30000 # specifies the address to which the kibana server will bind. ip addresses and host names are both valid values. # the default is 'localhost', which usually means remote machines will not be able to connect. # to allow connections from remote users, set this parameter to a non-loopback address. server.host: "0.0.0.0" # the url of the elasticsearch instance to use for all your queries. # es的访问地址和商品号 elasticsearch.url: "http://localhost:19200"
- 启动
sh kibana-5.2.0-linux-x86_64/bin/kibana
在浏览器中访问kibana的服务器加端口号就可以看到kibana的页面了。
3. logstash的安装配置-
logstash是日志的收集工具,可以对日志进行收集,分析,解码,过滤,输出。一般使用filebeat收集日志到logstash,由logstash处理后保存到es。关于filebeat后面再说。
1. 下载
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.2.0.tar.gz
2. 解压
tar -zxvf logstash-5.2.0.tar.gz
3. 启动
sh logstash-5.2.0/bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
启动后输入'hello word',回车。会输出如下结果
{ "message" => "hello world", "@version" => "1", "@timestamp" => "2014-08-07t10:30:59.937z", "host" => "raochenlindemacbook-air.local", }
logstash 会给事件添加一些额外信息。最重要的就是 @timestamp,用来标记事件的发生时间。因为这个字段涉及到 logstash 的内部流转,所以必须是一个 joda 对象,如果你尝试自己给一个字符串字段重命名为 @timestamp 的话,logstash 会直接报错。所以,请使用 filters/date 插件 来管理这个特殊字段。
4. 配置
可以把把配置写到一个文件中,来启动logstash。
- 在logstash的配置文件目录中创建
test.yml
文件
cd logstash-5.2.0/config/ vim test.yml
- 配置文件内容
input{ stdin{} } ouput{ stdout{ codec=>rubydebug } }
-
启动
sh logstash-5.2.0/bin/logstash -f logstash-5.2.0/config/test.yml
可以达步骤3的效果。
4. 使用elk收集nginx的访问日志
1.配置logstash
- 在logstash的配置文件目录中创建
nginx-log.yml
文件
cd logstash-5.2.0/config/ vim nginx-log.yml
- 配置文件内容
input { file { # 指定一个文件作为输入源 path => "/usr/local/nginx/logs/access.log" # 指定文件的路径 start_position => "beginning" # 指定何时开始收集,这时设置从文件的最开头收集 type => "nginx" # 定义日志类型,可自定义 } } filter { # 配置过滤器 grok { match => { "message" => "%{iporhost:http_host} %{iporhost:clientip} - %{username:remote_user} \[%{httpdate:timestamp}\] \"(?:%{word:http_verb} %{notspace:http_request}(?: http/%{number:http_version})?|%{data:raw_http_request})\" %{number:response} (?:%{number:bytes_read}|-) %{qs:referrer} %{qs:agent} %{qs:xforwardedfor} %{number:request_time:float}"} # 定义日志的输出格式 } geoip { source => "clientip" } } output { # 标准输出,是输出到终端 stdout { codec => rubydebug } # 输出到es elasticsearch { hosts => ["127.0.0.1:19200"] index => "nginx-log-%{+yyyy.mm.dd}" } }
- 检查配置文件
sh logstash --path.settings /etc/logstash/ -f logstash-5.2.0/config/nginx-log.yml --config.test_and_exit
2. 配置nginx的配置文件
- 打开nginx的配置文件
vim /usr/local/nginx/conf/nginx.conf
- 在http中增加如下内容
http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; log_format main2 '$http_host $remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$upstream_addr" $request_time'; }
- 在要格式化日志的 server中增加如下配置
#access_log logs/host.access.log main; # 增加如下内容, 日志格式化main2要在上面定义,不然这里无法引用 access_log logs/elk_access.log main2; location / { root html; index index.html index.htm; # 增加如下三行内容,分别是携带访问host,远程地址和各层代理地址 proxy_set_header host $host; proxy_set_header x-real-ip $remote_addr; proxy_set_header x-forwarded-for $proxy_add_x_forwarded_for; }
- 重启nginx
sh /usr/local/nginx/sbin/nginx -s reload
3. 检查启动
-
检查
sh logstash-5.2.0/bin/logstash -f logstash-5.2.0/config/nginx-log.yml --config.test_and_exit
-
启动
sh logstash-5.2.0/bin/logstash -f logstash-5.2.0/config/nginx-log.yml
当终端输出如下内容就成功了
{ "@timestamp" => 2018-12-18t08:44:56.361z, "plugin_instance" => "vda", "read" => 467266, "plugin" => "disk", "host" => "172.24.121.18", "@version" => "1", "collectd_type" => "disk_ops", "type" => "collectd", "write" => 12204609 } { "longterm" => 0.08, "@timestamp" => 2018-12-18t08:44:46.362z, "plugin" => "load", "shortterm" => 0.06, "host" => "172.24.121.18", "@version" => "1", "collectd_type" => "load", "type" => "collectd", "midterm" => 0.04 }
5. kibana展示nginx访问日志
进入kibana页面如下
- 配置index patterns
- 进入后点击左上角的 ‘add new’ 进行创建索引模板
在kibana中,要分析展示数据时,要先创建index patterns
选择index的时候可以用通配符 ‘*’ 来把所有的nginx-log的访问日志分成一个组。
time-field name 是要指定一个日期格式的字段,以便于后面统计使用。
然后就可以在这里选择配置好的index patterns了。
其中x轴的时间就是创建index patterns的时候选择的那个日期字段。
上一篇: 通过ADB查看当前Activity
推荐阅读
-
安装ElasticSearch搜索工具并配置Python驱动的方法
-
elasticsearch7.5.0+kibana-7.5.0+cerebro-0.8.5集群生产环境安装配置及通过elasticsearch-migration工具做新老集群数据迁移
-
安装ElasticSearch搜索工具并配置Python驱动的方法
-
ElasticSearch 5.5 离线环境的完整安装及配置详情,附kibana、ik插件配置及安装包下载路径
-
ELK篇---------elasticsearch集群安装配置
-
[转]ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
-
ELK集群-ElasticSearch安装配置(五)
-
【ELK】elasticsearch集群+kibana安装
-
【ELK】elasticsearch安装和配置
-
docker安装elasticsearch和kibana的方法步骤