欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

ELk(Elasticsearch, Logstash, Kibana)的安装配置

程序员文章站 2022-03-24 12:36:42
ELk(Elasticsearch, Logstash, Kibana)的安装配置 本文中所有的版本都是基于5.2.0,因为公司es(Elasticsearch)的环境是5.2.0。 1. Elasticsearch的安装 "官网" 关于Elasticsearch的安装在之前的文章中已经写过了,这里 ......

目录

elk(elasticsearch, logstash, kibana)的安装配置

本文中所有的版本都是基于5.2.0,因为公司es(elasticsearch)的环境是5.2.0。

1. elasticsearch的安装-

关于elasticsearch的安装在之前的文章中已经写过了,这里不再赘述。

2. kibana的安装配置-

kibana是一个能把你es中数据进行可视化显示的工具,包括实时统计和分析,基本上是零配置。

1. kibana下载地址

kibana 5.2.0 linux 64-bit tar.gz

wget https://artifacts.elastic.co/downloads/kibana/kibana-5.2.0-linux-x86_64.tar.gz

2.解压

tar -zxvf kibana-5.2.0-linux-x86_64.tar.gz

3. 配置

vim kibana-5.2.0-linux-x86_64/config/kibana.yml

# kibana is served by a back end server. this setting specifies the port to use.
server.port: 30000

# specifies the address to which the kibana server will bind. ip addresses and host names are both valid values.
# the default is 'localhost', which usually means remote machines will not be able to connect.
# to allow connections from remote users, set this parameter to a non-loopback address.
server.host: "0.0.0.0"

# the url of the elasticsearch instance to use for all your queries.
# es的访问地址和商品号
elasticsearch.url: "http://localhost:19200"
  • 启动

sh kibana-5.2.0-linux-x86_64/bin/kibana

在浏览器中访问kibana的服务器加端口号就可以看到kibana的页面了。

3. logstash的安装配置-

logstash是日志的收集工具,可以对日志进行收集,分析,解码,过滤,输出。一般使用filebeat收集日志到logstash,由logstash处理后保存到es。关于filebeat后面再说。

1. 下载

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.2.0.tar.gz

2. 解压

tar -zxvf logstash-5.2.0.tar.gz

3. 启动

sh logstash-5.2.0/bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

启动后输入'hello word',回车。会输出如下结果

{
       "message" => "hello world",
      "@version" => "1",
    "@timestamp" => "2014-08-07t10:30:59.937z",
          "host" => "raochenlindemacbook-air.local",
}

logstash 会给事件添加一些额外信息。最重要的就是 @timestamp,用来标记事件的发生时间。因为这个字段涉及到 logstash 的内部流转,所以必须是一个 joda 对象,如果你尝试自己给一个字符串字段重命名为 @timestamp 的话,logstash 会直接报错。所以,请使用 filters/date 插件 来管理这个特殊字段。

4. 配置

可以把把配置写到一个文件中,来启动logstash。

  • 在logstash的配置文件目录中创建test.yml文件
cd logstash-5.2.0/config/
vim test.yml
  • 配置文件内容
input{
    stdin{}
}
ouput{
    stdout{
        codec=>rubydebug
    }
}
  • 启动

    sh logstash-5.2.0/bin/logstash -f logstash-5.2.0/config/test.yml

可以达步骤3的效果。

4. 使用elk收集nginx的访问日志

1.配置logstash

  • 在logstash的配置文件目录中创建nginx-log.yml文件
cd logstash-5.2.0/config/
vim nginx-log.yml
  • 配置文件内容
input {
  file {  # 指定一个文件作为输入源
    path => "/usr/local/nginx/logs/access.log"  # 指定文件的路径
    start_position => "beginning"  # 指定何时开始收集,这时设置从文件的最开头收集
    type => "nginx"  # 定义日志类型,可自定义
  }
}
filter {  # 配置过滤器
    grok {
        match => { "message" => "%{iporhost:http_host} %{iporhost:clientip} - %{username:remote_user} \[%{httpdate:timestamp}\] \"(?:%{word:http_verb} %{notspace:http_request}(?: http/%{number:http_version})?|%{data:raw_http_request})\" %{number:response} (?:%{number:bytes_read}|-) %{qs:referrer} %{qs:agent} %{qs:xforwardedfor} %{number:request_time:float}"}  # 定义日志的输出格式
    }
    geoip {
        source => "clientip"
    }
}
output {
    # 标准输出,是输出到终端
    stdout { codec => rubydebug }
    # 输出到es
    elasticsearch {
        hosts => ["127.0.0.1:19200"]
        index => "nginx-log-%{+yyyy.mm.dd}"
  }
}
  • 检查配置文件

sh logstash --path.settings /etc/logstash/ -f logstash-5.2.0/config/nginx-log.yml --config.test_and_exit

2. 配置nginx的配置文件

  • 打开nginx的配置文件

vim /usr/local/nginx/conf/nginx.conf

  • 在http中增加如下内容
http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    log_format main2 '$http_host $remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$upstream_addr" $request_time';
}
  • 在要格式化日志的 server中增加如下配置
        #access_log  logs/host.access.log  main;
        # 增加如下内容, 日志格式化main2要在上面定义,不然这里无法引用
        access_log  logs/elk_access.log  main2;

        location / {
            root   html;
            index  index.html index.htm;
            # 增加如下三行内容,分别是携带访问host,远程地址和各层代理地址
            proxy_set_header host   $host;
            proxy_set_header x-real-ip      $remote_addr;
            proxy_set_header x-forwarded-for $proxy_add_x_forwarded_for;

        }
  • 重启nginx

sh /usr/local/nginx/sbin/nginx -s reload

3. 检查启动

  • 检查

    sh logstash-5.2.0/bin/logstash -f logstash-5.2.0/config/nginx-log.yml --config.test_and_exit

  • 启动

    sh logstash-5.2.0/bin/logstash -f logstash-5.2.0/config/nginx-log.yml
    当终端输出如下内容就成功了

{
         "@timestamp" => 2018-12-18t08:44:56.361z,
    "plugin_instance" => "vda",
               "read" => 467266,
             "plugin" => "disk",
               "host" => "172.24.121.18",
           "@version" => "1",
      "collectd_type" => "disk_ops",
               "type" => "collectd",
              "write" => 12204609
}
{
         "longterm" => 0.08,
       "@timestamp" => 2018-12-18t08:44:46.362z,
           "plugin" => "load",
        "shortterm" => 0.06,
             "host" => "172.24.121.18",
         "@version" => "1",
    "collectd_type" => "load",
             "type" => "collectd",
          "midterm" => 0.04
}

5. kibana展示nginx访问日志

进入kibana页面如下

ELk(Elasticsearch, Logstash, Kibana)的安装配置

  • 配置index patterns

ELk(Elasticsearch, Logstash, Kibana)的安装配置

  • 进入后点击左上角的 ‘add new’ 进行创建索引模板

在kibana中,要分析展示数据时,要先创建index patterns

ELk(Elasticsearch, Logstash, Kibana)的安装配置

选择index的时候可以用通配符 ‘*’ 来把所有的nginx-log的访问日志分成一个组。

time-field name 是要指定一个日期格式的字段,以便于后面统计使用。

ELk(Elasticsearch, Logstash, Kibana)的安装配置

然后就可以在这里选择配置好的index patterns了。

ELk(Elasticsearch, Logstash, Kibana)的安装配置

其中x轴的时间就是创建index patterns的时候选择的那个日期字段。