windows下Elasticsearch+Logstash+Kibana日志收集分析系统安装教程 博客分类: 开源软件 elasticsearchkibanalogstash
程序员文章站
2024-03-14 19:10:59
...
上星期搭建了基于kafka+elasticsearch+elastic-job的新闻日志追踪系统,在本地运行成功后,老大试了下,发现elastic-job运行不稳定,定时任务并没有执行,而且采用kafka消息队列消费,不如在本地消费高效,于是再让我采用Elasticsearch+Logstash+Kibana来搭建新的日志收集系统。
早上看了一篇文章,写的很好,采用上面的教程基本安装成功,但是打开kibana界面时发现只加载了页面头部,下面的内容始终加载不出来,用F12看了下,发现报错了:Result window is too large, from + size must be less than or equal to: [10000] but was [2147483647]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter.
后面google了一下,发现是版本问题,升级到新版本后就解决了。
把安装教程链接和问题链接发出来,供其他人用:
安装教程:http://www.w2bc.com/Article/85035
具体如下(安装教程是复制的,供学习用):
一步步来
1.下载软件
Elasticsearch: https://download.elasticsearch.org/...p/elasticsearch/2.0.0/elasticsearch-2.0.0.zip
Logstash: https://download.elastic.co/logstash/logstash/logstash-2.0.0.zip
Kibana: https://download.elastic.co/kibana/kibana/kibana-4.2.0-windows.zip
2.分别解压下载的软件,elasticsearch,logstash,kibana 可以放在一个统一文件夹下
3.下载JDK,安装java环境,把安装路径添加JAVA_HOME 的环境变量
4.配置logstash ,cd 到logstash文件夹的下bin目录
创建配置文件 logstash.conf ,内容如下,具体不讲解(从tcp 5544 端口接收,送到es服务器上,很简单的一个配置)
input {
tcp {
port => 5544
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
}
}
5.安装Elasticsearch 为windows服务
cd到Elasticsearch文件夹的bin目录下
cmd 运行 service install,会提示安装成功
cmd 运行 service manager 会弹出服务管理界面,可以设置自动启动,并启动之。
浏览器访问 127.0.0.1:9200 ,出现成功的json
6 安装logstash 为windows服务
cd到logstash文件夹下bin目录
创建一个run.bat
logstash.bat agent -f logstash.conf
下载nssm
https://nssm.cc/release/nssm-2.24.zip
解压拷贝nssm-2.24\win64目录下nssm.exe到logstash bin目录
cmd 运行 nssm install logstash
在弹出的界面设置 Path为run.bat,Details选项卡设置显示名,Dependencies选项卡设置依赖服务 elasticsearch-service-x64
最后点击install service 安装成功
7.安装kibana为windows服务
和之前一样拷贝nssm文件,安装服务的Path为kibana.bat,依赖项可以设置logstash,elasticsearch-service-x64
7.1 可选 安装个反向代理软件nginx,IIS的ARR模块把5601端口屏蔽下
8.在控制面板,启动之前安装的三个服务,接下来我们可以测试下
telnet 127.0.0.1 5544 随便输点东西,并回车
用浏览器打开http://localhost:5601/ 系统会提示创建Index,可以按时间创建Index。在Discover选项卡上你会看到你刚刚在telnet中敲的毫无意义的ASCII字符
很简单不是,生产环境还是交给运维部署个linux 版本吧
后面更复杂的配置和实践交给大家自行摸索了,呵呵
问题:Result window is too large, from + size must be less than or equal to: [10000] but was [2147483647]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter.
解决方法:参考https://github.com/elastic/kibana/issues/5561,升级到最新版本
早上看了一篇文章,写的很好,采用上面的教程基本安装成功,但是打开kibana界面时发现只加载了页面头部,下面的内容始终加载不出来,用F12看了下,发现报错了:Result window is too large, from + size must be less than or equal to: [10000] but was [2147483647]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter.
后面google了一下,发现是版本问题,升级到新版本后就解决了。
把安装教程链接和问题链接发出来,供其他人用:
安装教程:http://www.w2bc.com/Article/85035
具体如下(安装教程是复制的,供学习用):
一步步来
1.下载软件
Elasticsearch: https://download.elasticsearch.org/...p/elasticsearch/2.0.0/elasticsearch-2.0.0.zip
Logstash: https://download.elastic.co/logstash/logstash/logstash-2.0.0.zip
Kibana: https://download.elastic.co/kibana/kibana/kibana-4.2.0-windows.zip
2.分别解压下载的软件,elasticsearch,logstash,kibana 可以放在一个统一文件夹下
3.下载JDK,安装java环境,把安装路径添加JAVA_HOME 的环境变量
4.配置logstash ,cd 到logstash文件夹的下bin目录
创建配置文件 logstash.conf ,内容如下,具体不讲解(从tcp 5544 端口接收,送到es服务器上,很简单的一个配置)
input {
tcp {
port => 5544
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
}
}
5.安装Elasticsearch 为windows服务
cd到Elasticsearch文件夹的bin目录下
cmd 运行 service install,会提示安装成功
cmd 运行 service manager 会弹出服务管理界面,可以设置自动启动,并启动之。
浏览器访问 127.0.0.1:9200 ,出现成功的json
6 安装logstash 为windows服务
cd到logstash文件夹下bin目录
创建一个run.bat
logstash.bat agent -f logstash.conf
下载nssm
https://nssm.cc/release/nssm-2.24.zip
解压拷贝nssm-2.24\win64目录下nssm.exe到logstash bin目录
cmd 运行 nssm install logstash
在弹出的界面设置 Path为run.bat,Details选项卡设置显示名,Dependencies选项卡设置依赖服务 elasticsearch-service-x64
最后点击install service 安装成功
7.安装kibana为windows服务
和之前一样拷贝nssm文件,安装服务的Path为kibana.bat,依赖项可以设置logstash,elasticsearch-service-x64
7.1 可选 安装个反向代理软件nginx,IIS的ARR模块把5601端口屏蔽下
8.在控制面板,启动之前安装的三个服务,接下来我们可以测试下
telnet 127.0.0.1 5544 随便输点东西,并回车
用浏览器打开http://localhost:5601/ 系统会提示创建Index,可以按时间创建Index。在Discover选项卡上你会看到你刚刚在telnet中敲的毫无意义的ASCII字符
很简单不是,生产环境还是交给运维部署个linux 版本吧
后面更复杂的配置和实践交给大家自行摸索了,呵呵
问题:Result window is too large, from + size must be less than or equal to: [10000] but was [2147483647]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter.
解决方法:参考https://github.com/elastic/kibana/issues/5561,升级到最新版本