logstash-过滤ES数据到新的ES
程序员文章站
2022-07-06 19:58:25
...
背景:过滤ES集群中特定类型的某个时间段的数据到新的ES集群
具体操作下:
###类型TCC
input{
elasticsearch {
hosts => "10.10.x.x:9200"
index => "cqct_20200508_03"
query => '{"query":{"bool":{"must":[{"range":{"optime":{"gt":"1591754706000","lt":"1591754706006"}}}],"must_not":[],"should":[]}},"from":0,"sort":[],"aggs":{}}'
docinfo => true
}
}
filter{
if [@metadata][_type] != "TCC" {
drop{}
}
}
output{
elasticsearch{
hosts => "10.10.y.y:9200"
index => "cqct_20200508_03"
document_type => "TCC"
document_id => "%{id}"
codec => json_lines
}
stdout{
codec => json_lines
}
}
##RFID
input{
elasticsearch {
hosts => "10.10.x.x:9200"
index => "cqct_20200508_*"
query => '{"query":{"bool":{"must":[{"range":{"collectTime":{"gt":"1591754706000","lt":"1591754706006"}}}],"must_not":[],"should":[]}},"from":0,"sort":[],"aggs":{}}'
docinfo => true
}
}
filter{
if [@metadata][_type] != "RFID" {
drop{}
}
}
output{
elasticsearch{
hosts => "10.10.y.y:9200"
index => "cqct_20200508_03"
document_type => "RFID"
document_id => "%{id}"
codec => json_lines
}
stdout{
codec => json_lines
}
}
上一篇: 结构化索引及结构化查询
推荐阅读
-
ES6新特性五:Set与Map的数据结构实例分析
-
es6数据变更同步到视图层的方法
-
logstash-过滤ES数据到新的ES
-
python消费kafka数据批量插入到es的方法
-
使用canal实现增量同步MySQL的数据到ES
-
ECMAScript6 新的数据结构、Class语法、Proxy和Promise,看完我写的ES6,马上会的,你就是高手
-
ES6新特性五:Set与Map的数据结构实例分析
-
es6数据变更同步到视图层的方法
-
ES6新特性-JavaScript中Set和WeakSet类型的数据结构的代码详细介绍
-
ES6新特性-JavaScript中Set和WeakSet类型的数据结构的代码详细介绍