欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

logstash实现Elasticsearch与mysql数据同步

程序员文章站 2022-05-09 14:05:49
...
  1. 首先上传logstash-7.3.0.tar.gz和mysql-connector-java-5.1.6.jar到服务器(这里我使用的个人的版本,大家可以换成自己的版本)
  2. 然后解压缩tar -zxvf logstash-7.3.0.tar.gz
  3. cd 到 logstash-7.3.0
  4. 执行./bin/logstash-plugin install logstash-input-jdbc
  5. 执行./bin/logstash-plugin install logstash-output-elasticsearch
  6. cd到bin目录,并且创建config-mysql目录,然后在config-mysql目录中创建myslq.conf文件
  7. 在myslq.conf文件中配置一下内容
input {
    jdbc {
      jdbc_driver_library => "/usr/local/soft/logstash-7.3.0/mysql-connector-java-5.1.6.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_connection_string => "jdbc:mysql://ip地址:3306/数据库名?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
      jdbc_user => "用户名"
      jdbc_password => "密码"
      schedule => "* * * * *"
      statement => "select * from 要同步的表"
    }
}
output{
        elasticsearch {
          hosts => "127.0.0.1" #连接es的ip
          index => "mysqlindex" #索引
          document_id => "%{id}" # 与sql语句查出来的id一样
          document_type => "type"
  }
    stdout { codec => rubydebug }
}
  1. ./bin/logstash -f ./config-mysql/mysql.conf 启动

logstash实现Elasticsearch与mysql数据同步

相关标签: elasticsearch