elasticsearch同步插件logstash

阅读数:108 评论数:0

跳转到新版页面

分类

应用软件

正文

一、简介

logstash是一款轻量级的日志搜集处理框架，可以方便把分散的。多样化的日志搜集起来，并进行自定义处理，传输到指定的位置，比如某个服务器或者文件。

二、数据库同步

写一个mysql.conf的自定义同步文件，再将mysql驱动包复制来。

input {
  jdbc {
	  # mysql jdbc connection string to our backup databse 这里写数据库地址
	  jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/tensquare_article?characterEncoding=utf8&allowMultiQueries=true&useSSL=false&&serverTimezone=Asia/Shanghai"
	  # the user we wish to excute our statement as 数据库用户名 密码
	  jdbc_user => "root"
	  jdbc_password => "root"
	  # the path to our downloaded jdbc driver  驱动的目录，全路径
	  jdbc_driver_library => "G:\SJFW\logstash-5.6.8\mysqletc\mysql-connector-java-5.1.46.jar"
	  # the name of the driver class for mysql
	  jdbc_driver_class => "com.mysql.jdbc.Driver"
	  # true-分页 false-不分页
	  jdbc_paging_enabled => "true"
	  jdbc_page_size => "50"
	  #以下对应着要执行的sql的绝对路径。由于本功能需要的sql不复杂，所以直接在下面写语句
	  #statement_filepath => ""
	  #以下对应着要执行的sql语句。
	  statement => "SELECT id,title,content,state FROM tb_article"
	  #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
	  schedule => "* * * * *"
  }
}

output {
  elasticsearch {
	  #ESIP地址与端口
	  hosts => "127.0.0.1:9200" 
	  #ES索引名称（自己定义的）
	  index => "tensquare_article"
	  #自增ID编号 %{id}这样写就是上面sql语句中的id 
	  document_id => "%{id}"
	  document_type => "article"
  }
  stdout {
      #以JSON格式输出
      codec => json_lines
  }
}