Python将json文件写入ES数据库的方法
程序员文章站
2022-04-30 10:28:22
1、安装elasticsearch数据库
ps:在此之前需首先安装java se环境
下载elasticsearch-6.5.2版本,进入/elasticsearch-...
1、安装elasticsearch数据库
ps:在此之前需首先安装java se环境
下载elasticsearch-6.5.2版本,进入/elasticsearch-6.5.2/bin目录,双击执行elasticsearch.bat 打开浏览器输入 显示以下内容则说明安装成功
安装head插件,便于查看管理(还可以用kibana)
首先安装nodejs(下载地址)
再下载elasticsearch-head-master
包解压到/elasticsearch-6.5.2/下(链接: https://pan.baidu.com/s/1q3kokfhpuj2q3otpgu7ldg
提取码: 1rpp
修改配置文件elasticsearch-6.5.2\config\elasticsearch.yml如下:
进入elasticsearch-head-master目录下执行npm install -g grunt-cli,再执行npm install安装依赖
在elasticsearch-head-master
目录下找到gruntfile.js文件修改服务器监听地址如下:
执行grunt server命令启动head服务
访问地址 即可访问head管理页面
2、将json文件写入es数据库(py脚本如下)
# -*- coding: utf-8 -*- from itertools import islice import json , sys from elasticsearch import elasticsearch , helpers import threading _index = 'indextest' #修改为索引名 _type = 'string' #修改为类型名 es_url = 'http://192.168.116.1:9200/' #修改为elasticsearch服务器 reload(sys) sys.setdefaultencoding('utf-8') es = elasticsearch(es_url) es.indices.create(index=_index, ignore=400) chunk_len = 10 num = 0 def bulk_es(chunk_data): bulks=[] try: for i in xrange(chunk_len): bulks.append({ "_index": _index, "_type": _type, "_source": chunk_data[i] }) helpers.bulk(es, bulks) except: pass with open(sys.argv[1]) as f: while true: lines = list(islice(f, chunk_len)) num =num +chunk_len sys.stdout.write('\r' + 'num:'+'%d' % num) sys.stdout.flush() bulk_es(lines) if not lines: print "\n" print "task has finished" break
总结
以上所述是小编给大家介绍的python将json文件写入es数据库的方法,希望对大家有所帮助