利用mysql8 数据库 往 solr 8里面导入数据 过程记录分享
程序员文章站
2022-06-11 10:47:02
...
第一次记录从mysql8 数据库里往solr 8 中导入数据
## 这里只是针对导入数据出现的问题 新建数据区的可以自行参看其他文章
如果用过mysql 5 往solr里导入数据的话 网上有很多的教程可以试验测试,这里的话我只是用mysql8 数据库往solr里导入数据 在此要十分感谢
[架构师速成记](https://i.snssdk.com/rogue/ugc/profile/?version_code=725&version_name=70205&user_id=2845250445&media_id=1618107708337165&request_source=1&active_tab=dongtai&device_id=65&app_name=news_article)
的耐心指导
- 准备所需文件:3个jar包 .1. mysql 8 的连接驱动jar包 :mysql-connector-java-8.0.11.jar 2.其他的两个jar包 就是 数据导入所需要用的jar包 这两个jar包可以从 D:\EVDownload\solr\solr-8.1.0\dist 下去找 然后导入到D:\EVDownload\solr\solr-8.1.0\server\solr-webapp\webapp\WEB-INF\lib (D:\EVDownload\solr 是我本地的文件夹 具体的看自己的)
- 可能出现的问题 mysql 驱动问题
- `` <?xml version="1.0" encoding="UTF-8" ?>
-
<dataConfig> <dataSource type="JdbcDataSource" driver="com.mysql.cj.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3310/mydemo?userSSL=true&useUnicode=true&characterEncoding=UTF8&useSSL=false&serverTimezone=GMT%2B8&allowPublicKeyRetrieval=true" user="root" password="root" /> <document> <entity name="emp" query="select * from emp"> <field column="id" name="id" /> <field column="empno" name="empno" /> <field column="ename" name="ename" /> <field column="job" name="job" /> <field column="mgr" name="mgr" /> <field column="hiredate" name="hiredate" /> <field column="sal" name="sal" /> <field column="comm" name="comm" /> <field column="deptno" name="deptno" /> </entity> </document> </dataConfig>``
主要是 连接驱动 如果是8.0 url 驱动 这么写 serverTimezone: 时区 allowPublicKeyRetrieval:公匙验证 这两个必须要这么写 并且不可少 要不然连接报错
-
5 设置 mysql8 数据库的innodb_buffer_pool_size = 1073741824 (1g) ; 具体看数据量的大小 来定
-
创建新表时将使用的默认存储引擎
default-storage-engine=INNODBinnodb_buffer_pool_size=1073741824
bind-address = 127.0.0.1
6 启动 solr 在windows上启动 solr时 需要指定启动内存 solr start -m 6g (大小看自己内存大小和数据量的大小来定 6g 不要分开) ;在linux上启动 solr start -m 6g -force
接下来的导入数据 方法和mysql 5 一样 的操作 按流程操作就行
上一篇: PHP 底层实现
下一篇: CATIA批量导入导出数据到EXCEL