sql server数据导到mysql数据库的环境配置
前段时间 尝试进行sqlserver数据库移植到mysql数据库 方案是 perl语言读取sqlserver 作相应的类型转换数据处理后 写入mysql 两个执行端和一个接收端 最终达到的速度是一千万级条数的表 大概5分钟内导入完毕 其中解决了乱码等问题 3G大小的数据库耗时半个小时
前段时间 尝试进行sqlserver数据库移植到mysql数据库
方案是 perl语言读取sqlserver 作相应的类型转换数据处理后 写入mysql
两个执行端和一个接收端
最终达到的速度是一千万级条数的表 大概5分钟内导入完毕 其中解决了乱码等问题
3G大小的数据库耗时半个小时
15G的耗时5个小时
整个流程如下:
首先是环境的配置和插件的安装。
首先是接收端
在一台linux系统的机子中
安装mysql
如果有地理坐标字段geo的话 mysql要用5.5以上的版本才行
CentOS6.4安装mysql5.6.14
然后 布置 执行端(可以在另外一台linux系统的机子上安装,也可以在装了mysql上的机子上安装)
因为这里我们会把数据库的表分成几份来跑数据,,所以 如果在sqlserver的读取和网速的瓶颈之内,执行端机子越多,速度越快。
CentOS安装perl
Perl安装DBDmysql操作mysql数据库
perl通过unixODBC连接SQLServer
最后安装handlersocket (因为handlersocket在接收端的机子和执行端的机子上都有安装步骤)
HandlerSocket简介及安装及卸载
上一篇: jsp读取数据库实现分页技术简析
推荐阅读
-
Linux下通过python访问MySQL、Oracle、SQL Server数据库的方法
-
.net(C#数据库访问) Mysql,Sql server,Sqlite,Access四种数据库的连接方式
-
Ruby中访问SQL Server数据库的配置实例
-
加载MySQL、Oracle、SQL Server 2000、SQL Server 2005及以上版本 的加载数据库驱动程序
-
asp 环境配置到mysql数据库增删改查
-
SQL Server 2016的数据库范围内的配置详解
-
常见数据库Sql Server,Oracle和MySQL的分页语句
-
常见数据库Sql Server,Oracle和MySQL的分页语句
-
在.NET Core类库中使用EF Core迁移数据库到SQL Server的方法
-
mac安装mysql数据库及配置环境变量的图文教程