欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

如何利用Golang解析读取Mysql备份文件

程序员文章站 2023-02-17 17:06:39
前言 前期误操作,导致数据库表删除,虽然数据量不多,但是通过binlog恢复比较麻烦,通过备份文件来恢复,备份文件达36个g打开都是问题; 使用备份文件恢复 大文件编辑器...

前言

前期误操作,导致数据库表删除,虽然数据量不多,但是通过binlog恢复比较麻烦,通过备份文件来恢复,备份文件达36个g打开都是问题;

使用备份文件恢复

大文件编辑器,glogg-latest-x86_64-setup通过该文件打开备份文件,虽然过程稍慢,但是能够打开,且正常读取编辑信息,要恢复的数据量不大时采取是没问题的,但是如果表几十万行,操作起来就比较麻烦了;

golang读取备份文件

采用golang读取,借助编程语言的优势来读取备份,经过测试读取指定备份文件(约36gb)表,大约需要12min,其实主要就是读取遍历备份文件的过程;

**
* @author: ws
* @file: main
* @date: 2019/11/16 0016 14:35
* @remark: 
*/
var(
 _insert_into="insertinto${table}values"
 _dir="temp"
)
var table_car="t_scm_car"

func readsqlfile(){
 t1 := time.now() // get current time
 f, err := os.open("e:\\update\\crm_20191112_210001.sql\\crm_20191112_210001.sql")
 defer f.close()
 if err != nil {
 }
 buf := bufio.newreader(f)
 nfs:=gettxtfile(table_car)
 for {
  s, err := buf.readstring('\n')
  if(err!=nil){
   logger.error(err.error())
   break
  }
  if err == nil {
   if s==""{
    continue
   }
   sqlstr:=getsqlstr(s,table_car)
   if(sqlstr!=""){
    nfs.write([]byte(sqlstr))
   }
  }
 }
 elapsed := time.since(t1)
 fmt.println("app elapsed: ", elapsed)
}
/**
调整验证每一行数据的格式化,并与预设是否一致,如果一致则读取加载到
 */
func getsqlstr(sqlstr,tablename string)string{
 var realtablename=strings.replace(_insert_into,"${table}",tablename,-1)
 replaceemptystr:=strings.replace(sqlstr," ","",-1)
 temps:=strings.toupper(strings.replace(replaceemptystr,"`","",-1))
 if(len(temps)>=len(realtablename)) {
  tabname := temps[0:len(realtablename)]
  if (tabname ==realtablename) {
   return sqlstr
  }
 }
 return ""
}

/**
打开txt文件
 */
func gettxtfile(filename string)os.file{
 txtfile:=createtofile(fmt.sprintf("%v/%v.txt",_dir,filename))
 nfs, err := os.openfile(txtfile.name(), os.o_append |os.o_rdwr|os.o_create, 0644)
 if err != nil {
  logger.error(fmt.sprintf("打开文件失败:%v",err.error()))
 }
 defer nfs.close()
 nfs.seek(0, io.seekend)
 return *nfs
}


func readline(r *bufio.reader) (string, error) {
 line, isprefix, err := r.readline()
 for isprefix && err == nil {
  var bs []byte
  bs, isprefix, err = r.readline()
  line = append(line, bs...)
 }
 return string(line), err
}

func createtofile(filename string)os.file{
 _, err := os.stat(_dir)
 if err == nil {
 }
 if os.isnotexist(err) {
  os.mkdirall(_dir, os.modeperm)
 }
 newfile, err := os.create(filename)
 if err != nil {
  logger.error(fmt.sprintf("文件创建失败:%v",err.error()))
 }
 defer func() {
  newfile.close()
 }()
 newfile.writestring("\xef\xbb\xbf") // 写入utf-8 bom,防止中文乱码
 return *newfile
}

func main() {
 readsqlfile()
}

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。