如何利用Golang解析读取Mysql备份文件

前言

前期误操作，导致数据库表删除，虽然数据量不多，但是通过binlog恢复比较麻烦，通过备份文件来恢复，备份文件达36个g打开都是问题；

使用备份文件恢复

大文件编辑器，glogg-latest-x86_64-setup通过该文件打开备份文件，虽然过程稍慢，但是能够打开，且正常读取编辑信息，要恢复的数据量不大时采取是没问题的，但是如果表几十万行，操作起来就比较麻烦了；

golang读取备份文件

采用golang读取，借助编程语言的优势来读取备份，经过测试读取指定备份文件（约36gb）表，大约需要12min，其实主要就是读取遍历备份文件的过程；

**
* @author: ws
* @file: main
* @date: 2019/11/16 0016 14:35
* @remark: 
*/
var(
 _insert_into="insertinto${table}values"
 _dir="temp"
)
var table_car="t_scm_car"

func readsqlfile(){
 t1 := time.now() // get current time
 f, err := os.open("e:\\update\\crm_20191112_210001.sql\\crm_20191112_210001.sql")
 defer f.close()
 if err != nil {
 }
 buf := bufio.newreader(f)
 nfs:=gettxtfile(table_car)
 for {
  s, err := buf.readstring('\n')
  if(err!=nil){
   logger.error(err.error())
   break
  }
  if err == nil {
   if s==""{
    continue
   }
   sqlstr:=getsqlstr(s,table_car)
   if(sqlstr!=""){
    nfs.write([]byte(sqlstr))
   }
  }
 }
 elapsed := time.since(t1)
 fmt.println("app elapsed: ", elapsed)
}
/**
调整验证每一行数据的格式化，并与预设是否一致，如果一致则读取加载到
 */
func getsqlstr(sqlstr,tablename string)string{
 var realtablename=strings.replace(_insert_into,"${table}",tablename,-1)
 replaceemptystr:=strings.replace(sqlstr," ","",-1)
 temps:=strings.toupper(strings.replace(replaceemptystr,"`","",-1))
 if(len(temps)>=len(realtablename)) {
  tabname := temps[0:len(realtablename)]
  if (tabname ==realtablename) {
   return sqlstr
  }
 }
 return ""
}

/**
打开txt文件
 */
func gettxtfile(filename string)os.file{
 txtfile:=createtofile(fmt.sprintf("%v/%v.txt",_dir,filename))
 nfs, err := os.openfile(txtfile.name(), os.o_append |os.o_rdwr|os.o_create, 0644)
 if err != nil {
  logger.error(fmt.sprintf("打开文件失败:%v",err.error()))
 }
 defer nfs.close()
 nfs.seek(0, io.seekend)
 return *nfs
}


func readline(r *bufio.reader) (string, error) {
 line, isprefix, err := r.readline()
 for isprefix && err == nil {
  var bs []byte
  bs, isprefix, err = r.readline()
  line = append(line, bs...)
 }
 return string(line), err
}

func createtofile(filename string)os.file{
 _, err := os.stat(_dir)
 if err == nil {
 }
 if os.isnotexist(err) {
  os.mkdirall(_dir, os.modeperm)
 }
 newfile, err := os.create(filename)
 if err != nil {
  logger.error(fmt.sprintf("文件创建失败:%v",err.error()))
 }
 defer func() {
  newfile.close()
 }()
 newfile.writestring("\xef\xbb\xbf") // 写入utf-8 bom，防止中文乱码
 return *newfile
}

func main() {
 readsqlfile()
}

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对的支持。