Python实现网站文件的全备份和差异备份

之前有写利用md5方式来做差异备份，但是这种md5方式来写存在以下问题：

•md5sum获取有些软连接的md5值存在问题
•不支持对空目录进行备份，因为md5sum无法获取空目录的md5值
•权限的修改md5sum无法判断

解决方案：

利用文件的mtime ctime

mtime（modified time）是在写入文件时随文件内容的更改而更改的
ctime（create time）是在写入文件、更改所有者、权限或链接设置时随inode的内容更改而更改的
废话不多说直接上代码：

#!/usr/bin/env python
import time,os,sys,cpickle

fileinfo = {}

def logger(time,filename,status,filenum):
  f = open('backup.log','a')
  f.write("%s\t%s\t%s\t\t%s\n" % (time,filename,status,filenum))

def tar(sdir,ddir,filenum):
  command = "tar zcf %s %s >/dev/null 2>&1" % (ddir + ".tar.gz",sdir)
  if os.system(command) == 0:
    logger(time.strftime('%f %x'),ddir + ".tar.gz",'success',filenum)
  else:
    logger(time.strftime('%f %x'),ddir + ".tar.gz",'failed',filenum)

def fullbak(path):
  filenum = 0
  for root,dirs,files in os.walk(path):
    for name in files:
      file = os.path.join(root, name)
      mtime = os.path.getmtime(file)
      ctime = os.path.getctime(file)
      fileinfo[file] = (mtime,ctime)
      filenum += 1
  f = open(p,'w')
  cpickle.dump(fileinfo,f)
  f.close()
  tar(s,d,filenum)

def diffbak(path):
  for root,dirs,files in os.walk(path):
    for name in files:
      file = os.path.join(root,name)
      mtime = os.path.getmtime(file)
      ctime = os.path.getctime(file)
      fileinfo[file] = (mtime,ctime)

  if os.path.isfile(p) == 0:
    f = open(p,'w')
    f.close()

  if os.stat(p).st_size == 0:
    f = open(p,'w')
    cpickle.dump(fileinfo,f)
    filenum = len(fileinfo.keys())
    f.close()
    print filenum
    tar(s,d,filenum)
  else:
    f = open(p)
    old_fileinfo = cpickle.load(f)
    f.close()
    difference = dict(set(fileinfo.items())^set(old_fileinfo.items()))
    filenum = len(difference)
    print filenum

    difference_file = ' '.join(difference.keys())
    print difference_file

    tar(difference_file,d,filenum)
    f = open(p,'w')
    cpickle.dump(fileinfo,f)
    f.close()

def usage():
  print '''
    syntax: python file_bakcup.py pickle_file model source_dir filename_bk
      model: 1:full backup 2:differential backup

    example: python file_backup.py fileinfo.pk 2 /etc etc_$(date +%f)
      explain: automatically add '.tar.gz' suffix
  '''
  sys.exit()

if len(sys.argv) != 5:
  usage()

p = sys.argv[1]
m = int(sys.argv[2])
s = sys.argv[3]
d = sys.argv[4]

if m == 1:
  fullbak(s)
elif m == 2:
  diffbak(s)
else:
  print "\033[;31mdoes not support this mode\033[0m"
  usage()

测试：

$ python file_backup.py data.pk 1 data data_$(date +%f) #全备份
$ > data/www.jb51.net #测试创建文件，修改文件权限
$ chmod 777 data/py/eshop_bk/data.db
$ python file_backup.py data.pk 2 data data_$(date +%f)_1 #备份改变的文件
2
data/py/eshop_bk/data.db data/www.jb51.net

看了博主的代码，很受启发，但是有一个问题，如果我完成完整备份之后，删除了其中某个文件，再做差异备份，可以检测出被删除的文件，但是执行tar就会出错，因为这个文件已经是不存在的了，所以在执行tar之前，最好用os.path.exists()判断一下差异文件路径是否存在，如果不存在则不执行tar, 反馈一条文件删除信息。