Python实现的多进程拷贝文件并显示百分比功能示例

本文实例讲述了python实现的多进程拷贝文件并显示百分比功能。分享给大家供大家参考，具体如下：

centos7下查看cup核数：

# 总核数 = 物理cpu个数 x 每颗物理cpu的核数
# 总逻辑cpu数 = 物理cpu个数 x 每颗物理cpu的核数 x 超线程数
# 查看物理cpu个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
# 查看每个物理cpu中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq
# 查看逻辑cpu的个数
cat /proc/cpuinfo| grep "processor"| wc -l

本示例拷贝文件采用的是最简单的但是有最复杂的方式：

1，根据要拷贝的文件夹名称，创建一个新的文件夹用来存储文件

2，读取源文件夹下的文件内容，将其写入目的文件夹下同名的文件中

直接上代码：

# coding=utf-8
from multiprocessing import pool, manager
import os
import traceback
import time
def copyfiletask(name, oldfoldername, newfoldername, queue):
  """copy文件"""
  fr = open(oldfoldername+"/"+name)
  fw = open(newfoldername+"/"+name, "w")
  content = fr.read()
  fw.write(content)
  fr.close()
  fw.close()
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    # oldfoldername = input("请输入文件夹的名字：") # python3
    oldfoldername = raw_input("请输入文件夹的名字：") # python2
    # 1. 创建一个新的文件夹
    print 'mkdir new file ------'
    newfoldername = str(oldfoldername) + "-copy"
    # print(newfoldername)
    os.mkdir(newfoldername)
    # 2. 获取old文件夹中的所有的文件名字
    filenames = os.listdir(oldfoldername)
    # print(filenames)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = pool(5)
    # 创建一个队列
    queue = manager().queue()
    for name in filenames:
      pool.apply_async(copyfiletask, args=(name, oldfoldername, newfoldername, queue))
    pool.close() # 关闭进程池，不再接受请求
    pool.join() # 等待所有的子进程结束
    num = 0
    # 需要copy的文件总数
    allnum = len(filenames)
    while num < allnum:
      # 收数据
      queue.get()
      num += 1
      copyrate = float(num) / allnum
      # 打印copy的进度
      time.sleep(0.1) # 容易看出来打印百分比的变化，延长百分比更新的时间
      print "\rcopy的进度是:%.2f%%" % (copyrate*100),
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

下面采用python模块shutil模块进行copy操作：

# coding=utf-8
from multiprocessing import pool, manager
import os
import traceback
import time
import shutil
def copyfiletask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldfoldername = raw_input("请输入文件夹的名字：")
    print '要拷贝的源文件夹： ', oldfoldername
    # 1. 创建一个新的文件夹
    newfoldername = raw_input("请输入文件夹的名字：")
    print '目标文件夹：', newfoldername
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径： ", now_path
    old_path = os.path.join(now_path, oldfoldername)
    print '源文件夹路径： ', old_path
    new_path = os.path.join(now_path, newfoldername)
    print '目标文件夹路径： ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = pool(5) # 创建5条进程
    queue = manager().queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldfoldername):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量:：', len(files)
      s_t = time.time()
      for file in files:
        pool.apply_async(copyfiletask, args=(file, old_path, new_path, queue)) # 向进程池中添加任务
      pool.close() # 关闭进程池，不再接受请求
      pool.join() # 等待所有的子进程结束
      print '耗时：{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allnum = len(files)
      print 'len(filenames) = ', allnum
      while true:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyrate = float(num) / allnum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyrate*100),
        if num == allnum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

输出：（由于我的cup核数为1核，在使用多进程的过程中，操作系统在轮询的时候，频繁的切换任务，浪费时间导致多进程比单进程耗时更长。）

[root@centos7 mnt]# python copy_file_test.py
请输入文件夹的名字：hdfs
要拷贝的源文件夹：  hdfs
请输入文件夹的名字：test01
目标文件夹： test01
当前所在路径：  /mnt
源文件夹路径：  /mnt/hdfs
目标文件夹路径：  /mnt/test01
源文件夹下的文件数量:： 8165
耗时：253.655323982 秒
len(filenames) =  8165
copy的进度是:100.00%
copy success ------

单进程拷贝文件：

# coding=utf-8
from queue import queue
import os
import traceback
import time
import shutil
def copyfiletask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldfoldername = raw_input("请输入文件夹的名字：")
    print '要拷贝的源文件夹： ', oldfoldername
    # 1. 创建一个新的文件夹
    newfoldername = raw_input("请输入文件夹的名字：")
    print '目标文件夹：', newfoldername
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径： ", now_path
    old_path = os.path.join(now_path, oldfoldername)
    print '源文件夹路径： ', old_path
    new_path = os.path.join(now_path, newfoldername)
    print '目标文件夹路径： ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    queue = queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldfoldername):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量:：', len(files)
      s_t = time.time()
      # 调用函数拷贝文件
      for file in files:
        copyfiletask(file, old_path, new_path, queue)
      print '耗时：{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allnum = len(files)
      print 'len(filenames) = ', allnum
      while true:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyrate = float(num) / allnum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyrate*100),
        if num == allnum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

输出：

[root@centos7 mnt]# python copy_file_test_dan.py
请输入文件夹的名字：hdfs
要拷贝的源文件夹：  hdfs
请输入文件夹的名字：test02
目标文件夹： test02
当前所在路径：  /mnt
源文件夹路径：  /mnt/hdfs
目标文件夹路径：  /mnt/test02
源文件夹下的文件数量:： 8165
耗时：122.284090996 秒
len(filenames) =  8165
copy的进度是:100.00%
copy success ------

我的虚拟机cpu核数：1

如下：

[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores : 1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l
1

更多关于python相关内容感兴趣的读者可查看本站专题：《python文件与目录操作技巧汇总》、《python文本文件操作技巧汇总》、《python数据结构与算法教程》、《python函数使用技巧总结》、《python字符串操作技巧汇总》及《python入门与进阶经典教程》

希望本文所述对大家python程序设计有所帮助。