欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

FTP自动上传文件的perl脚本以及配置文件

程序员文章站 2022-03-22 13:22:15
本应用程序设计的几个基本理念是:工具箱再利用:尽可能利用已有的工具;简化运行步骤;不引入过多的业务逻辑,满足的需求越简单越好。 所以,我们定义了本应用程序依赖于以下几...

本应用程序设计的几个基本理念是:
工具箱再利用:尽可能利用已有的工具;
简化运行步骤;不引入过多的业务逻辑,满足的需求越简单越好。

所以,我们定义了本应用程序依赖于以下几个工具的运行:
activeperl-5.8.4.810-mswin32-x86
upload.pl
upload.config

我们将主要的执行逻辑都放在perl源文件upload.pl中了,配置文件为upload.config。

这个perl文件将执行的任务是, 按照指定的文件夹目录,自动将该文件夹下的所有文件上传到指定ftp站点的指定目录下。

这个perl脚本实际是从uwe keim 的《perl script for uploading modified files to a ftp-server》继承下来的,
只不过增加了容错反应和读取外部配置文件的部分,刨掉了与一般业务逻辑无关的读写access文件的部分。

程序大致的流程:
第一步,尝试登陆ftp站点;
第二步,在指定文件夹a类下寻找符合条件的文件,并将a类文件上传到ftp站点指定目录下;
第三步,如果a类文件们全部上传成功,那么在指定文件夹b类下寻找指定文件, 并且上传到ftp指定目录下
第四步,写成功/失败日志。

最后,要写的成功/失败日志的格式如下:
成功: 生成一个名为“upload_succ_2005_01_04_17_23.log”的日志文件
文件格式:输出上传时间,以及所有上传文件名及其大小和耗费的时间。
失败: 生成一个名为“upload_fail_2005_01_04_17_23.log”的日志文件
文件格式:输出上传时间,以及已经上传的文件名及其大小和耗费的时间,和失败的文件名及原因。

配置perl脚本运行有两个办法:
您可以在windows计划任务中配置运行“perl upload.pl”的时间,这需要在windows环境中配置activeperl 5.8.4.810;
您也可以利用perl2exe(p2x-8.40-win32)来将perl脚本编译为一个exe可执行程序,在计划任务中运行这个exe(这需要perlcrt.dll在系统路径下)。

[注意!]在运行之前,您必须修改“upload.config”文件以配置所需的重要参数。
外部配置参数

在和perl脚本同一目录下的“upload.config”配置文件中,是事先配置的六个外部参数:
参数1: ftp_server:
ftp服务器的ip地址。

参数2: ftp_dir:
指定的ftp上传目录路径;

参数3: ftp_uid:
ftp的登陆用户名;

参数4: ftp_pw:
ftp的登陆密码;

参数5: src_dir_wavfiles,这是一个数组:
指定a类文件夹,放置所有要上传的语音文件;
注意:这个目录下的子文件夹也会被上传。

参数6: src_dir_nameslistfile,这是一个数组:
指定b类文件夹,放置b类文件.
注意:这个目录下的子文件夹也会被上传。

附录:
upoad.pl内容:

复制代码 代码如下:

#!/usr/bin/perl -w
##--------------------------------
#
# 工程项目: ftp自动上传两类文件
#
# 模块名称: ftpautoupload
#
# 模块任务: 按照指定的文件夹目录,自动将该文件夹下的所有文件上传到指定ftp站点的指定目录下
#
# 程序名称:     upload.pl
#
##-------------------------------
##---------------------------#
## 引用的库声明 2
#use strict;
use file::copy;
use file::stat;
use file::find;
use net::ftp;
use date::pcalc qw(delta_dhms);
use date::parse;
use win32::ole;
use win32::ole::variant;
##---------------------------#
##---------------------------#
## 引用的库声明 1
#- 读取ini配置文件的库
use config::inifiles;
my $cfg = config::inifiles->new( -file => "upload.config" );
##---------------------------#
##---------------------------#
## 从配置文件读取外部参数 ##
##
## ftp服务器的ip地址 ##
$ftp_server    = $cfg->val('ftpserver', 'ftp_server') || '';
## 指定的ftp上传目录路径 ##
#! 切记:文件夹最后不要加"/"符号 !#
$ftp_dir    = $cfg->val('ftpserver', 'ftp_dir') || '';
## ftp的登陆用户名 ##
$ftp_uid   = $cfg->val('ftpserver', 'ftp_uid') || '';
## ftp的登陆密码 ##
$ftp_pw     = $cfg->val('ftpserver', 'ftp_pw') || '';
## 指定文件夹“语音文件”,放置所有要上传的语音文件 ##
#! 切记:文件夹最后不要加"\\"符号 !#
@src_dir_wavfiles = $cfg->val('srcdirectory', 'src_dir_wavfiles');
## 指定文件夹“命名对照列表文件txt”,放置命名对照列表文件 ##
#! 切记:文件夹最后不要加"\\"符号 !#
@src_dir_nameslistfile = $cfg->val('srcdirectory', 'src_dir_nameslistfile');
## 一个字符串集合,表明哪些类型的文件/文件夹将不被上传到服务器 ##
@wc_exclude   = ("_vti",".mdb","\\bak","\\data","server.inc");
##---------------------------#
##---------------------------#
## 记录全部过程的日志文件准备
$logfilename = 'upload.log';
$log_cnt = 0;
log("");
log("自动上传ftp文件 version 0.1");
log("");
log("用法: perl upload.pl");
log("");
##---------------------------#
##---------------------------#
##=== 程序执行的第一步:尝试登陆ftp站点 ==========================##
##  $total_files是上传文件的数目
$total_files = 0;
##  $processed_files是已上传文件的数目
$processed_files = 0;
##  $skipped_files是跳过文件的数目
$skipped_files = 0;
##  $start_date计算出当前开始的时间
$start_date = timestring(time);
## $g_nuploadsuccess代表是否已经完全上传,-1为不是,1为是:
my $g_nuploadsuccess = 1;
## $g_nisallwavsfile_uploadsuccess代表是否已经完全将a类文件上传,-1为不是,1为是:
my $g_nisallwavsfile_uploadsuccess = 1;
## $g_strlasterror代表上次错误原因:
my $g_strlasterror = "";
log("正在链接至指定ftp服务器($ftp_server)...");
$ftp = net::ftp->new($ftp_server);
if($@)
{
 $g_strlasterror = "不能连接到ftp服务器,错误原因:".$@;
 log("$g_strlasterror@\n");
 $g_nuploadsuccess = -1;
}
else
{
 $ftp->login($ftp_uid, $ftp_pw);
 if($@)
 {
  $g_strlasterror = "不能登陆ftp服务器,错误原因:".$@;
  log("$g_strlasterror\n");
  $g_nuploadsuccess = -1;
 }
 else
 {
  $ftp->binary;
  log("链接ftp服务器成功!");
##---------------------------#
##---------------------------#
##=== 程序执行的第二步,将指定a类文件夹下所有a类文件上传到ftp站点指定目录下 ===##
  my %lookup;
  log("准备上传“a类文件”目录(@src_dir_wavfiles)下的所有文件!");
  find(\&processfiles, @src_dir_wavfiles);
  log("目录(@src_dir_wavfiles)已经处理完毕,结果是:");
##---------------------------#
##=== 程序执行的第三步,将指定b类文件夹下b类文件上传到ftp站点指定目录下 ===##
  if($g_nisallwavsfile_uploadsuccess > 0)
  {
   log("+===============================+");
   log("准备上传b类目录(@src_dir_nameslistfile)下的所有文件!");
   find(\&processfiles, @src_dir_nameslistfile);
   log("目录(@src_dir_nameslistfile)已经处理完毕,结果是:");
   log("-===============================-");
  }
  else
  {
   log("-===============================-");
   log("由于a类文件目录并没有完全上传,所以本b类文件不上传!");
   log("-===============================-");
  }
##---------------------------#
##---------------------------#
# 日志文件的最后是一个统计报告
  $span = calcdeltaseconds($start_date,timestring(time));
  log("上传结果:成功。\n花费:$span 秒, 总共处理了 $total_files 个文件, 其中 $processed_files 上传成功, 跳过了 $skipped_files 个文件。");
  $ftp->quit()         or warn "unable to quit: $@\n";
 }
 closelogfile();
}
##---------------------------#
##---------------------------#
##=== 程序执行的第四步,写成功日志 ===============================##
if($g_nisallwavsfile_uploadsuccess > 0 && $g_nuploadsuccess > 0)
{
 $logfilename = 'upload_succ_'.shorttimestring(time).'.log';
 $log_cnt = 0;
 log("");
 log("ftp自动上传文件 version 0.1");
 log("");
 log("上传结果:成功。\n花费:$span 秒, 总共处理了 $total_files 个文件, 其中 $processed_files 上传成功, 跳过了 $skipped_files 个文件。");
 log("");
 closelogfile();
}
##---------------------------#
##---------------------------#
##=== 程序执行的第四步,写失败日志 ===============================##
if($g_nisallwavsfile_uploadsuccess < 0 || $g_nuploadsuccess < 0)
{
 $logfilename = 'upload_fail_'.shorttimestring(time).'.log';
 $log_cnt = 0;
 log("");
 log("ftp自动上传文件 version 0.1");
 log("");
 log("上传结果:失败。失败原因:$g_strlasterror。\n花费:$span 秒, 总共处理了 $total_files 个文件, 其中 $processed_files 上传成功, 跳过了 $skipped_files 个文件。");
 log("");
 closelogfile();
}
##---------------------------#
## 以下是子函数体的定义
##----------------------------##
##
## 函数名称:processfiles
## 功能:  
##           得到指定文件夹下的所有文件以及子文件夹,然后依次处理它们。
##
## 程序员:  uwe keim
##
## 历史记录:
## 编号     日期       作者    备注
## 1        2000       uwe keim

##
##----------------------##
sub processfiles
{
 my $srcdir = fstobs($file::find::dir);
 my $srcpath = fstobs($file::find::name);
 my $base = fstobs($file::find::topdir);
 foreach my $exclude (@wc_exclude) {
  if ( index($srcpath, $exclude)>-1 ) {
   $file::find::prune = 1 if -d $srcpath;
   return;
  }
 }
 # no direct processing of directories.
 if ( -d $srcpath ) {
  return;
 }
 my $dstdir = $srcdir;
 my $dstpath = $srcpath;
 $dstdir =~ s{\q$base\e}{$ftp_dir}is;
 $dstpath =~ s{\q$base\e}{$ftp_dir}is;
 $dstdir = bstofs($dstdir);
 $dstpath = bstofs($dstpath);
 processfile($srcpath,$dstpath,$dstdir);
}
sub processfile
{
 my ($src,$dst,$dstdir) = @_;
 $total_files++;
 log("正在处理文件 $total_files \"$src\"...");
 # --------------------
 # check time.
 my $need_upload = 0;
 # create time.
 my $t1 = $lookup{$src};
 my $t2 = timestring(stat($src)->mtime);
 if ( not defined $t1 ) {
  $lookup{$src} = $t2;
  $need_upload = 1;
 } else {
  my $delta_sec = calcdeltaseconds($t1,$t2);
  $need_upload = 1 if $delta_sec>5;     # 5 seconds as tolerance.
 }
 # --------------------
 if ( $need_upload>0 ) {
  $processed_files++;
  log("正在上传文件:从源 \"$src\" 到目标 \"$dst\"...");
  $ftp->mkdir($dstdir,1);
  $ftp->put($src, $dst) or  $g_nisallwavsfile_uploadsuccess=-1;
  if($g_nisallwavsfile_uploadsuccess < 0)
  {
   log("不能上传文件:从源 \"$src\" 到目标 \"$dst\" (dst-dir: \"$dstdir\")。\n");
   if($@)
   {
    log("错误原因是:$@\n");
   }
  }
 } else {
  $skipped_files++;
 }
}
sub bstofs {
 my ($s) = @_;
 $s =~ s/\\/\//gis;
 return $s;
}
sub fstobs {
 my ($s) = @_;
 $s =~ s/\//\\/gis;
 return $s;
}
sub timestring {
 my ($tm) = @_;
 my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime($tm);
 return sprintf("%04d-%02d-%02d %02d:%02d:%02d", $year+1900, $mon+1, $mday, $hour, $min, $sec);
}
sub shorttimestring {
 my ($tm) = @_;
 my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime($tm);
 return sprintf("%04d_%02d_%02d_%02d_%02d", $year+1900, $mon+1, $mday, $hour, $min);
}
# input dates as string "yyyy-mm-dd hh:mm:ss".
# earlier as first parameter, later as second.
sub calcdeltaseconds {
 my ($t1,$t2) = @_;
 my ($year1,$month1,$day1,$hh1,$mm1,$ss1) = scandate($t1);
 my ($year2,$month2,$day2,$hh2,$mm2,$ss2) = scandate($t2);
 my ($days, $hours, $minutes, $seconds) = delta_dhms(
  $year1, $month1, $day1, $hh1, $mm1, $ss1,     # earlier.
  $year2, $month2, $day2, $hh2, $mm2, $ss2);    # later.
 return $seconds + $minutes*60 + $hours*60*60 + $days*60*60*24.
}
sub removefilename {
 my ($s) = @_;
 my $pos = rindex($s,'\\');
 return substr($s, 0, $pos);
}
# format: "2000-09-29 09:09:51".
sub scandate {
 my ($date) = @_;
 my ($year, $month, $day, $hour, $minute, $seconds);
 $year   = substr($date, 0, 4);
 $month  = substr($date, 5, 2);
 $day   = substr($date, 8, 2);
 $hour   = substr($date, 11, 2);
 $minute  = substr($date, 14, 2);
 $seconds = substr($date, 17, 2);
 return ($year, $month, $day, $hour, $minute, $seconds);
}
sub log {
 my ($text) = @_;
 my $time = timestring time;
 # log to stdout.
 print "[$time] $text\n";
 # log to logfile.
 my $log_step = 10;
 flushlogfile() if ($log_cnt % $log_step)==0 or $log_cnt==0;
 $log_cnt++;
 print hlog "[$time] $text\n";
}
sub openlogfile {
 closelogfile();
 open(hlog,">>$logfilename") or die("打开日志文件出错:文件名为 $logfilename ;错误原因为: $!");
};
sub closelogfile {
 close hlog if defined hlog;
}
sub flushlogfile {
 closelogfile();
 openlogfile();
}
附录:
upoad.config内容:
## 配置的外部参数 ##
##
[ftpserver]
#- ftp服务器的ip地址 -#
ftp_server   =
#- 指定的ftp上传目录路径 -#
#! 切记:文件夹最后不要加"/"符号 !#
ftp_dir       =
#- ftp的登陆用户名 -#
ftp_uid    =
#- ftp的登陆密码 -#
ftp_pw    =
## 配置的外部参数 ##
##
[srcdirectory]
#- 指定文件夹“语音文件”,放置所有要上传的语音文件 -#
#! 切记:文件夹最后不要加"\"符号 !#
src_dir_wavfiles  =
#- 指定文件夹“命名对照列表文件txt”,放置命名对照列表文件 -#
#! 切记:文件夹最后不要加"\"符号 !#
src_dir_nameslistfile =