用php写ftp爬虫 php ftp服务器 ftp php代码 phpstorm ft
程序员文章站
2022-04-05 20:20:29
...
今年选修了《英语电影赏析》,老师超级认真负责,课下作业简直******平均每天都要我们看一部电影,而且大部分都是那种狠文艺的7,80年前的,根本看不下去不说,网上还找不到。还好学习有个电影的ftp服务器,资源不少,就是分类比较乱,一个一个文件架找很麻烦,所以写了个小爬虫把资源全都弄下来,包括路径和文件名,以后就方便多了。
php有专门的ftp操做类,网上一搜一大把。基本的写在注释上面
记录下我这次遇到的几个问题:
1,获取目录名
之前都是用ftp_nlist()函数,但是目前的php改了,ftp_nlist()函数只列出文件,不列文件架名字。只能用ftp_rawlist(),这个就很详细,就像ls -al命令。所以用正则表达式把无关信息去掉,只留名字。这个不能判断文件名中有空格,空格前还是纯数字这种奇葩,o(︶︿︶)o 唉,也就我们学校能出现这种命名了。
preg_replace("/.+:*\\d+\\s/", "", $filename);2,校内网匿名访问
用户名Anonymous,密码空。如果连不上可能需要该链接方式。
3,测试过程中可能指定文件路径,中文可能找不到,这时试试utf-8, gbk, ansi编码
4,在虚拟机xp上搭建ftp服务器测试,ip地址别写错了,囧~
5,php运行时间,我们学校服务器东西还真不少,各种乱七八糟的视频,默认30秒根本不够用,临时改变php执行时间,set_time_limit(0);//不限时
最后跑出来443kb的文本,汗~
贴代码: