欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

php程序优化求建议,执行速度太慢

程序员文章站 2022-04-20 22:09:33
...
本帖最后由 zhuzhaodan 于 2013-06-12 18:06:26 编辑 现有 四级词库4000单词txt文档,格式如下
accent n.口音,腔调;重音
acceptable a.可接受的,合意的
acceptance n.接受,验收;承认
access n.接近;通道,入口
accessory n.同谋,从犯;附件
accident n.意外的;事故
accidental a.偶然的;非本质的

现要把英汉分离后分别插入mySQL数据库内,代码如下
$v){		if(preg_match('/[a-zA-Z]/',$v))//有的行是标题之类的,不是英汉对照,判断后不加到数组a里面			$a[$k] = trim($v);//因为有换行符,去掉	}	$b = array();//2维数组,$b[n][0]为英文,$b[n][1]为释义	foreach($a as $k=>$v){//把a数组的英汉分离,填充到b数组的第二维内		preg_match('/([a-zA-Z]*)\s(.*)/',$v,$matches);//正则英汉分离,matches[1]是英文,matches[2]是释义中文		$b[$k][0] = $matches[1];		$b[$k][1] = $matches[2];	}	$dsn = 'mysql:host=localhost;dbname=test1';	$db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'));	foreach($b as $k=>$v){//插入数据库		$db->exec("INSERT INTO siji (en,cn) VALUES ('$v[0]','$v[1]')");//数据库3个字段,id,en是英文,cn是中文	}		}


程序执行时间2分钟左右,求优化建议~我自己感觉正则那部分应该优化不了多少,主要感觉插进数据库这里费时太多,各位高人有方法请不吝赐教,现在程序执行完毕需要 120秒,希望最终优化后能到10秒内,谢谢,4级词库一共才4000对词组,120秒太长了

最终效果图:


高人们,因为我比较新手,所以不管从代码上,还是整体思路上都使这个程序运行缓慢,求优化建议,特别是 数据库这里,还有 数组这里,或者有 更好的办法。100分在这里,谢谢!

回复讨论(解决方案)

不一定能满足要求,但肯定比你的快

$ar = array_map('trim', file('siji.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES ));foreach($ar as $v){  preg_match('/([a-zA-Z]*)\s(.*)/', $v, $r);  if(isset($r[2])) $b[] = "('$r[1]','$r[2]')";}$dsn = 'mysql:host=localhost;dbname=test1';$db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'));$db->exec('INSERT INTO siji (en,cn) VALUES ' . join(',', $b));

说一说我的想法,
也不知道效率怎么样,
不用数组,也不用循环。
首先用 file_get_contents 将文件读取为字符串,
然后 preg_replace 直接将整个字符串格式化为一个多语句sql,
接着执行一次就行了。

内存表 一次性写入数据库

1、将内容格式化成一个类似#1的插入sql语句,保存成*.sql
2、直接用mysql将上面的*.sql导入,php可以用exec

内存表 一次性写入数据库
求详解

mysql有个多行insert语句, 很多行集成到一个SQL语句, 效率比一行一条SQL语句高很多.
格式如下:
inser into (...) values (...),(...),...

不好意思, 上面insert少了个t
MySQL 的导出语句格式都是用多行insert. 导入速度很快. 一般一条语句2000行记录没问题

如果你的数据文件中的行都符合你示例的格式,那么就可以直接使用 MySQL 指令

LOAD DATA local INFILE '/路径/siji.txt' INTO TABLE siji  FIELDS TERMINATED BY ' ' (en, cn);

不一定能满足要求,但肯定比你的快

$ar = array_map('trim', file('siji.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES ));foreach($ar as $v){  preg_match('/([a-zA-Z]*)\s(.*)/', $v, $r);  if(isset($r[2])) $b[] = "('$r[1]','$r[2]')";}$dsn = 'mysql:host=localhost;dbname=test1';$db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'));$db->exec('INSERT INTO siji (en,cn) VALUES ' . join(',', $b));


我考虑了一下,用了预处理语句参数绑定
	$start = microtime(true);	$stmt = $db->prepare('INSERT INTO siji (en,cn) VALUES (:en,:cn)');	$stmt->bindParam(':en',$en);	$stmt->bindParam(':cn',$cn);	foreach($b as $k=>$v){//插入数据库		$en = $v[0];		$cn = $v[1];		$stmt->execute();//数据库3个字段,id,en是英文,cn是中文	}	echo microtime(true)-$start;//127秒

对比原来的代码
$start = microtime(true);	foreach($b as $k=>$v){//插入数据库		$db->exec("INSERT INTO siji (en,cn) VALUES ('$v[0]','$v[1]')");//数据库3个字段,id,en是英文,cn是中文	}	echo microtime(true)-$start;//116秒

居然还慢了11秒,不是说一样类型的语句,编译成sql模板后速度会提升么,为什么这里下降啊??太奇怪!

使用参数绑定时,PDO::quote(转义特殊字符)始终都会被执行,并不理会你的数据实际并不包含特殊字符
多出来的时间就是 PDO::quote 的执行时间

如果你总是单条插入,那么无论如何都不会“高速”运行的

居然还慢了11秒,不是说一样类型的语句,编译成sql模板后速度会提升么,为什么这里下降啊??太奇怪!
预编译的提升原理在于节省了编译本身的时间,你觉得一个简单的insert编译需要时间吗?

内存表 一次性写入数据库

感觉MySQL还是弱,貌似没有类似SQLServer的bulkCopy功能,SQLBulkCopy批量插入几万条数据也是瞬间的事
“内存表 一次性写入数据库”,具体怎么实现,跪求详解啊

连接成一个SQL语句再执行,速度会快很多的