mysql千万级数据如何做优化

mysql千万级数据怎么做优化

本帖最后由 demofere 于 2015-02-11 13:56:31 编辑

function insert(){
		global $m;
		if (!isset($_REQUEST['strs']) || !isset($_REQUEST['type'])
			 || !isset($_REQUEST['hash'])){
			echo 'param error';
			return;
		}

		//strs为所有字符串
		$poststr = $_REQUEST['strs'];

		$xstrs = json_decode(stripslashes($poststr), true);

		$type = $_REQUEST['type'];
		$hash = $_REQUEST['hash'];

		if (count($xstrs) 			$msg = 'str error';
			DsLog::errLog($msg.$poststr);
			echo $msg;
			return;
		}

		if ($type == '0'){
			$table = 'white';
		}
		else if($type == '1'){
			$table = 'black';
		}
		else{
			$msg = 'type error';
			DsLog::errLog($msg);
			echo $msg;
			return;
		}

        $strs = array();

		for($i = 0; $i             $strtmp = $xstrs[$i];
            $strtmp = trim($strtmp);
            $strtmp = strtolower($strtmp);
	    	$strtmp = addslashes($strtmp);
            if (strlen($strtmp) > 256){
				$strtmp = substr($strtmp, 0, 256);
			}
            if (strlen($strtmp) >= 7)
            {
                array_push($strs, $strtmp);
            }
	    }


		//拼接所有字符串
		$tmp = '("'.implode('","', $strs).'")';

		//获取已存在的字符串
		$sql = "select * from $table where str in $tmp";
		$ret = mysql_query($sql, $m);
		if (!$ret){
			$msg = 'exec error:'.mysql_error($m).','.$sql;
			DsLog::errLog($msg);
			echo $msg;
			return;
		}

		$exists = array();
		$notexists = array();
		$count = mysql_num_rows($ret);
		for ($i = 0; $i 		{
			$item = mysql_fetch_assoc($ret);
			if (!$item){
				break;
			}
			array_push($exists, $item['str']);
		}

		for ($i = 0; $i 			if (in_array($strs[$i], $exists)){
				continue;
			}

			array_push($notexists, $strs[$i]);
		}

		for($i = 0; $i 	    	$exists[$i] = addslashes($exists[$i]);
	    }
	    for($i = 0; $i 	    	$notexists[$i] = addslashes($notexists[$i]);
	    }

		if (count($exists) > 0){
			//更新已存在字符串的count字段
			$tmp = '("'.implode('","', $exists).'")';
			$time = date('YmdHi');
			$sql = "update $table set count=count+1 where str in $tmp";
			$ret = mysql_query($sql, $m);
			if (!$ret){
				$msg = 'exec error:'.mysql_error($m).','.$sql;
				DsLog::errLog($msg);
				echo $msg;
				return;
			}

			//更新已存在字符串的upd字段
			$sql = "update $table set upd='$time' where str in $tmp";
			$ret = mysql_query($sql, $m);
			if (!$ret){
				$msg = 'exec error:'.mysql_error($m).','.$sql;
				DsLog::errLog($msg);
				echo $msg;
				return;
			}
		}


		//插入新信息
		if (count($notexists) > 0){
			$time = date('YmdHi');
			$sql = "insert ignore into $table (str,hash,count, upd) values";
			for ($i = 0; $i 				$str = $notexists[$i];
				$crc = sprintf("%u", crc32($str));
				$sql .= "('$str','$crc','1', '$time'),";
			}

			$sql = substr($sql, 0, strlen($sql) - 1);
			$ret = mysql_query($sql, $m);
			if (!$ret){
				$msg = 'insert error:'.mysql_error($m).','.$sql;
				DsLog::errLog($msg);
				echo $msg;
				return;
			}
		}

		echo !!$ret;
	}

我现在要对字符串做统计，统计每个字符串的数量，就是类似一个map， 这符串：数量，当然，数据库顺便还保存了一下字符中的crc等信息
insert函数接收post过来的strs,这是一个字符串数组，每次post过来的字符串数量平均为1500
现在数据库里的记录1200W条，每一次insert花费的时间平均为20秒(经常出现30秒超时)
请问下各位，该怎么做优化，现在只是统计了很小一部分，预计统计完数据量大概在1-10亿条
------解决思路----------------------
你能确定瓶颈是在数据库做 查询 和 修改 的3条语句上吗？
你说 每次post过来的字符串数量平均为1500
那是指 1500 的单词吗？就算不是（是串长度）那么以平均每个单词20个字符计算，也有75个单词
你的过滤条件是 str in $tmp （str in ('xxx','xxx'....)）也就是对表中的每一条记录都要做 1500（75）次字符串比较，而命中率至多是1/1500（1/75）你认为这样做合适吗？
数据库的强项在于记录间的比较，而你却在做弱势的列间比较
你可以用传入的数据构造出一个临时表（每行一个单词），再去与主表关联操作。这样才能发挥数据库的优势

再有，你的连续 2 条 update 语句不能合并在一起吗？
------解决思路----------------------
1、mysql 有内存表，你并未使用
2、将两条 update 合并，应该能减少 10 秒
------解决思路----------------------
mysql_error这种库函数的效率也不高吧而且官方也不推荐，我几乎没有用过这种，我学PHP的时候，直接开始PDO的。

还有，你用了in这个关键字，好像它是不走索引的吧。
------解决思路----------------------

引用:

感觉效果差不多一样

应该是你测试环境的问题吧，联表查询大多数情况下是要比in快的
你测的结果差不多可能是如下原因
1.查询表的数据没有达到一定量
2.两种查询方式查出的结果集不同
3.查询字段未加索引或加的不对
4.被其他索引过多而影响
5.其他原因
我认为比较明显的就是第2个原因
你联表查时没有指定查询字段，联表出的字段肯定要比不连表的要多
还有联表查询会有一对多的情况，那样一条记录就会变成多条的，要加group by

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系[e-mail]核实处理。

相关文章

相关视频

---

• 详解win10下PHP的安装配置（以php5.6为...
• 一文详解Windows和Linux环境下怎么安装配...
• php Swoole实现毫秒定时计划任务（详解）
• 【DTM】PHP协程客户端v0.1 beta版本发...
• mysql千万级数据如何做优化

• css3 column-count用法
• php数组函数之array_count_values
• php数组函数之count
• php字符串函数之count_chars
• php字符串函数之str_word_count

网友评论

文明上网理性发言，请遵守 新闻评论服务协议

我要评论

立即提交

专题推荐

• 独孤九贱-php全栈开发教程

  全栈 170W+

  主讲：Peter-Zhu 轻松幽默、简短易学，非常适合PHP学习入门

• 玉女心经-web前端开发教程

  入门 80W+

  主讲：灭绝师太 由浅入深、明快简洁，非常适合前端学习入门

• 天龙八部-实战开发教程

  实战 120W+

  主讲：西门大官人 思路清晰、严谨规范，适合有一定web编程基础学习