欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

记一次读取数据的经历

程序员文章站 2022-06-01 20:22:27
...

Experience

一个研究生同学因为学习需要,想提取一个网站的数据,然后把这些数据都放入excel当中。

刚开始我很不在意,以前什么样的爬虫没见过,这次不过是要把数据放入excel中而已。

于是我在网上找到一个结合php生成excel的工具——PHPExcel

然后写了一个简单的程序,结果!!!失败了= =

 

遇到的问题

1.需要读取的数据太多,一共1400多个网页需要读取(也许我太笨,没找到一次读取数据的接口)。

2.那个网站的服务器太差,打开一个网页需要很长时间,而且经常出现请求超时的情况。

3.上面找的那个生成excel的工具不适合读取这么多的数据。

 

解决办法

1.关于生成excel。我看了一下phpmyadmin,找到了一个将数据库导出为excel的功能,而且导出的速度很快,于是我打算先把数据写入mysql中。

2.针对请求超时。刚开始每次超时我都重新运行一下程序,这样做实在太浪费时间了。于是我在程序中,每次超时都重新读取一次网页,最多读3次,否则在数据库中写入空的数据,然后读下一个网页。结果发现,这样做的成功率几乎是100%。

<?php
//避免程序运行30秒后停止
ini_set('max_execution_time', '0');		
header("content-Type: text/html; charset=utf8");

//连接数据库
$conn=mysql_connect("localhost","root","")or die("连接错误");
mysql_select_db("newdb",$conn);
mysql_query("set names 'utf8'");

//读取网页超时时间
$opts = array(   
  'http'=>array(   
    'method'=>"GET",   
    'timeout'=>15,//单位秒  
   )   
);

for($i = 1; $i<143; $i++)
{
	//读取超时后重新读网页内容,最多3次,否则数据出错
	$cnt1=0; 
	while($cnt1<3 && ($strJson=file_get_contents("http://stockdata.stock.hexun.com/zrbg/data/zrbList.aspx?date=2014-12-31&count=20&page=".$i, false, stream_context_create($opts)))===FALSE) 
		$cnt1++;
	$strJson = iconv("gb2312", "utf-8//IGNORE",$strJson);
	preg_match_all('/(?<=industry:\').+?(?=\',stockNumber)/', $strJson, $arrLala);		//获得所有企业名称
	preg_match_all('/(?<=StockNameLink:\').+?(?=\',industry)/', $strJson, $arrLala2);	//获得所有链接
	for($j = 0; $j <20; $j++)
	{
		$cnt=0; 
		while($cnt<3 && ($str=file_get_contents("http://stockdata.stock.hexun.com/zrbg/".$arrLala2[0][$j], false, stream_context_create($opts)))===FALSE) 
			$cnt++;
		$str = iconv("gb2312", "utf-8//IGNORE",$str);
		preg_match_all('/(?<=\().+?分/', $str, $arr);		
		preg_match_all('/(?<=:).+?(?=<)/', $str, $arr2);
		
		$sql="insert into report(
		a1,b1,c1,d1,e1,f1,g1,h1,i1,j1,k1,l1,m1,n1,o1,p1,q1,r1,s1,t1,u1,v1,w1,x1,y1,z1,
		a2,b2,c2,d2,e2,f2,g2,h2,i2,j2,k2,l2,m2,n2,o2,p2,q2,r2,s2,t2,u2,v2,w2,x2,y2,z2,
		a3,b3,c3,d3) values('".$arrLala[0][$j]."','".$arr[0][0]."','".$arr[0][1]."','".$arr2[0][5]."','".$arr2[0][6]."','".$arr2[0][7]."','".$arr2[0][8]."','".$arr2[0][9]."','".$arr2[0][10]."','".
			$arr[0][8]."','".$arr2[0][11]."','".$arr2[0][12]."','".$arr2[0][13]."','".$arr2[0][14]."','".$arr2[0][15]."','".
			$arr[0][14]."','".$arr2[0][16]."','".$arr2[0][17]."','".$arr2[0][18]."','".
			$arr[0][18]."','".$arr2[0][19]."','".
			$arr[0][20]."','".$arr2[0][20]."','".$arr2[0][21]."','".$arr2[0][22]."','".
			$arr[0][24]."','".$arr[0][25]."','".$arr2[0][23]."','".$arr2[0][24]."','".
			$arr[0][28]."','".$arr2[0][25]."','".$arr2[0][26]."','".
			$arr[0][31]."','".$arr2[0][27]."','".$arr2[0][28]."','".$arr2[0][29]."','".
			$arr[0][35]."','".$arr[0][36]."','".$arr2[0][30]."','".$arr2[0][31]."','".
			$arr[0][39]."','".$arr2[0][32]."','".
			$arr[0][41]."','".$arr2[0][33]."','".$arr2[0][34]."','".
			$arr[0][44]."','".$arr[0][45]."','".$arr2[0][35]."','".$arr2[0][36]."','".$arr2[0][37]."','".$arr2[0][38]."','".$arr2[0][39]."','".
			$arr[0][51]."','".$arr[0][52]."','".$arr2[0][40]."','".$arr2[0][41]."')";
		mysql_query($sql,$conn);	
	}
}
echo "success!";
?>

  

如果有读取失败,或者读取错误的数据,只要用下面的程序读取更新数据即可。

<?php
//避免程序运行30秒后停止
ini_set('max_execution_time', '0');		
header("content-Type: text/html; charset=utf8");

//连接数据库
$conn=mysql_connect("localhost","root","")or die("连接错误");
mysql_select_db("newdb",$conn);
mysql_query("set names 'utf8'");

//读取网页超时时间
$opts = array(   
  'http'=>array(   
    'method'=>"GET",   
    'timeout'=>2,//单位秒  
   )   
);


$cnt=0; 
while($cnt<3 && ($str=file_get_contents("http://stockdata.stock.hexun.com/zrbg/stock_bg.aspx?code=300256", false, stream_context_create($opts)))===FALSE) 
{	
	$cnt++;
	if($cnt<3)
		echo "Try to get contents again...<br>";
	else
		echo "Read failed!<br>";
}
$str = iconv("gb2312", "utf-8//IGNORE",$str);
preg_match_all('/(?<=\().+?分/', $str, $arr);		
preg_match_all('/(?<=:).+?(?=<)/', $str, $arr2);

$sql = "update report set 	b1='".$arr[0][0]."',
							c1='".$arr[0][1]."',
							d1='".$arr2[0][5]."',
							e1='".$arr2[0][6]."',
							f1='".$arr2[0][7]."',
							g1='".$arr2[0][8]."',
							h1='".$arr2[0][9]."',
							i1='".$arr2[0][10]."',
							j1='".$arr[0][8]."',
							k1='".$arr2[0][11]."',
							l1='".$arr2[0][12]."',
							m1='".$arr2[0][13]."',
							n1='".$arr2[0][14]."',
							o1='".$arr2[0][15]."',
							p1='".$arr[0][14]."',
							q1='".$arr2[0][16]."',
							r1='".$arr2[0][17]."',
							s1='".$arr2[0][18]."',
							t1='".$arr[0][18]."',
							u1='".$arr2[0][19]."',
							v1='".$arr[0][20]."',
							w1='".$arr2[0][20]."',
							x1='".$arr2[0][21]."',
							y1='".$arr2[0][22]."',
							z1='".$arr[0][24]."',
							a2='".$arr[0][25]."',
							b2='".$arr2[0][23]."',
							c2='".$arr2[0][24]."',
							d2='".$arr[0][28]."',
							e2='".$arr2[0][25]."',
							f2='".$arr2[0][26]."',
							g2='".$arr[0][31]."',
							h2='".$arr2[0][27]."',
							i2='".$arr2[0][28]."',
							j2='".$arr2[0][29]."',
							k2='".$arr[0][35]."',
							l2='".$arr[0][36]."',
							m2='".$arr2[0][30]."',
							n2='".$arr2[0][31]."',
							o2='".$arr[0][39]."',
							p2='".$arr2[0][32]."',
							q2='".$arr[0][41]."',
							r2='".$arr2[0][33]."',
							s2='".$arr2[0][34]."',
							t2='".$arr[0][44]."',
							u2='".$arr[0][45]."',
							v2='".$arr2[0][35]."',
							w2='".$arr2[0][36]."',
							x2='".$arr2[0][37]."',
							y2='".$arr2[0][38]."',
							z2='".$arr2[0][39]."',
							a3='".$arr[0][51]."',
							b3='".$arr[0][51]."',
							c3='".$arr2[0][40]."',
							d3='".$arr[0][41]."'
					where 	a1='星星科技(300256)'";
mysql_query($sql,$conn);	

?>