抓取搜狐视频中所有用户的专辑名

抓取搜狐视频中所有用户的专辑名。如果记录全部获取过来以后，可以方便的检索出相关关键词的视频专辑。但是由于用户数目太多，一个线程跑的话不知道要跑多少年。可以通过设置多表、ID分段来实现多通道的同时抓取。

可通过修改$user_id的开始和结束，来分段同时多通道。

sleep(1)仅为个人测试，可以修改

1. header("Content-Type:text/html; Charset=UTF-8");
2. set_time_limit(0);
4. $col_title = ''; //标题
5. $col_url = ''; //URL编号
6. $user_id = 26; //起始抓取用户编号
8. //MySQL预操作
9. $mysqli = new mysqli("p:localhost", 'root', '', 'sohutv');
10. if ($mysqli->connect_errno) {
11. printf("Connect failed: %s\n", $mysqli->connect_error);
12. exit();
13. }
14. $mysqli->set_charset("utf8");
15. $sql = "INSERT INTO album (userid,title,url) VALUES(?,?,?)";
16. $stmt = $mysqli->prepare($sql);
17. $stmt->bind_param("sss",$user_id ,$col_title ,$col_url);
21. //循环抓取
22. while (true) {
23. $url = "http://my.tv.sohu.com/user/a/playlist/ta/list.do?userId=".$user_id;
24. $temp_html = file_get_contents($url);
25. $temp_json = json_decode($temp_html);
26. $column_no = $temp_json->{'data'}->{'count'};
28. if ($column_no) {
29. //var_dump($temp_json->{'data'});
30. $temp_array = $temp_json->{'data'}->{'list'};
32. for($i=0; $i {
33. $temp_obj = $temp_array[$i];
34. //var_dump($temp_obj);
35. $col_title = $temp_obj->{'title'};
36. $col_url = substr($temp_obj->{'url'}, 25, -6);
38. $stmt->execute();
39. }
40. }
41. //休眠1秒
42. sleep(1);
43. $user_id++;
44. }
46. /*
47. 访问方式
48. http://my.tv.sohu.com/pl/URL编号.shtml
49. */
51. ?>

复制代码