关于抓取网站数据，出现302重定向！该如何处理

程序员文章站 2022-05-09 21:07:56

...

关于抓取网站数据，出现302重定向！急！急！急！
目标网站：http://www.dltm.net/webtmq/free/free_query.php
第一步：输入商标号，提交（post抓起）
关于抓取网站数据，出现302重定向！该如何处理

第二步：点击商标号

第三步：需要抓取的数据
关于抓取网站数据，出现302重定向！该如何处理

前两步均已实现抓取，但抓取最后一步时老是出现302重定向，导致数据抓取不到。
相关代码：


//第一步
define(TARGET_URL,'http://www.dltm.net/webtmq/free/free_query.php');
define(REFFER_URL,'http://www.dltm.net');
$url=TARGET_URL;
$ch=curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, REFFER_URL);
$result= curl_exec($ch);//保存输出的页面到$result中
curl_close($ch);
preg_match_all('',$result,$rs);

//第二步
$fields_post = array(
	'ip'=>$rs[1][0],
	'textarea_explain'=>'%B2%E9%D1%AF%C8%AB%B2%BF%C0%E0%B1%F0',
	'tm_lb'=> '0',
	'tm_key'=>'8437927',
	'tm_key_item'=>'tm_zch',
	'query_mode'=>'1'
);

$fields_string='';
foreach($fields_post as $key => $value)
{
    $fields_string .= $key . '=' . $value . '&';
}
$fields_string = rtrim($fields_string,'&');

define(TARGET_URL1,'http://www.dltm.net/webtmq/free/free_res.php');
define(REFFER_URL1,'http://www.dltm.net/webtmq/free/free_res.php');
$url=TARGET_URL1;
$ch=curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);
curl_setopt($ch,CURLOPT_POST,1);//以POST方式提交
curl_setopt($ch,CURLOPT_POSTFIELDS,$fields_string);
$result= curl_exec($ch);//保存输出的页面到$result中
curl_close($ch);

//第三步
preg_match_all('',$result,$res);
$url = 'http://www.dltm.net/webtmq/free/'.$res[1][0];

$ch=curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);
$result= curl_exec($ch);//保存输出的页面到$result中
curl_close($ch);
print_r($result);exit;//这一步得不到数据

可以自己copy一下代码运行一下，第三步数据得不到，大神能帮我看看么，如果能得到数据，请贴出你的源码，非常感谢！！！
------解决方案--------------------
增加
curl_setopt($ch, CURLOPT_COOKIEJAR, "cookie.txt");
curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt");
------解决方案--------------------
怎么不可以呢？
以注册号 8437927 为例
新建一文件 cookie.txt，执行代码

$cookie = realpath('cookie.txt'); //这是增加的
//第一步
define('TARGET_URL','http://www.dltm.net/webtmq/free/free_query.php');
define('REFFER_URL','http://www.dltm.net');
$url=TARGET_URL;
$ch=curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, REFFER_URL);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的
$result= curl_exec($ch);//保存输出的页面到$result中
curl_close($ch);
preg_match_all('',$result,$rs);

//第二步
$fields_post = array(
    'ip'=>$rs[1][0],
    'textarea_explain'=>'%B2%E9%D1%AF%C8%AB%B2%BF%C0%E0%B1%F0',
    'tm_lb'=> '0',
    'tm_key'=>'8437927',
    'tm_key_item'=>'tm_zch',
    'query_mode'=>'1'
);

$fields_string='';
foreach($fields_post as $key => $value)
{
    $fields_string .= $key . '=' . $value . '&';
}
$fields_string = rtrim($fields_string,'&');

define('TARGET_URL1','http://www.dltm.net/webtmq/free/free_res.php');
define('REFFER_URL1','http://www.dltm.net/webtmq/free/free_res.php');
$url=TARGET_URL1;
$ch=curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);
curl_setopt($ch,CURLOPT_POST,1);//以POST方式提交
curl_setopt($ch,CURLOPT_POSTFIELDS,$fields_string);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的
$result= curl_exec($ch);//保存输出的页面到$result中
curl_close($ch);

//第三步
preg_match_all('',$result,$res);
$url = 'http://www.dltm.net/webtmq/free/'.$res[1][0];

$ch=curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的
$result= curl_exec($ch);//保存输出的页面到$result中
curl_close($ch);
print_r($result);exit;

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。