爬虫的参数问题
程序员文章站
2024-01-22 14:52:40
...
现在再做一个爬虫,但是有一个问题,通过浏览器的开发工具找到了请求,但是模拟传入POST总是不对,这是这个请求的参数
主要是想请教一下query string parameters和formdata,这两个参数有什么区别,之前做的爬虫参数都在formdata里,直接按照格式提交参数就成功了,也就没有太在意,但是今天这个页面的爬虫时总是不成功,不是很明白为什么,请有经验的大神指点一二
回复内容:
现在再做一个爬虫,但是有一个问题,通过浏览器的开发工具找到了请求,但是模拟传入POST总是不对,这是这个请求的参数
主要是想请教一下query string parameters和formdata,这两个参数有什么区别,之前做的爬虫参数都在formdata里,直接按照格式提交参数就成功了,也就没有太在意,但是今天这个页面的爬虫时总是不成功,不是很明白为什么,请有经验的大神指点一二
p值是加密的
query string parameters
是GET
请求,formdata
则POST
请求。 请求的时候有点差别,比如:
#对GET:
url = 'http://www.example.com
data ={
a: b,
}
get_url = url + urllib.urlencode(data)
urllib2.urlopen(urllib2.Request(get_url)
#对于POST
url = 'http://www.example.com
data={
a: b
}
urllib2.urllopen(urllib2.Request(url, data=data)
# 对于GET+POST的, 直接把POST的url 改为 urlencode之后的,即可
query param是url中的概念,form data是http中的格式概念,http使用url,so。
推荐阅读