欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

爬虫的参数问题

程序员文章站 2024-01-22 14:52:40
...

现在再做一个爬虫,但是有一个问题,通过浏览器的开发工具找到了请求,但是模拟传入POST总是不对,这是这个请求的参数
爬虫的参数问题

主要是想请教一下query string parameters和formdata,这两个参数有什么区别,之前做的爬虫参数都在formdata里,直接按照格式提交参数就成功了,也就没有太在意,但是今天这个页面的爬虫时总是不成功,不是很明白为什么,请有经验的大神指点一二

回复内容:

现在再做一个爬虫,但是有一个问题,通过浏览器的开发工具找到了请求,但是模拟传入POST总是不对,这是这个请求的参数
爬虫的参数问题

主要是想请教一下query string parameters和formdata,这两个参数有什么区别,之前做的爬虫参数都在formdata里,直接按照格式提交参数就成功了,也就没有太在意,但是今天这个页面的爬虫时总是不成功,不是很明白为什么,请有经验的大神指点一二

p值是加密的

query string parametersGET请求,formdataPOST请求。 请求的时候有点差别,比如:

#对GET:
url = 'http://www.example.com
data ={
    a: b,
}
get_url = url + urllib.urlencode(data)
urllib2.urlopen(urllib2.Request(get_url)

#对于POST
url = 'http://www.example.com
data={
    a: b
}
urllib2.urllopen(urllib2.Request(url, data=data)

# 对于GET+POST的, 直接把POST的url 改为 urlencode之后的,即可

query param是url中的概念,form data是http中的格式概念,http使用url,so。