Python中使用socket发送HTTP请求数据接收不完整问题解决方法

由于工作的需求，需要用python做一个类似网络爬虫的采集器。虽然Python的urllib模块提供更加方便简洁操作，但是涉及到一些底层的需求，如手动设定User-Agent,Referer等，所以选择了直接用socket进行设计。当然，这样的话，需要对HTTP协议比较熟悉，HTTP协议这里就不做讲解了。整个python的代码如下:

#!/usr/bin env python
import socket
host="www.baidu.com"
se=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
se.connect((host,80))
se.send("GET / HTTP/1.1\n")
se.send("Accept:text/html,application/xhtml+xml,*/*;q=0.8\n")
#se.send("Accept-Encoding:gzip,deflate,sdch\n")
se.send("Accept-Language:zh-CN,zh;q=0.8,en;q=0.6\n")
se.send("Cache-Control:max-age=0\n")
se.send("Connection:keep-alive\n")
se.send("Host:"+host+"\r\n")
se.send("Referer:http://www.baidu.com/\n")
se.send("user-agent: Googlebot\n\n")
print se.recv(1024)

代码运行正常，但是发现一个比较重要的问题,运行结果只返回了HTTP的头部信息，网页的内容则没有被返回。网上查找了很多资料，一无所获,经过一夜的思考，突然想到了一个问题，有可能我请求的资源非常大，一个网络的IP包的大小，它是受很多因素制约的，最典型的便是MTU（最大传输单元），那么会不会我请求的数据被分割了，HTTP的头部信息只是一部分，其它数据还在传输或者缓冲区呢？于是做了这样一个遍历:

while True:
  buf = se.recv(1024)
  if not len(buf):
    break
  print buf

这样发现所有请求的数据均被返回了，看来要想做好网络编程，深入理解TCP/IP协议是非常必要的。

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系[e-mail]核实处理。

相关文章

相关视频

---

• 一文了解Python中如何使用query()进行优...
• python fabric实现远程操作和部署示例
• Python实现多线程下载文件的代码实例
• python抓取网页中的图片示例
• Python中使用socket发送HTTP请求数据...

• Perl Socket 编程
• Python 基础教程
• Python 简介
• Python 环境搭建
• Python 中文编码

网友评论

文明上网理性发言，请遵守 新闻评论服务协议

我要评论

立即提交

专题推荐

• 独孤九贱-php全栈开发教程

  全栈 170W+

  主讲：Peter-Zhu 轻松幽默、简短易学，非常适合PHP学习入门

• 玉女心经-web前端开发教程

  入门 80W+

  主讲：灭绝师太 由浅入深、明快简洁，非常适合前端学习入门

• 天龙八部-实战开发教程

  实战 120W+

  主讲：西门大官人 思路清晰、严谨规范，适合有一定web编程基础学习