爬虫之移动端数据捕获

移动端数据捕获

• 第三方抓包工具

  • fiddler（window）
  • 青花瓷（mac）
  • miteproxy

• 抓包工具就是代理服务器

  • 拦截和转发请求&响应

• fiddler的基本使用

  • 安装
    • 默认安装好的fiddler只可以捕获到http协议的请求
  • 配置
    • 进行fiddler证书的本机安装
      • tools→options→https→decrypt https traffic→check for certiicate revocation
    • 配置fiddler让其可以捕获其他设备的请求
      • tools→options→connections→allow remote computers to connect
    • 将fiddler重启

• 在手机端安装好fiddler的证书

  • 需要将fiddler所在的机器和手机设定到一个网段下（pc开热点，手机链接）

  • 在手机的浏览器中访问：fiddler所在机器的ip:fiddler的端口（192.168.252.1:9999）就可以看到如下页面（提供了一个证书下载功能）

    

  • 将下载好的证书信任且安装到手机中

    • 百度一下，安卓，ios都能搜到

  • 在手机中配置代理

    • 百度一下，安卓，ios都能搜到
    • 配置代理ip：fiddler所在机器的ip
    • 代理端口：fiddler自己的端口

通过fiddler定位到请求的url，就可以爬取移动端请求的数据，案例搜集中...