欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

爬虫之移动端数据捕获

程序员文章站 2022-04-23 21:15:56
移动端数据捕获 第三方抓包工具 (window) (mac) 抓包工具就是代理服务器 拦截和转发请求&响应 的基本使用 安装 默认安装好的 只可以捕获到HTTP协议的请求 配置 进行 证书的本机安装 tools→options→HTTPS→Decrypt HTTPS traffic→Check fo ......

移动端数据捕获

  • 第三方抓包工具

    • fiddler(window)
    • 青花瓷(mac)
    • miteproxy
  • 抓包工具就是代理服务器

    • 拦截和转发请求&响应
  • fiddler的基本使用

    • 安装
      • 默认安装好的fiddler只可以捕获到http协议的请求
    • 配置
      • 进行fiddler证书的本机安装
        • tools→options→https→decrypt https traffic→check for certiicate revocation
      • 配置fiddler让其可以捕获其他设备的请求
        • tools→options→connections→allow remote computers to connect
      • fiddler重启
  • 在手机端安装好fiddler的证书

    • 需要将fiddler所在的机器和手机设定到一个网段下(pc开热点,手机链接)

    • 在手机的浏览器中访问:fiddler所在机器的ip:fiddler的端口(192.168.252.1:9999)就可以看到如下页面(提供了一个证书下载功能)

      爬虫之移动端数据捕获

    • 将下载好的证书信任且安装到手机中

      • 百度一下,安卓,ios都能搜到
    • 在手机中配置代理

      • 百度一下,安卓,ios都能搜到
      • 配置代理ip:fiddler所在机器的ip
      • 代理端口:fiddler自己的端口

通过fiddler定位到请求的url,就可以爬取移动端请求的数据,案例搜集中...