怎么爬取twitter某个用户的所有tweets？
程序员文章站
2022-03-02 23:16:56
...
目前有两个方法：
1. 直接调用twitter的API，读取一个特定用户的tweets，但是API的参数只有关于返回条数的限制，并没有偏移量参数。也就意味着，总是只能返回“最近的”n条tweets，而不能爬取所有的tweets。
2. 用HTTP请求模拟用户在浏览器*问的行为，可以读取最近20条的tweets，但不知道该怎样发送HTTP请求才能模拟用户下拉这个操作来加载更早的tweets。
有大路不走你偏要挖地道。
至于说API没什么参数啥的，麻烦仔细看文档。 实际在浏览器中操作一下下拉加载，用抓包软件抓包分析HTTP请求的参数 追踪对方网站的上拉ajax事件请求，然后根据ajax请求规律试试，或者模拟上拉动作，用jq的trigger
1. 直接调用twitter的API，读取一个特定用户的tweets，但是API的参数只有关于返回条数的限制，并没有偏移量参数。也就意味着，总是只能返回“最近的”n条tweets，而不能爬取所有的tweets。
2. 用HTTP请求模拟用户在浏览器*问的行为，可以读取最近20条的tweets，但不知道该怎样发送HTTP请求才能模拟用户下拉这个操作来加载更早的tweets。
回复内容：
https://dev.twitter.com/docs/api/1.1/get/statuses/user_timeline有大路不走你偏要挖地道。
至于说API没什么参数啥的，麻烦仔细看文档。 实际在浏览器中操作一下下拉加载，用抓包软件抓包分析HTTP请求的参数 追踪对方网站的上拉ajax事件请求，然后根据ajax请求规律试试，或者模拟上拉动作，用jq的trigger