欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

HttpClient模拟浏览器登录后发起请求(携带Cookie发请求)

程序员文章站 2022-03-17 12:22:20
...

 

 

 

大家都知道 使用httpClient能模拟浏览器发起请求,得到想要的反回结果

但在互联网中存在这样一种情况,某些资源只有登录后才可以查看或下载

例如:百度文库、部分论坛(只有登录后才可以看某些板块)

 

浏览器实现这个效果需要如下几个步骤:

 

Ø 1请求一个需要登录的页面或资源

Ø 2服务器判断当前的会话是否包含已登录信息。如果没有登录重定向到登录页面

Ø 3手工在登录页面录入正确的账户信息并提交

Ø 4服务器判断登录信息是否正确,如果正确则将登录成功信息保存到session

Ø 5登录成功后服务器端给浏览器返回会话的SessionID信息保存到客户端的Cookie

Ø 6浏览器自动跳转到之前的请求地址并携带之前的Cookie(包含登录成功的SessionID

Ø 7服务器端判断session中是否有成功登录信息,如果有则将请求的资源反馈给浏览器

 

 

 

下面使用HttpClient模拟上述过程,这里只实现手工发起登录,并携带Cookie发起第二次请求资源的过程。(网上实际有过好多这样的例子,这里只是自己写出来备忘)

 

此处请求的是Iteye的博客主页,其他地址需要手动构建下URL

 

 

本文是一个的是 httpClient 4.2.5 httpCore 4.2.4  

有这两个jar

HttpClient模拟浏览器登录后发起请求(携带Cookie发请求)
            
    
    博客分类: web框架HttpClientapache  

使用maven构建的,需要下载jar包的可以使用添加如下依赖

 

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.2.5</version>
</dependency>
 

 

没有maven支持的也可以到apache的网站上去下载,方式有好多种或联系我

 

 

下面给出Java代码 

 

 

 

package org.jshand.utils.http;

import java.io.FileOutputStream;

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.CookieStore;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.impl.conn.PoolingClientConnectionManager;
import org.apache.http.util.EntityUtils;

/**
 * TODO(用一句话描述该文件的作用)
 * 
 * @title: HttpClientDemo.java
 * @author zhangjinshan-ghq
 * @date 2014-6-11 14:59:04
 */

public class HttpClientDemo
{

    /**
     * The main method.
     * 
     * @param args the arguments
     * @throws Exception the exception
     */
    public static void main(String[] args) throws Exception
    {
        getResoucesByLoginCookies();
    }

    /**
     * 根据登录Cookie获取资源
     * 一切异常均未处理,需要酌情检查异常
     * 
     * @throws Exception
     */
    private static void getResoucesByLoginCookies() throws Exception
    {
        HttpClientDemo demo = new HttpClientDemo();
        String username = "XXXXXXXXX";// 登录用户
        String password = "XXXXXXXX";// 登录密码

        // 需要提交登录的信息
        String urlLogin = "http://www.iteye.com/login?name=" + username + "&password=" + password;

        // 登录成功后想要访问的页面 可以是下载资源 需要替换成自己的iteye Blog地址
        String urlAfter = "http://314649444.iteye.com/";

        DefaultHttpClient client = new DefaultHttpClient(new PoolingClientConnectionManager());

        /**
         * 第一次请求登录页面 获得cookie
         * 相当于在登录页面点击登录,此处在URL中 构造参数,
         * 如果参数列表相当多的话可以使用HttpClient的方式构造参数
         * 此处不赘述
         */
        HttpPost post = new HttpPost(urlLogin);
        HttpResponse response = client.execute(post);
        HttpEntity entity = response.getEntity();
        CookieStore cookieStore = client.getCookieStore();
        client.setCookieStore(cookieStore);

        /**
         * 带着登录过的cookie请求下一个页面,可以是需要登录才能下载的url
         * 此处使用的是iteye的博客首页,如果登录成功,那么首页会显示【欢迎XXXX】
         * 
         */
        HttpGet get = new HttpGet(urlAfter);
        response = client.execute(get);
        entity = response.getEntity();

        /**
         * 将请求结果放到文件系统中保存为 myindex.html,便于使用浏览器在本地打开 查看结果
         */

        String pathName = "d:\\myindex.html";
        writeHTMLtoFile(entity, pathName);
    }

    /**
     * Write htmL to file.
     * 将请求结果以二进制形式放到文件系统中保存为.html文件,便于使用浏览器在本地打开 查看结果
     * 
     * @param entity the entity
     * @param pathName the path name
     * @throws Exception the exception
     */
    public static void writeHTMLtoFile(HttpEntity entity, String pathName) throws Exception
    {

        byte[] bytes = new byte[(int) entity.getContentLength()];

        FileOutputStream fos = new FileOutputStream(pathName);

        bytes = EntityUtils.toByteArray(entity);

        fos.write(bytes);

        fos.flush();

        fos.close();
    }

}
 

 

  • HttpClient模拟浏览器登录后发起请求(携带Cookie发请求)
            
    
    博客分类: web框架HttpClientapache  
  • 大小: 5.7 KB