HttpClient模拟浏览器登录后发起请求（携带Cookie发请求）

 

 

 

大家都知道 使用httpClient能模拟浏览器发起请求，得到想要的反回结果。

但在互联网中存在这样一种情况，某些资源只有登录后才可以查看或下载

例如：百度文库、部分论坛(只有登录后才可以看某些板块)

 

浏览器实现这个效果需要如下几个步骤：

 

Ø 1请求一个需要登录的页面或资源

Ø 2服务器判断当前的会话是否包含已登录信息。如果没有登录重定向到登录页面

Ø 3手工在登录页面录入正确的账户信息并提交

Ø 4服务器判断登录信息是否正确，如果正确则将登录成功信息保存到session中

Ø 5登录成功后服务器端给浏览器返回会话的SessionID信息保存到客户端的Cookie中

Ø 6浏览器自动跳转到之前的请求地址并携带之前的Cookie（包含登录成功的SessionID）

Ø 7服务器端判断session中是否有成功登录信息，如果有则将请求的资源反馈给浏览器

 

 

 

下面使用HttpClient模拟上述过程，这里只实现手工发起登录，并携带Cookie发起第二次请求资源的过程。（网上实际有过好多这样的例子，这里只是自己写出来备忘）

 

此处请求的是Iteye的博客主页，其他地址需要手动构建下URL。

 

 

本文是一个的是 httpClient 4.2.5 httpCore 4.2.4  

有这两个jar包

使用maven构建的，需要下载jar包的可以使用添加如下依赖

 

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.2.5</version>
</dependency>

 

 

没有maven支持的也可以到apache的网站上去下载，方式有好多种或联系我

 

 

下面给出Java代码 

 

 

 

package org.jshand.utils.http;

import java.io.FileOutputStream;

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.CookieStore;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.impl.conn.PoolingClientConnectionManager;
import org.apache.http.util.EntityUtils;

/**
 * TODO(用一句话描述该文件的作用)
 * 
 * @title: HttpClientDemo.java
 * @author zhangjinshan-ghq
 * @date 2014-6-11 14:59:04
 */

public class HttpClientDemo
{

    /**
     * The main method.
     * 
     * @param args the arguments
     * @throws Exception the exception
     */
    public static void main(String[] args) throws Exception
    {
        getResoucesByLoginCookies();
    }

    /**
     * 根据登录Cookie获取资源
     * 一切异常均未处理，需要酌情检查异常
     * 
     * @throws Exception
     */
    private static void getResoucesByLoginCookies() throws Exception
    {
        HttpClientDemo demo = new HttpClientDemo();
        String username = "XXXXXXXXX";// 登录用户
        String password = "XXXXXXXX";// 登录密码

        // 需要提交登录的信息
        String urlLogin = "http://www.iteye.com/login?name=" + username + "&password=" + password;

        // 登录成功后想要访问的页面 可以是下载资源 需要替换成自己的iteye Blog地址
        String urlAfter = "http://314649444.iteye.com/";

        DefaultHttpClient client = new DefaultHttpClient(new PoolingClientConnectionManager());

        /**
         * 第一次请求登录页面 获得cookie
         * 相当于在登录页面点击登录，此处在URL中 构造参数，
         * 如果参数列表相当多的话可以使用HttpClient的方式构造参数
         * 此处不赘述
         */
        HttpPost post = new HttpPost(urlLogin);
        HttpResponse response = client.execute(post);
        HttpEntity entity = response.getEntity();
        CookieStore cookieStore = client.getCookieStore();
        client.setCookieStore(cookieStore);

        /**
         * 带着登录过的cookie请求下一个页面，可以是需要登录才能下载的url
         * 此处使用的是iteye的博客首页，如果登录成功，那么首页会显示【欢迎XXXX】
         * 
         */
        HttpGet get = new HttpGet(urlAfter);
        response = client.execute(get);
        entity = response.getEntity();

        /**
         * 将请求结果放到文件系统中保存为 myindex.html,便于使用浏览器在本地打开 查看结果
         */

        String pathName = "d:\\myindex.html";
        writeHTMLtoFile(entity, pathName);
    }

    /**
     * Write htmL to file.
     * 将请求结果以二进制形式放到文件系统中保存为.html文件,便于使用浏览器在本地打开 查看结果
     * 
     * @param entity the entity
     * @param pathName the path name
     * @throws Exception the exception
     */
    public static void writeHTMLtoFile(HttpEntity entity, String pathName) throws Exception
    {

        byte[] bytes = new byte[(int) entity.getContentLength()];

        FileOutputStream fos = new FileOutputStream(pathName);

        bytes = EntityUtils.toByteArray(entity);

        fos.write(bytes);

        fos.flush();

        fos.close();
    }

}