Java 获取URL的内容

java获取url内容的，我这里只给出get方式的，post和其它方式的都是比较类似的。其技术要点就一下三点。
第一：创建httpurlconnection
第二：打开url，创建一个inputstream
第三：逐行（逐字节）读取，如果需要，转换编码，放入字符串。
好，一下就开始代码吧：

public string geturlcontent(string path){
string rtn = "";
int c;
try{
java.net.url l_url = new java.net.url(path);
java.net.httpurlconnection l_connection = (java.net.httpurlconnection) l_url.openconnection();
l_connection.setrequestproperty("user-agent","mozilla/4.0");
l_connection.connect();
inputstream l_urlstream = l_connection.getinputstream();
while (( ( c= l_urlstream.read() )!=-1)){
int all=l_urlstream.available();
byte[] b =new byte[all];
l_urlstream.read(b);
rtn+= new string(b, "utf-8");
}
//thread.sleep(2000);
l_urlstream.close();
}catch(exception e){
e.printstacktrace();
}
return rtn;
}

其中
l_connection.setrequestproperty("user-agent","mozilla/4.0");
这句是必须的，很多服务器对于没有user-agent头的请求直接403了就。
然后采用inputstream.available()来一次性读取，返回此输入流方法的下一个调用方可以不受阻塞地从此输入流读取（或跳过）的字节数，如果需要的话，可以在后面稍微sleep一下线程：
thread.sleep(2000);
其中的

while (( ( c= l_urlstream.read() )!=-1)){
int all=l_urlstream.available();
byte[] b =new byte[all];
l_urlstream.read(b);
rtn+= new string(b, "utf-8");
}

是个很重要的读取过程，c表示读取流的标注，当结束的时候是-1，然后all是本次循环可用的最大字节数目，然后读取全部可用字节到byte[] b中，然后转换成utf-8类型的字符串，注意，这里可以自己写方式，如果读取gb2312，就要写gb2312，至于有没有万能的，可以获取meta，匹配下。自己想办法吧。