小偷&小偷入库&采集入库

xmlhttp应用参考 
一、使用步骤： 
1、创建xmlhttp对象 //需msxml4.0支持 
2、打开与服务端的连接，同时定义指令发送方式，服务网页(url)和请求权限等。客户端通过open命令打开与服务端的服务网页的连接。与普通http指令传送一样，可以用"get"方法或"post"方法指向服务端的服务网页。 
3、发送指令。 
4、等待并接收服务端返回的处理结果。 
5、释放xmlhttp对象 

二、xmlhttp方法： 
1、xmlhttp对象 
备注：客户机可以使用xmlhttp对象发送任意的http请求,接受http应答,还可以对应答的xml文档进行解析。 

open方法：初始化一个msxml2.xmlhttp请求，指定http请求方式、url以及鉴定信息。 
open（ bstrmethod, bstrurl, varasync, bstruser, bstrpassword ） 
bstrmethod： 数据传送方式，即get或post。 
bstrurl：   服务网页的url。 
varasync：   是否同步执行。缺省为true，即同步执行，但只能在dom中实施同步执行。用中一般将其置为false，即异步执行。 
bstruser：   用户名，可省略。 
bstrpassword：用户口令，可省略。 

send方法：发送http请求到服务器，返回应答。 
语法： 
oxmlhttprequest.send(varbody) 
说明：此方法是否同步取决于open方法的varasync参数。如果设为true则为同步，调用立刻返回，如果设为false调用直到整个应答被接收了才返回。 

setrequestheader（ bstrheader, bstrvalue ） 
bstrheader：http 头(header) 
bstrvalue： http 头(header)的值 

如果open方法定义为post，可以定义表单方式上传： 
xmlhttp.setrequestheader（ "content-type", "application/x-www-form-urlencoded"） 

三、xmlhttp属性： 
onreadystatechange：在同步执行方式下获得返回结果的事件句柄。只能在dom中调用。 
responsebody：   结果返回为无符号整数数组。 
responsestream：   结果返回为istream流。 
responsetext ：   结果返回为字符串。 
responsexml：   结果返回为xml格式数据。 

四、示例： 
< script language="javascript" > 
function getdatal(url){ 
  var xmlhttp = new activexobject("msxml2.xmlhttp.4.0";//创建xmlhttprequest对象，需msxml4.0支持 ["msxml2.xmlhttp.4.0","msxml2.domdocument.4.0"] 
  xmlhttp.open("get",url,false,"","";   //使用http get初始化http请求 
  xmlhttp.send("";             //发送http请求并获取http响应 
  return xmlhttp.responsexml;       //获取xml文档 
} 
< /script > 


  现在网上流行的小偷程序比较多，有新闻类小偷，音乐小偷，下载小偷，那么它们是如何做的呢，下面我来做个简单介绍，希望对各位站长有所帮助。 
（一）原理 
小偷程序实际上是通过了xml中的xmlhttp组件调用其它网站上的网页。比如新闻小偷程序，很多都是调用了sina的新闻网页，并且对其中的html进行了一些替换，同时对广告也进行了过滤。用小偷程序的优点有：无须维护网站，因为小偷程序中的数据来自其他网站，它将随着该网站的更新而更新；可以节省服务器资源，一般小偷程序就几个文件，所有网页内容都是来自其他网站。缺点有：不稳定，如果目标网站出错，程序也会出错，而且，如果目标网站进行升级维护，那么小偷程序也要进行相应修改；速度，因为是远程调用，速度和在本地服务器上读取数据比起来，肯定要慢一些。 
（二）事例 

下面就xmlhttp在asp中的应用做个简单说明 


代码: <% 
'常用函数 

'1、输入url目标网页地址，返回值gethttppage是目标网页的html代码 
function gethttppage(url) 
  dim http 
  set http=server.createobject("msxml2.xmlhttp" 
  http.open "get",url,false 
  http.send() 
  if http.readystate<>4 then 
    exit function 
  end if 
  gethttppage=bytestobstr(http.responsebody,"gb2312" 
  set http=nothing 
  if err.number<>0 then err.clear 
end function 

'2、转换乱玛，直接用xmlhttp调用有中文字符的网页得到的将是乱玛，可以通过adodb.stream组件进行转换 
function bytestobstr(body,cset) 
    dim objstream 
    set objstream = server.createobject("adodb.stream" 
    objstream.type = 1 
    objstream.mode =3 
    objstream.open 
    objstream.write body 
    objstream.position = 0 
    objstream.type = 2 
    objstream.charset = cset 
    bytestobstr = objstream.readtext 
    objstream.close 
    set objstream = nothing 
end function 

'下面试着调用http://wmjie.51.net/swords的html内容 
dim url,html 
url="http://wmjie.51.net/swords/" 
html = gethttppage(url) 
response.write html 
%> 

------------------------------------------------------ 
代码: 
'代码]用xmlhttp读取远程文件 

<% 
response.buffer = true 
dim objxmlhttp, xml 
set xml = server.createobject("microsoft.xmlhttp" 

xml.open "get", "http://wmjie.51.net/swords/diary.rar", false 

xml.send 

' add a header to give it a file name: 
response.addheader "content-disposition", _ 
              "attachment;filename=mitchell-pres.zip" 

' specify the content type to tell the browser what to do: 
response.contenttype = "application/zip" 

' binarywrite the bytes to the browser 
response.binarywrite xml.responsebody 

set xml = nothing 
%> 



------------------------------------- 
如何写asp入库小偷程序 
入库小偷的原理也很简单：就是用xmlhttp远程读取网页的内容，然后根据需要，对读到的内容进行加工（过滤，替换，分类），最后得到自己需要的数据，加入到数据库中。 
首先：我们先用xmlhttp读取远程网页（我的另一片文章中有介绍）。 
其次：对内容进行过滤，这个是比较关键的步骤，比如说，我要从远程网页上提取出所有url连接，我应该怎么做呢？ 
代码: 
‘这里用的是正则式 
set objregexp = new regexp   '建立对象 
objregexp.ignorecase = true   '大小写忽略 
objregexp.global = true       '全局为真 
objregexp.pattern = "http://.+?"   '匹配字段 
set mm=objregexp.execute(str)   '执行查找，str为输入参数 
for each match in mm     '进入循环 
    response.write(match.value）   '输出url地址 
next 


然后，我们需要根据需要做一些替换功能，把不必要的数据替换掉，这个比较简单，用replace函数即可。 
最后，进行数据库操作 
------------------------------- 
一个例子 
代码: 
<% 
on error resume next 
server.scripttimeout=9999999 
function gethttppage(path) 
    t = getbody(path) 
    gethttppage=bytestobstr(t,"gb2312" 
end function 

'首先，进行小偷程序的一些初始化设置，以上代码的作用分别是忽略掉所有非致命性错误，把小偷程序的运行超时时间设置得很长（这样不会出现运行超时的错误），转换原来默认的utf-8编码转换成gb2312编码，否则直接用xmlhttp组件调用有中文字符的网页得到的将是乱码。 

function getbody(url) 
    on error resume next 
    set retrieval = createobject("microsoft.xmlhttp" 
    with retrieval 
    .open "get", url, false, "", "" 
    .send 
    getbody = .responsebody 
    end with 
    set retrieval = nothing 
end function 

'然后调用xmlhttp组件创建一个对象并进行初始化设置。 

function bytestobstr(body,cset) 
    dim objstream 
    set objstream = server.createobject("adodb.stream" 
    objstream.type = 1 
    objstream.mode =3 
    objstream.open 
    objstream.write body 
    objstream.position = 0 
    objstream.type = 2 
    objstream.charset = cset 
    bytestobstr = objstream.readtext 
    objstream.close 
    set objstream = nothing 
end function 

function newstring(wstr,strng) 
    newstring=instr(lcase(wstr),lcase(strng)) 
    if newstring<=0 then newstring=len(wstr) 
end function 

'处理抓取回来的数据需要调用adodb.stream组件并进行初始化设置。%> 

'以下即为页面显示部分 

<% 
dim wstr,str,url,start,over,city 
'定义一些需要使用到的变量 

city = request.querystring("id") 
'程序传回的id变量（即用户选择的城市）赋给id 

url="http://appnews.qq.com/cgi-bin/news_qq_search?city="&city&"" 
'这里设置需要抓取的页面地址，当然你也可以直接指定某个地址而不使用变量 

wstr=gethttppage(url) 
'获取指定页面的全部数据       

start=newstring(wstr," <html>") 
'这里设置需要处理的数据的头部，这个变量应视不同情况而设置，具体内容可以通过查看需要抓取的页面的源代码来确定。因为在这个程序里我们需要抓取整个页面,所以设置为页面全部抓取。注意，设置的内容必须是页面内容唯一的，不可以重复。 

over=newstring(wstr," </html>") 
'和start相对应的就是需要处理的数据的尾部，同样的，设置的内容必须是页面中唯一的。 

body=mid(wstr,start,over-start) 
'设置显示页面的范围 

'下面就是动用乾坤挪移***的时候了，通过replace可以用一些字符替换掉数据中指定的字符。 

body = replace(body,"skin1","天气预报 - 斯克网络") 
body = replace(body,"http://appnews.qq.com/cgi-bin/news_qq_search?city","tianqi.asp?id") 

'本程序中已经完成了替换的工作，如果有其他需要的话可以继续进行类似的替换操作。 

response.write body 
引用: 远程获取内容，并将内容存在本地电脑上，包括任何文件 

<% 
'----------远程获取内容，并将内容存在本地电脑上，包括任何文件！---------- 
'on error resume next 
'set the content type to the specific type that you are sending. 
'response.contenttype = "image/jpeg" 
'-------------------------------定义输出格式----------------------------- 

path=request.querystring("p") 
spath = path 
if left(lcase(path),7) <> "http://"; then 
'-------------如果前面没有http就是本地文件，交给localfile处理------------ 
localfile(path) 
else 
'--------------------否则为远程文件，交给remotefile处理------------------ 
remotefile(path) 
end if 
'response.write err.description 

sub localfile(path) 
'-------------------如果为本地文件则简单的跳转到该页面------------------- 
response.redirect path 
end sub 

sub remotefile(spath) 
'-------------------------处理远程文件函数------------------------------ 
filename = getfilename(spath) 
'-------------getfilename为把地址转换为合格的文件名过程------------- 
filename = server.mappath("/uploadfile/cache/" & filename) 
set objfso = server.createobject("scripting.filesystemobject") 
'response.write filename 
if objfso.fileexists(filename) then 
'--------------检查文件是否是已经访问过,如是，则简单跳转------------ 
response.redirect "/uploadfile/cache/" & getfilename(path) 
else 
'----------------否则的话就先用getbody函数读取---------------------- 
'response.write path 
t = getbody(path) 
'-----------------用二进制方法写到浏览器上-------------------------- 
response.binarywrite t 
response.flush 
'-----------------输出缓冲------------------------------------------ 
savefile t,getfilename(path) 
'------------------将文件内容缓存到本地路径，以待下次访问----------- 
end if 
set objfso = nothing 
end sub 

function getbody(url) 
'-----------------------本函数为远程获取内容的函数--------------------- 
'on error resume next 
'response.write url 
set retrieval = createobject("microsoft.xmlhttp") 
'----------------------建立xmlhttp对象----------------------------- 
with retrieval 
.open "get", url, false, "", "" 
'------------------用get，异步的方法发送----------------------- 
.send 
'getbody = .responsetext 
getbody = .responsebody 
'------------------函数返回获取的内容-------------------------- 
end with 
set retrieval = nothing 
'response.write err.description 
end function 

function getfilename(str) 
'-------------------------本函数为合格化的文件名函数------------------- 
str = replace(lcase(str),"http://";,"") 
str = replace(lcase(str),"//","/") 
str = replace(str,"/","") 
str = replace(str,vbcrlf,"") 
getfilename = str 
end function 

sub savefile(str,fname) 
'-------------------------本函数为将流内容存盘的函数------------------- 
'on error resume next 
set objstream = server.createobject("adodb.stream") 
'--------------建立adodb.stream对象，必须要ado 2.5以上版本--------- 
objstream.type = adtypebinary 
'-------------以二进制模式打开------------------------------------- 
objstream.open 
objstream.write str 
'--------------------将字符串内容写入缓冲-------------------------- 
'response.write fname 
objstream.savetofile "c:\inetpub\myweb\uploadfile\cache\" & fname,adsavecreateoverwrite 
'--------------------将缓冲的内容写入文件-------------------------- 
'response.binarywrite objstream.read 
objstream.close() 
set objstream = nothing 
'-----------------------关闭对象，释放资源------------------------- 
'response.write err.description 
end sub 
%>