asp.net下大文件上传知识整理

最近做在做epartner项目，涉及到文件上传的问题。 以前也做过文件上传，但都是些小文件，不超过2m。 这次要求上传100m以上的东西。 没办法找来资料研究了一下。基于web的文件上传可以使用ftp和http两种协议，用ftp的话虽然传输稳定，但安全性是个严重的问题，而且ftp服务器读用户库获取权限，这样对于用户使用来说还是不太方便。 剩下只有http。在http中有3种方式，put、webdav、rfc1867，前2种方法不适合大文件上传，目前我们使用的web上传都是基于rfc1867标准的html中基于表单的文件上传。
一、先简要介绍一下rfc1867（form-based file upload in html）标准：
1．带有文件提交功能的html表单
现有的html规范为input元素的type属性定义了八种可能的值，分别是：checkbox, hidden, image, password,  radio, reset, submit, text. 另外，当表单采用post方式的时候，表单默认的具有"application/x-www -form-urlencoded" 的enctype属性。
rfc1867标准对html做出了两处修改：
1）为input元素的type属性增加了一个file选项。
2）input标记可以具有accept属性，该属性能够指定可被上传的文件类型或文件格式列表。
另外，本标准还定义了一种新的mime类型：multipart/form-data，以及当处理一个带有enctype="multipart/form-data" 并且/或含有<input type="file">的标记的表单时所应该采取的行为。
举例来说，当html表单作者想让用户能够上传一个或更多的文件时，他可以这么写：
    <form enctype="multipart/form-data" action="_url_" method=post>
file to process: 
<input name="userfile1" type="file">
            <input type="submit" value="send file">
    </form>
html dtd里所需要做出的改动是为inputtype实体增加一个选项。此外，我们也建议用一系列用逗号分隔的文件类型来作为input标记的accept属性。
  ... (其他元素) ...
  <!entity % inputtype "(text | password | checkbox |
                         radio | submit | reset |
                         image | hidden | file )">
  <!element input - 0 empty>
  <!attlist input
          type %inputtype text
          name cdata #implied  -- required for all but submit and reset
          value cdata #implied
          src %uri #implied  -- for image inputs --
          checked (checked) #implied
          size cdata #implied  --like numbers,
                                  but delimited with comma, not space
          maxlength number #implied
          align (top|middle|bottom) #implied
          accept cdata #implied --list of content types
          >
  ... (其他元素) ...
2.文件传输延迟
在某些情况下，在确实准备接受数据前，服务器先对表单数据中的某些元素（比如说用户名，账号等）进行验证是推荐的做法。但是，经过一定的考虑后，我们认为如果服务器想这样做的话，最好是采用一系列的表单，并将前面所验证过的数据元素作为“隐藏”字段传回给客户端，或者是通过安排表单使那些需要验证的元素先显示出来。这样的话，那些需要做复杂的应用的服务器可以自己维持事务处理的状态，而那些简单的应用的则可以实现得简单些。
http 协议可能需要知道整个事务处理中的内容总长度。即使没有明确要求，http客户端也应该提供上传的所有文件的内容总长度，这样一个繁忙的服务器就能够判断文件的内容是否是过大以至于将不能完整地处理，从而返回一个错误代码并关闭该连接，而不用等到接受了所有的数据才进行判断。目前一些现有的cgi应用对所有的post事务都需要知道内容总长度。
如果input标记含有一个maxlength属性，客户端可以将这个属性值看作是服务器端所能够接受的传送文件的最大字节数。在这种情况下，服务器能够在上传开始前，提示客户端在服务器上有多少空间可以用来进行文件上传。但是应该引起注意的是，这仅仅是一个提示，在表单被创建后和文件上传前，服务器的实际需求可能会发生改变。
在任何情况下，如果接受的文件过大的话，任何一个http服务器都有可能在文件传输的过程中中断传输。
3.传输二进制数据的其他解决办法
有些人曾经建议使用一种新的mime类型"aggregate"，比如说aggregate/mixed 或是content-transfer- encoding "包"来描述那些不确定长度的二进制数据，而不是靠分解为多个部分来表示。虽然我们并不反对这么做，但这需要增加额外的设计和标准化工作来让大家接受并理解"aggregate"。 从另一方面来说，"分解为多部分"的机制工作得很好，能够非常简单的在客户发送端和服务器接受端加以实现，而且能像其他一些综合处理二进制数据的方式一样高效率地工作。
4.例子
假设服务器段提供的是如下的html：
     <form action="http://server.dom/cgi/handle"
           enctype="multipart/form-data"
           method=post>
     what is your name? <input type=text name=submitter>
     what files are you sending? <input type=file name=pics>
     </form>
用户在“姓名”字段里面填写"joe blow"，对问题'what files are you sending?'，用户选择
了一个文本文件"file1.txt"。
客户段可能发送回如下的数据：
        content-type: multipart/form-data, boundary=aab03x
        --aab03x
        content-disposition: form-data; name="field1"
        joe blow
        --aab03x
        content-disposition: form-data; name="pics"; filename="file1.txt"
        content-type: text/plain
         ... file1.txt 的内容...
        --aab03x--
如果用户同时还选择了另一个图片文件"file2.gif"，那么客户端可能发送的数据将是：
        content-type: multipart/form-data, boundary=aab03x
        --aab03x
        content-disposition: form-data; name="field1"
        joe blow
        --aab03x
        content-disposition: form-data; name="pics"
        content-type: multipart/mixed, boundary=bbc04y
        --bbc04y
        content-disposition: attachment; filename="file1.txt"
        content-type: text/plain
        ... file1.txt 的内容...
        --bbc04y
        content-disposition: attachment; filename="file2.gif"
        content-type: image/gif
        content-transfer-encoding: binary
          ... file2.gif的内容...
        --bbc04y--
        --aab03x--
    二、利用rfc1867标准处理文件上传的两种方式：
         1．一次性得到上传的数据，然后分析处理。
看了n多代码之后发现，目前无组件程序和一些com组件都是使用request.binaryread方法。一次性得到上传的数据，然后分析处理。这就是为什么上传大文件很慢的原因了，iis超时不说，就算几百m文件上去了，分析处理也得一阵子。
         2．一边接收文件，一边写硬盘。
了解了一下国外的商业组件，比较流行的有power-web，aspupload,activefile,abcupload, aspsmartupload,sa-fileup。其中比较优秀的是aspupload和sa-file，他们号称可以处理2g的文件(sa- file ee版甚至没有文件大小的限制)，而且效率也是非常棒，难道编程语言的效率差这么多?查了一些资料,觉得他们都是直接操作文件流。这样就不受文件大小的制约。但老外的东西也不是绝对完美，aspupload处理大文件后,内存占用情况惊人。1g左右都是稀松平常。至于sa-file虽然是好东西但是破解难寻。然后发现2款.net上传组件，lion.web.uploadmodule和aspnetupload也是操作文件流。但是上传速度和 cpu占用率都不如老外的商业组件。
做了个测试，lan内传1g的文件。aspupload上传速度平均是4.4m/s，cpu占用10 -15，内存占用700m。sa-file也差不多这样。而aspnetupload最快也只有1.5m/s，平均是700k/s，cpu占用15- 39，测试环境: piii800,256m内存,100m lan。我想aspnetupload速度慢是可能因为一边接收文件，一边写硬盘。资源占用低的代价就是降低传输速度。但也不得不佩服老外的程序，cpu占用如此之低.....
     三、asp.net上传文件遇到的问题
我们在用asp.net上传大文件时都遇到过这样或那样的问题。设置很大的maxrequestlength值并不能完全解决问题，因为asp.net会 block直到把整个文件载入内存后，再加以处理。实际上，如果文件很大的话，我们经常会见到internet explorer显示  "the page cannot be displayed - cannot find server or dns error"，好像是怎么也 catch不了这个错误。为什么？因为这是个client side错误，server side端的application_error是处理不到的。
     四、asp.net大文件上传解决方案
解决的方法是利用隐含的httpworkerrequest，用它的getpreloadedentitybody 和 readentitybody方法从iis为asp.net建立的pipe里分块读取数据。chris hynes为我们提供了这样的一个方案(用httpmodule)，该方案除了允许你上传大文件外，还能实时显示上传进度。
         lion.web.uploadmodule和aspnetupload 两个.net组件都是利用的这个方案。
         方案原理：
利用httphandler实现了类似于isapi extention的功能，处理请求(request)的信息和发送响应(response)。
方案要点：
1．   httphandler or httpmodule
a.在asp.net进程处理request请求之前截获request对象
b.分块读取和写入数据
c.实时跟踪上传进度更新meta信息
2．   利用隐含的httpworkerrequest用它的getpreloadedentitybody 和 readentitybody方法处理文件流
iserviceprovider provider = (iserviceprovider) httpcontext.current; 
  httpworkerrequest wr = (httpworkerrequest) provider.getservice(typeof(httpworkerrequest));
  byte[] bs = wr.getpreloadedentitybody();
  ....
  if (!wr.isentireentitybodyispreloaded())
  {
        int n = 1024;
        byte[] bs2 = new byte[n];
        while (wr.readentitybody(bs2,n) >0)
       {
             .....
        }
  }
3．   自定义multipart mime 解析器
自动截获mime分割符
将文件分块写如临时文件
实时更新appliaction 状态（receivingdata, error, complete）