欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

【转】java大数据处理(千万级别FTP下载)

程序员文章站 2022-06-09 19:46:02
...

千万级别只是个概念,代表数据量等于千万或者大于千万的数据
               本分享不牵扯分布式采集存储之类的.是在一台机器上处理数据,如果数据量很大很大的话,可以考虑分布式处理,如果以后我有这方面的经验,会及时分享的.

  1、程序采用的ftp工具, apache 的 commons-net-ftp-2.0.jar
   
   2、千万级别ftp核心关键的部分--列目录到文件,只要是这块做好了,基本上性能就没有太大的问题了.
   
     可以通过apache 发送ftp命令 "NLST" 的方式列目录到文件中去

  
# ftp列目录执行的命令 以环境变量的配置优先,不配置则使用默认的列目录方式 NLST  # DS_LIST_CMD = NLST 

public File sendCommandAndListToFile(String command,String localPathName) throws   IOException 
        {
                 try {
                         return client.createFile(command, localPathName);
                 } catch (IOException e) {
                         log.error(e);
             throw new IOException("the command "+command +" is incorrect");
                 }
         }

 当然应该还有其他形式的,大家可以自己研究一下
   
               十万级别以上的数据量的话千万不要使用下面这种方式,如果用的话 ==== 找死

 FTPFile[] dirList = client.listFiles();  

 3、分批次从文件中读取 要下载的文件名.  加载到内存中处理,或者读取一个文件名就下载一个文件,不要把所有的数据都加载到内存,如果很多的话会出问题
     
               为啥要分批次?
               因为是大数据量,如果有1000W条记录,列出来的目录文件的大小 1G以上吧
 

  4、文件下载的核心代码----关于文件的断点续传, 获得ftp文件的大小和本地文件的大小进行判断,然后使用ftp提供的断点续传功能
               下载文件一定要使用二进制的形式

              client.enterLocalPassiveMode();// 设置为被动模式
               ftpclient.binary();  // 一定要使用二进制模式
   /** 下载所需的文件并支持断点续传,下载后删除FTP文件,以免重复
          * @param pathName 远程文件
          * @param localPath 本地文件
          * @param registerFileName 记录本文件名称目录
          * @param size 上传文件大小
          * @return true 下载及删除成功
          * @throws IOException 
         * @throws Exception
          */
         public boolean downLoad(String pathName, String localPath) throws IOException {
                 boolean flag = false;
                 File file = new File(localPath+".tmp");//设置临时文件
                 FileOutputStream out = null;
                 try{
                     client.enterLocalPassiveMode();// 设置为被动模式
                     client.setFileType(FTP.BINARY_FILE_TYPE);//设置为二进制传输
                         if(lff.getIsFileExists(file)){//判断本地文件是否存在,如果存在并且长度小于FTP文件的长度时断点续传;返之新增
                                 long size = this.getSize(pathName);
                                 long localFileSize = lff.getSize(file);        
                                 if(localFileSize > size){
                                         return false;
                                 }
                                 out = new FileOutputStream(file,true);
                                 client.setRestartOffset(localFileSize);
                                 flag = client.retrieveFile(new String(pathName.getBytes(),client.getControlEncoding()),out);
                                 
                                 out.flush();
                         } else{
                                 out = new FileOutputStream(file);
                                 flag = client.retrieveFile(new String(pathName.getBytes(),client.getControlEncoding()),out);
                                 
                                 out.flush();
                         }
                         
                 }catch(IOException e){
                         log.error(e);
             log.error("file download error !");
                         throw e;
                 }finally{
                         try{
                                 if(null!=out)
                                 out.close();
                                 if(flag)
                                         lff.rename(file, localPath);
                         }catch(IOException e){
                                 throw e;
                         }
                 }
                 return flag;
         }
     /**
          * 获取文件长度
          * @param fileNamepath 本机文件
          * @return
          * @throws IOException
          */
         public long getSize(String fileNamepath) throws IOException{
                 FTPFile [] ftp = client.listFiles(new String(fileNamepath.getBytes(),client.getControlEncoding()));
                 return ftp.length==0 ? 0 : ftp[0].getSize();
         }
 
        检测本地文件是否已经下载,如果下载文件的大小.
 
       /**
          *本地文件的 获取文件的大小
          * @param file
          * @return
          */
         public long getSize(File file){
                 long size = 0;
                 if(getIsFileExists(file)){
                         size = file.length();
                 }
                 return size;
         }
 
 

  5、因为程序要跑最多100多个线程,在线程监控上做了一些处理,可以检测那些死掉的线程,并及时的拉起来。

引用

t.setUncaughtExceptionHandler(new ThreadException(exList));

 原理:给每个线程添加 UncaughtExceptionHandler,死掉的时候把线程对应的信息加入到一个list里面,然后让主线程每隔一段时间扫描一下list,如果有数据,直接重新建一个线程运行即可
  

  6、如果程序是常驻内存的话,别忘记了在finally中关闭掉 不用的ftp连接
  

  7、做大数据库采集程序必须考虑到的一件事情   磁盘空间已满的处理
   
          java虚拟机对于磁盘空间已满,在英文环境下的  linux aix 机器上 一般报
          There is not enough space in the file system
          中文环境下 一般报 "磁盘空间已满"
          大家可以使用下面的代码进行验证 

 //linux aix There is not enough space in the file system
          // window There is not enough space in the file system
          if(e.toString().contains("enough space")||e.toString().contains("磁盘空间已满"))
                         {
                                 log.error("channel "+channel_name + " There is not enough space on the disk ");
                                 Runtime.getRuntime().exit(0);
                         }

 

相关标签: java ftp