SpringBoot集成FastDFS+Nginx整合基于Token的防盗链的方法

为什么要用springboot?

springboot是由pivotal团队提供的全新框架，其设计目的是用来简化新spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，spring boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。

• 创建独立的spring应用程序
• 嵌入的tomcat，无需部署war文件
• 简化maven配置
• 自动配置spring
• 提供生产就绪型功能，如指标，健康检查和外部配置
• 绝对没有代码生成并且对xml也没有配置要求

为什么要用nginx?

概述

nginx（engine x）是一个开源的，支持高并发的www服务和代理服务软件。nginx是俄罗斯人igor sysoev开发的，最初被应用到俄罗斯的大型网站（）上。后来作者将源代码以类bsd许可证的形式开源出来供全球使用。在功能应用方面，nginx不仅是一个优秀的web服务软件，还具有反向代理负载均衡和缓存的功能。在反向代理负载均衡方面类似于lvs负载均衡及haproxy等你专业代理软件。nginx部署起来更加方便简单，在缓存服务功能方面，有类似于squid等专业的缓存服务软件。nginx可以运行在unix、linux、ms windows server、mac os x server、solaris等操作系统中。

nginx的重要特性

• 可以针对静态资源高速节点并发访问及缓存。
• 可以使用反向代理加速，并且可以进行数据缓存。
• 具有简单负载均衡，节点健康检查和容错功能。
• 支持远程fast cgi服务的缓存加速。
• 支持fast cgi、uwsgi、scgi、memcached server的加速和缓存。
• 支持ssl、tls、sni。
• 具有模块化的架构。
• 过滤器包括gzip压缩、ranges支持、chunked响应、xslt、ssl和图像缩放等功能。
• 在ssl过滤器中，包含多个ssl页面，如果经由fast cgi或反向代理处理，可以并行处理。

nginx所具备的www服务特性

• 支持基于域名、端口和ip的虚拟主机配置。
• 支持keepalived和piplined连接。
• 可进行简单、方便、灵活的配置和管理。
• 支持修改nginx配置，并且在代码上线时，可平滑重启，不中断业务访问。
• 可自定义访问日志格式，临时缓冲写日志操作，快速日志轮询及通过rsyslog处理日志。
• 可利用信号控制nginx进程。
• 支持3xx-5xxhttp状态码重定向。
• 支持rewrite模块，支持uri重写及正则表达式匹配。
• 支持基于客户端ip地址和http基本认证的访问控制。
• 支持put、delete、mkcol、copy、move等特殊的http请求方法。
• 支持flv流和mp4流技术产品应用。
• 支持http响应速率限制。
• 支持同一ip地址的并发连接或请求限制。
• 支持邮件服务代理。
• 支持高并发，可以支持几百万并发连接。
• 资源消耗少，在3万并发连接下，可以开启10个nginx的线程消耗的内存不到200mb。
• 可以做http反向代理及加速缓存，及负载均衡功能，内置对rs节点服务器健康检查功能，折现但能够与专业的haproxy或lvs的功能。
• 具备squid等专业缓存软件等的缓存功能。
• 支持异步网络i/o事件模型epoll（linux2.6+）。

nginx软件主要企业应用

• 作为web服务软件。
• 使用nginx运行html、js、css、小图片等静态数据（类似于lighttpd）。
• 结合fast cgi运行php等动态程序（例如使用fastcgi_pass方式）。
• nginx结合tomcat/resin等支持java动态程序（常用proxy_pass）。
• 反向代理或负载均衡服务（nginx从1.9.0开始就开始支持tcp的代理了）。
• 前端业务数据缓存服务。

web服务应用产品性能对比

• 静态数据的访问上：处理小文件（小于1mb）时，nginx和lighttpd比apache更有优势，nginx处理小文件的优势明显，lighttpd综合最强。
• 动态数据的访问上：三者差距不大，apache更有优势，因为处理动态数据的能力在于php（java）和后端数据库的服务能力，也就是说瓶颈不在web服务器上。
• 一般情况下普通php引擎支持的并发连接参考值3001000。java引擎和数据库的并发连接参考值3001500。

为什么nginx比apache的性能高？

• nginx使用最新版的eepoll（linux 2.6内核）和kqueue（freebsd）异步网络i/o模型，而apache使用的是传统的select模型。
• 目前linux下能够承受高并发访问的squid、memcached软件采用都是epoll模型。
• 处理大量的连接的读写时，apache所采用的select网络i/o模型比较低。

如何正确采用web服务器？

• 静态业务：如果是高并发场景，尽量采用nginx或lighttpd，二者首选nginx。
• 动态业务：理论上采用nginx和apache均可，建议使用nginx，为了避免相同业务服务的软件多样化，增加维护成本，动态业务可以使用nginx兼做前端代理，再根据页面的元素或目录转发到其他的服务器进行处理。
• 既有动态业务又有静态业务，就用nginx。

关于部署，就不在重复了，如果需要请移步《java高级架构之fastdfs分布式文件集群》：

使用idea场景启动器创建工程

创建maven工程，修改pom.xml文件添加如下依赖：

<dependencies>
  <!-- springboot的自动配置相关依赖 -->
  <dependency>
    <groupid>org.springframework.boot</groupid>
    <artifactid>spring-boot-autoconfigure</artifactid>
    <version>1.5.20.release</version>
  </dependency>

  <dependency>
    <groupid>org.springframework.boot</groupid>
    <artifactid>spring-boot-configuration-processor</artifactid>
    <version>1.5.20.release</version>
  </dependency>
  <!-- 日志相关的依赖 -->
  <dependency>
    <groupid>org.springframework.boot</groupid>
    <artifactid>spring-boot-starter-logging</artifactid>
    <version>1.5.20.release</version>
  </dependency>
  <!-- 对象池相关的依赖 -->
  <dependency>
    <groupid>org.apache.commons</groupid>
    <artifactid>commons-pool2</artifactid>
    <version>2.6.0</version>
  </dependency>

</dependencies>

创建必要的包

• annotation：存放相关的注解
• autoconfiguation: 存储自动配置类
• factory: 存放工厂类
• properties: 存放配置参数类
• service: 存放服务类

一般情况下，springboot都会提供相应的@enablexxx注解标注在应用的主启动类上开启某个功能：

// enablefastdfsclient.java
@target(elementtype.type)
@retention(retentionpolicy.runtime)
@import(fastdfsautoconfiguration.class)
@documented
public @interface enablefastdfsclient {
}

下面是相关的自动配置类：

// fastdfsautoconfiguration.java
@configuration
@enableconfigurationproperties(fastdfsproperties.class)
public class fastdfsautoconfiguration {
  @autowired
  private fastdfsproperties fastdfsproperties;

  @bean
  @conditionalonmissingbean(fastdfsclientservice.class)
  public fastdfsclientservice fastdfsclientservice() throws exception {
    return new fastdfsclientservice(fastdfsproperties);
  }
}

创建相关的工厂类：

// storageclientfactory.java
// 用于创建连接对象的工厂类
public class storageclientfactory implements pooledobjectfactory<storageclient> {

  @override
  public pooledobject<storageclient> makeobject() throws exception {
    trackerclient client = new trackerclient();
    trackerserver server = client.getconnection();
    return new defaultpooledobject<>(new storageclient(server, null));
  }

  @override
  public void destroyobject(pooledobject<storageclient> p) throws exception {
    p.getobject().gettrackerserver().close();
  }

  @override
  public boolean validateobject(pooledobject<storageclient> p) {
    return false;
  }

  @override
  public void activateobject(pooledobject<storageclient> p) throws exception {

  }

  @override
  public void passivateobject(pooledobject<storageclient> p) throws exception {

  }
}

properties类用来映射application.properties或者application.yml配置文件：

// fastdfsproperties.java
@configurationproperties(prefix = "fastdfs")
public class fastdfsproperties {
  // 连接超时时间
  // 网络超时时间
  // 字符集编码
  // 是否使用token
  // token加密密钥
  // 跟踪器ip地址，多个使用分号隔开
  // 连接池的连接对象最大个数
  // 连接池的最大空闲对象个数
  // 连接池的最小空闲对象个数
  // nginx服务器ip，多个使用分号分割
  // 获取连接对象时可忍受的等待时长(毫秒)
  private string connecttimeout = "5";
  private string networktimeout = "30";
  private string charset = "utf-8";
  private string httpantistealtoken = "false";
  private string httpsecretkey = "";
  private string httptrackerhttpport = "";
  private string trackerservers = "";
  private string connectionpoolmaxtotal = "18";
  private string connectionpoolmaxidle = "18";
  private string connectionpoolminidle = "2";
  private string nginxservers = "";

  // 需要创建相关的setter和getter方法
}

在service类中封装方法， 下面仅展示3个常用的方法：

// fastdfsclientserivce.java
public class fastdfsclientservice {
  // springboot加载的配置文件
  // 连接池配置项
  // 转换后的配置条目
  // 连接池
  // nginx服务器地址
  private fastdfsproperties fdfsprop;
  private genericobjectpoolconfig config;
  private properties prop;
  private genericobjectpool<storageclient> pool;
  private string[] nginxservers;
  private logger logger;

  public fastdfsclientservice(fastdfsproperties fdfsprop) throws exception {
    this.fdfsprop = fdfsprop;
    this.logger = loggerfactory.getlogger(getclass());
    init();
    create();
    info();
  }

  /**
   * 初始化全局客户端
   */
  private void init() throws exception {
    this.prop = new properties();
    this.logger.info("fastdfs: reading config file...");
    this.logger.info("fastdfs: fastdfs.connect_timeout_in_seconds=" + this.fdfsprop.getconnecttimeout());
    this.logger.info("fastdfs: fastdfs.network_timeout_in_seconds=" + this.fdfsprop.getnetworktimeout());
    this.logger.info("fastdfs: fastdfs.charset=" + this.fdfsprop.getcharset());
    this.logger.info("fastdfs: fastdfs.http_anti_steal_token=" + this.fdfsprop.gethttpantistealtoken());
    this.logger.info("fastdfs: fastdfs.http_secret_key=" + this.fdfsprop.gethttpsecretkey());
    this.logger.info("fastdfs: fastdfs.http_tracker_http_port=" + this.fdfsprop.gethttptrackerhttpport());
    this.logger.info("fastdfs: fastdfs.tracker_servers=" + this.fdfsprop.gettrackerservers());
    this.logger.info("fastdfs: fastdfs.connection_pool_max_total=" + this.fdfsprop.getconnectionpoolmaxtotal());
    this.logger.info("fastdfs: fastdfs.connection_pool_max_idle=" + this.fdfsprop.getconnectionpoolmaxidle());
    this.logger.info("fastdfs: fastdfs.connection_pool_min_idle=" + this.fdfsprop.getconnectionpoolminidle());
    this.logger.info("fastdfs: fastdfs.nginx_servers=" + this.fdfsprop.getnginxservers());

    this.prop.put("fastdfs.connect_timeout_in_seconds", this.fdfsprop.getconnecttimeout());
    this.prop.put("fastdfs.network_timeout_in_seconds", this.fdfsprop.getnetworktimeout());
    this.prop.put("fastdfs.charset", this.fdfsprop.getcharset());
    this.prop.put("fastdfs.http_anti_steal_token", this.fdfsprop.gethttpantistealtoken());
    this.prop.put("fastdfs.http_secret_key", this.fdfsprop.gethttpsecretkey());
    this.prop.put("fastdfs.http_tracker_http_port", this.fdfsprop.gethttptrackerhttpport());
    this.prop.put("fastdfs.tracker_servers", this.fdfsprop.gettrackerservers());
    clientglobal.initbyproperties(this.prop);
  }
  /**
   * 显示初始化信息
   */
  private void info() {
    this.logger.info("fastdfs parameter: connectionpoolmaxtotal ==> " + this.pool.getmaxtotal());
    this.logger.info("fastdfs parameter: connectionpoolmaxidle ==> " + this.pool.getmaxidle());
    this.logger.info("fastdfs parameter: connectionpoolminidle ==> " + this.pool.getminidle());
    this.logger.info("fastdfs parameter: nginxserver ==> " + arrays.tostring(this.nginxservers));
    this.logger.info(clientglobal.configinfo());
  }

  /**
   * 创建连接池
   */
  private void create() {
    this.config = new genericobjectpoolconfig();
    this.logger.info("fastdfs client: creating connection pool...");
    this.config.setmaxtotal(integer.parseint(this.fdfsprop.getconnectionpoolmaxtotal()));
    this.config.setmaxidle(integer.parseint(this.fdfsprop.getconnectionpoolmaxidle()));
    this.config.setminidle(integer.parseint(this.fdfsprop.getconnectionpoolminidle()));
    storageclientfactory factory = new storageclientfactory();
    this.pool = new genericobjectpool<storageclient>(factory, this.config);
    this.nginxservers = this.fdfsprop.getnginxservers().split(",");
  }

  /**
   * nginx服务器负载均衡算法
   *
   * @param servers 服务器地址
   * @param address 客户端ip地址
   * @return 可用的服务器地址
   */
  private string getnginxserver(string[] servers, string address) {
    int size = servers.length;
    int i = address.hashcode();
    int index = abs(i % size);
    return servers[index];
  }

  /**
   * 带有防盗链的下载
   *
   * @param filegroup    文件组名
   * @param remotefilename 远程文件名称
   * @param clientipaddress 客户端ip地址
   * @return 完整的url地址
   */
  public string autodownloadwithtoken(string filegroup, string remotefilename, string clientipaddress) throws exception {
    int ts = (int) (system.currenttimemillis() / 1000);
    string token = protocommon.gettoken(remotefilename, ts, clientglobal.getg_secret_key());
    string nginx = this.getnginxserver(this.nginxservers, clientipaddress);
    return "http://" + nginx + "/" + filegroup + "/" + remotefilename + "?token=" + token + "&ts=" + ts;
  }

  /**
   * 上传文件，适合上传图片
   *
   * @param buffer 字节数组
   * @param ext  扩展名
   * @return 文件组名和id
   */
  public string[] autoupload(byte[] buffer, string ext) throws exception {
    string[] upload = this.upload(buffer, ext, null);
    return upload;
  }

  /**
   * 不带防盗链的下载，如果开启防盗链会导致该方法抛出异常
   *
   * @param filegroup    文件组名
   * @param remotefilename 远程文件id
   * @param clientipaddress 客户端ip地址，根据客户端ip来分配nginx服务器
   * @return 完整的url地址
   */
  public string autodownloadwithouttoken(string filegroup, string remotefilename, string clientipaddress) throws exception {
    if (clientglobal.getg_anti_steal_token()) {
      this.logger.error("fastdfs client: you've turned on token authentication.");
      throw new exception("you've turned on token authentication.");
    }
    string nginx = this.getnginxserver(this.nginxservers, clientipaddress);
    return "http://" + nginx + filegroup + "/" + remotefilename;
  }

  // 后面还有好多方法，就不一一展示了
}

为了在idea中使用便捷的配置提示功能，我们需要创建元数据文件（resources/spring-configuration-metadata.json）：

{
 "groups": [
  {
   "name": "fastdfs",
   "type": "com.bluemiaomiao.properties.fastdfsproperties",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties"
  }
 ],
 "properties": [
  {
   "name": "connecttimeout",
   "type": "java.lang.string",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties",
   "defaultvalue": "5"
  },
  {
   "name": "networktimeout",
   "type": "java.lang.string",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties",
   "defaultvalue": "30"
  },
  {
   "name": "charset",
   "type": "java.lang.string",
   "defaultvalue": "utf-8"
  },
  {
   "name": "httpantistealtoken",
   "type": "java.lang.string",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties",
   "defaultvalue": "false"
  },
  {
   "name": "httpsecretkey",
   "type": "java.lang.string",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties"
  },
  {
   "name": "httptrackerhttpport",
   "type": "java.lang.integer",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties"
  },
  {
   "name": "trackerservers",
   "type": "java.lang.string",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties"
  },
  {
   "name": "connectionpoolmaxtotal",
   "type": "java.lang.integer",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties",
   "defaultvalue": "18"
  },
  {
   "name": "connectionpoolmaxidle",
   "type": "java.lang.integer",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties",
   "defaultvalue": "18"
  },
  {
   "name": "connectionpoolminidle",
   "type": "java.lang.integer",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties",
   "defaultvalue": "2"
  },
  {
   "name": "nginxservers",
   "type": "java.lang.string",
   "sourcetype": "com.bluemiaomiao.properties.fastdfsproperties"
  }
 ],
 "hints": [
  {
   "name": "http_anti_steal_token",
   "values": [
    {
     "value": "false"
    },
    {
     "value": "true"
    }
   ]
  }
 ]
}

应用到项目中

创建springboot项目，勾选web选项，版本选择1.5.20

进入场景启动器的项目目录执行mvn clean install 将其安装到本地

在pom.xml文件中添加依赖：

<dependency>
  <groupid>com.bluemiaomiao</groupid>
  <artifactid>fastdfs-spring-boot-starter</artifactid>
  <version>1.0-snapshot</version>
</dependency>

记得开启idea的自动导入功能

创建配置文件application.properties

fastdfs.nginx-servers=192.168.80.2:8000,192.168.80.3:8000,192.168.80.4:8000
fastdfs.tracker-servers=192.168.80.2:22122,192.168.80.3:22122,192.168.80.4:22122
fastdfs.http-secret-key=2scpwmpctxhblvoyb0jyuyqzytoofmfcbiye65n56ppyvwrntxzlidbpdvddljm8qhhkxsgwtcr+9vdg3yptkw
fastdfs.http-anti-steal-token=true
fastdfs.http-tracker-http-port=8080
fastdfs.network-timeout=30
fastdfs.connect-timeout=5
fastdfs.connection-pool-max-idle=18
fastdfs.connection-pool-min-idle=2
fastdfs.connection-pool-max-total=18
fastdfs.charset=utf-8

或者使用application.yml

fastdfs:
 charset: utf-8
 connect-timeout: 5
 http-secret-key: 2scpwmpctxhblvoyb0jyuyqzytoofmfcbiye65n56ppyvwrntxzlidbpdvddljm8qhhkxsgwtcr+9vdg3yptkw
 network-timeout: 30
 http-anti-steal-token: true
 http-tracker-http-port: 8080
 connection-pool-max-idle: 20
 connection-pool-max-total: 20
 connection-pool-min-idle: 2
 nginx-servers: 192.168.80.2:8000,192.168.80.3:8000,192.168.80.4:8000
 tracker-servers: 192.168.80.2:22122,192.168.80.3:22122,192.168.80.4:22122

创建控制器类测试方法

// controllers.downloadcontroller.java
@controller
@requestmapping(value = "/download")
public class downloadcontroller {

  @autowired
  private fastdfsclientservice service;

  @responsebody
  @requestmapping(value = "/image")
  public string image() throws exception {
    // 之前上传过的数据，实际应用场景应该使用sql数据库来存储
    return service.autodownloadwithtoken("group1", "m00/00/00/wkhqa1ysjsgapjxbaavfol7fju4.tar.gz", "192.168.80.1");
  }
}

项目主页：

国内项目主页：

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。