FTP FTPS和SFTP

程序员文章站 2022-07-13 09:56:44

...

一、协议知识
FTP
    FTP (File Transfer Protocol，RFC 959)是TCP/IP网络上用于文件传输的标准协议，基于C/S架构，可以上传、下载、删除文件，创建或改变服务器上的目录。在客户端和服务器间要建立分离的控制和数据连接，控制连接用于Session管理，如交换命令和回复、交换用户标识和密码等，数据连接用于传输数据。FTP使用明文登录协议验证用户名和密码，如果服务器允许也可以匿名连接。
    FTP有两种传输模式：主动和被动。主动模式时，客户端创建到服务器的TCP控制连接，发送客户端IP地址和随机的端口号，然后等待服务器初始化数据连接。这种情况下，如果客户端有防火墙，将无法接受进入的TCP连接。被动模式时，客户端使用控制连接向服务器发送PASV命令，然后接收服务器IP地址和端口号，客户端使用随机端口建立到服务器的数据连接。由于控制连接和数据连接都由客户端发起，可以解决防火墙问题。
    多数浏览器和文件管理器都能连接FTP服务器，默认大都使用被动模式。FTP URL语法如下：
    ftp://[<user>[:<password>]@]<host>[:<port>]/<url-path>
    FTP不是一个安全的协议，用户名、密码、命令和数据等都使用明文传输，内容非常容易被截获。在加密机制创立前设计的的网络协议，如SMTP、Telnet、POP、IMAP等都有这个问题。

FTPS
    FTP over SSL，常被称为Secure FTP，它是构建在SSL/TLS（RFC5246，Secure Socket Layer/Transport Layer Security）协议之上的，通过SSL/TLS对信道进行加密传输，它本身还需要FTP服务器的支持，又分为显示和隐式：
    显示FTPS又称为FTPES，是对FTP标准的扩展，客户端必须显示请求（客户端发送"AUTH TLS"命令）对FTP会话加密。如果客户端不要求加密，服务器也允许非加密通讯。服务器可以选择允许或拒绝未请求TLS的连接。这个扩展协议在推荐标准RFC4217中定义。
    隐式FTPS是过期的FTP标准，需要所有客户端都使用SSL或TLS连接。为了保持兼容性，隐式FTPS控制连接使用990端口，数据连接使用989端口。注意，隐式FTPS未在RFC4217中定义。
    FTPS支持如下验证方式：
    1、密码验证
    2、SSL证书验证

SFTP
    SFTP(SSH File Transfer Protocol)是SSH 2.0的一项扩展协议，提供安全的文件访问、传输和管理功能。SFTP协议的目标是通过可靠的数据流提供安全的文件传输功能，本身不提供验证和安全机制，需要依赖底层协议。SFTP协议虽然在SSH2协议中描述，但它是通用的，独立于SSH2套件中的其余协议。SFTP常作为SSH2.0实现的一个子系统。
    SFTP功能与FTP相似，有相似的命令集，但与FTP是无关的。与标准FTP不同，SFTP加密命令和数据，以防止在网络上明文传输密码和敏感信息。SFTP由于使用了不同的协议，不能使用标准的FTP客户端与SFTP服务器通讯，也不能使用SFTP客户端与FTP服务器通讯。
    SFTP是二进制协议，所有的命令（请求）都打包成二进制消息后发送到服务器，服务器回复二进制应答包。
    与早期的仅支持文件传输的SCP协议（SSH1.x中的）相比，SFTP协议支持更广泛的远程文件操作。SFTP客户端增加的额外功能包括：恢复中断的传输、目录列表、远程文件删除。SFTP服务器支持大多数平台。SSH 1是过时的，不安全的，不推荐使用。
    SSH服务器提供了如下3种验证方式：
    1、密码验证
    2、密钥验证
    3、密码+密钥验证
    关于验证方式的选择，推荐使用密钥验证，其安全性高于单纯的密码验证。
    目前使用最广泛的SFTP服务器是OpenSSH。

FTPS vs. SFTP What to Choose

二、Java客户端API
Apache Commons Net
支持的协议:

FTP/FTPS
FTP over HTTP (experimental)
NNTP
SMTP(S)
POP3(S)
IMAP(S)
Telnet
TFTP
Finger
Whois
rexec/rcmd/rlogin
Time (rdate) and Daytime
Echo
Discard
NTP/SNTP

jsch
SSH2的纯Java实现(BSD style license)，可以连接到sshd服务器，支持端口转发、X11转发、文件传输；支持http代理、SOCKS5代理；支持密码、密钥验证。

三、FTP和SSH客户端
FileZilla
支持FTP、FTPS、SFTP，支持Windown、Linux、BSD、Mac OS等多种平台，支持多种语言，支持HTTP/1.1、SOCKS5、 FTP代理。

FTP FTPS和SFTP

博客分类： Protocol FTPFTPSSFTPChroot

WinSCP
WinSCP是开源的Windows图形化SFTP客户端。支持基于SSH-1、SSH-2的SCP和SFTP协议；支持多语言；支持批处理脚本和命令行方式；内置文本编辑器；集成Putty。

FTP FTPS和SFTP

博客分类： Protocol FTPFTPSSFTPChroot

Core FTP
Windows FTP客户端，支持FTP、FTPS、SFTP协议。

FTP FTPS和SFTP

博客分类： Protocol FTPFTPSSFTPChroot

PuTTY
SSH、Telnet和Rlogin客户端，适用于Windows和Unix平台，支持X11转发（Windows下需安装Cygwin/X, X-Win32, 或Exceed）、端口转发。

四、服务器

OpenSSH

OpenSSH是SSH协议的开源实现，在Unix系统中广泛使用。

OpenSSH包括以下工具：

远程操作ssh, scp, sftp
密钥管理ssh-add, ssh-keysign, ssh-keyscan, ssh-keygen
服务端包含sshd, sftp-server, ssh-agent

Installation instructions

Apache SSHD

Apache SSHD是支持SSH协议的100%纯Java类库，可用于客户端和服务端。SSHD的目标是为需要SSH服务的Java应用提供支持，而不是为了取代Unix操作系统的SSH客户端和SSH服务。SSHD很容易嵌入到Java应用中。

Dropbear SSH

Dropbear是一个开源的SSH服务器和客户端（MIT-style license），特别适用于嵌入型Linux（或其他Unix）系统，如无线路由器。

freeSSHd

Windows平台SSH服务器的免费实现，安装后可快速创建SSH服务。

FTP服务器比较：http://en.wikipedia.org/wiki/Comparison_of_FTP_server_software

SSH服务器比较：http://en.wikipedia.org/wiki/Comparison_of_SSH_servers

五、使用OpenSSH搭建SFTP服务器
1. 密码验证方式
1) 创建SFTP账户
    groupadd sftp
    useradd -m -d /home/sftp -g sftp -s /sbin/nologin sftp
    设置账户密码：
    passwd sftp

2) 创建SFTP目录
    #创建SFTP用户根目录
    mkdir /sftp
    chown root:root /sftp
    chmod 755 /sftp
    #创建SFTP存储目录
    cd /sftp
    mkdir xxxx
    chown sftp:sftp xxxx
    chmod 755 xxxx

3) SSH配置
    vim /etc/ssh/sshd_config

    #启用密码验证
    PasswordAuthentication yes
    #注释原来的Subsystem设置
    #Subsystem sftp    /usr/libexec/openssh/sftp-server
    #启用internal-sftp
    Subsystem sftp internal-sftp

    #设置Chroot目录
    Match User sftp
    X11Forwarding no
    AllowTcpForwarding no
    ForceCommand internal-sftp
    ChrootDirectory /sftp

注意：Chroot目录及其所有上级文件夹的权限，owner和group必须是root；权限最大设置是755，否则无法登录。

    如果创建了多个sftp账户，也可根据组进行配置：
    Match Group sftp
    X11Forwarding no
    AllowTcpForwarding no
    ForceCommand internal-sftp
    # %u代表用户名，此处需在/sftp目录下创建用户文件夹(也可使用用户目录%h,这种方式更简单)
    ChrootDirectory /sftp/%u

4) 重启sshd服务和测试
    service sshd restart
    sftp sftp@192.168.1.10

2. 密钥验证方式
    使用密钥验证方式，为了安全由要访问SFTP服务器的用户创建密钥对，然后将公钥发送给SFTP服务器管理员，由其导入到SFTP账户的authorized_keys文件中。
1) 生成密钥对
    ssh-keygen -t rsa -N ‘’ -C comment -f filename
-t 代表key类型（算法），可选值”dsa”, “rsa”, “ecdsa”
-N 指定密码，可以为空
-C comment，会显示在公钥末尾，便于区分公钥，默认为username@host
-f 密钥文件名，默认为~/.ssh/id_dsa，~/.ssh/id_rsa，~/.ssh/id_ecdsa
2) 将公钥导入SFTP账户的~/.ssh/authorized_keys文件中
    cat id_rsa.pub >> .ssh/authorized_keys

    chmod 700 .ssh
    chmod 600 .ssh/authorized_keys
3) 编辑sshd_config
    # 启用密钥验证
    PubkeyAuthentication yes

其他步骤与密码验证方式相同。

也可以使用PuTTYgen工具生成密钥对。
FTP FTPS和SFTP

博客分类： Protocol FTPFTPSSFTPChroot

3. 解析/etc/passwd sftp用户目录进行批量授权并添加sftp管理员

#!/bin/bash

change_own() {
  setfacl -Rb /sftp
  chown root:root /sftp /sftp/*
  chmod -R 755 /sftp
}

set_acl() {
  users=$(grep -E "$1" /etc/passwd)

  IFS_old=$IFS
  for u in $users
  do
    IFS=":"
    uinfo=($u)
    chown -R "${uinfo[0]}":sftp "${uinfo[5]}"/$2
    setfacl -Rm u:manager:rwx "${uinfo[5]}"/$2
    setfacl -Rm d:u:manager:rwx "${uinfo[5]}"/$2
	if [ -d "${uinfo[5]}/.ssh" ]; then
	  chown -R "${uinfo[0]}":sftp "${uinfo[5]}"/.ssh
	fi
  done
  IFS=$IFS_old
}

set_sftp_acl() {
  set_acl "PATH1|PATH2|PATH3" "*"
}

change_own
set_sftp_acl

参考文档

sshd_config

File Transfer Protocol

FTPS

SSH File Transfer Protocol

sftp hardening with chrooting and ACL

Amazon EC2 and NFS