如何使用相同的 TLS 会话通过数据连接连接到 FTPS 服务器？

环境：我在 64 位 Windows 7 上使用 Sun Java JDK 1.8.0_60，使用 Spring Integration 4.1.6（内部似乎使用 Apache Commons Net 3.3 进行 FTPS 访问）。

我正在尝试将来自客户 FTPS 服务器的自动下载与我们的应用程序集成。我已经使用 Spring Integration 成功地使用了 SFTP 服务器，没有给其他客户端带来任何麻烦，也没有出现任何问题，但这是客户端第一次要求我们使用 FTPS，并且让它连接起来非常令人费解。在我的实际应用程序中，我使用 XML bean 配置 Spring Integration，为了尝试了解什么不起作用，我使用以下测试代码（尽管我在此处匿名化了实际的主机/用户名/密码）：

final DefaultFtpsSessionFactory sessionFactory = new DefaultFtpsSessionFactory();
sessionFactory.setHost("XXXXXXXXX");
sessionFactory.setPort(990);
sessionFactory.setUsername("XXXXXXX");
sessionFactory.setPassword("XXXXXXX");
sessionFactory.setClientMode(2);
sessionFactory.setFileType(2);
sessionFactory.setUseClientMode(true);
sessionFactory.setImplicit(true);
sessionFactory.setTrustManager(TrustManagerUtils.getAcceptAllTrustManager());
sessionFactory.setProt("P");
sessionFactory.setProtocol("TLSv1.2");
sessionFactory.setProtocols(new String[]{"TLSv1.2"});
sessionFactory.setSessionCreation(true);
sessionFactory.setCipherSuites(new String[]{"TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256"});

final FtpSession session = sessionFactory.getSession();
//try {
    final FTPFile[] ftpFiles = session.list("/");
    logger.debug("FtpFiles: {}", (Object[]) ftpFiles);
//} catch (Exception ignored ) {}
session.close();

我正在运行这段代码-Djavax.net.debug=all打印所有 TLS 调试信息。

与 FTPS 服务器的主要“控制”连接工作正常，但是当它尝试打开列表的数据连接（或我尝试过的任何其他数据连接）时，我得到一个javax.net.ssl.SSLHandshakeException: Remote host closed connection during handshake, 引起的java.io.EOFException: SSL peer shut down incorrectly。如果我取消注释周围的吞咽异常捕获块session.list命令，然后我可以看到（通过 javax.net.debug 输出）服务器在拒绝数据连接 SSL 握手后发送了以下消息：

main, READ: TLSv1.2 Application Data, length = 129
Padded plaintext after DECRYPTION:  len = 105
0000: 34 35 30 20 54 4C 53 20   73 65 73 73 69 6F 6E 20  450 TLS session 
0010: 6F 66 20 64 61 74 61 20   63 6F 6E 6E 65 63 74 69  of data connecti
0020: 6F 6E 20 68 61 73 20 6E   6F 74 20 72 65 73 75 6D  on has not resum
0030: 65 64 20 6F 72 20 74 68   65 20 73 65 73 73 69 6F  ed or the sessio
0040: 6E 20 64 6F 65 73 20 6E   6F 74 20 6D 61 74 63 68  n does not match
0050: 20 74 68 65 20 63 6F 6E   74 72 6F 6C 20 63 6F 6E   the control con
0060: 6E 65 63 74 69 6F 6E 0D   0A                       nection..

似乎正在发生的事情（这是我第一次处理 FTPS，尽管我以前处理过普通 FTP）是服务器确保控制和数据连接上的身份验证和加密的方式是在“正常”之后TLS 连接建立控制连接和身份验证发生在那里，每个数据连接都要求客户端使用相同的 TLS 会话进行连接。这对我来说是有意义的，因为它应该如何工作，但 Apache Commons Net FTPS 实现似乎并没有这样做。它似乎正在尝试建立新的 TLS 会话，因此服务器拒绝该尝试。

基于关于在 JSSE 中恢复 SSL 会话的问题 https://stackoverflow.com/q/10605062/65839，看来 Java 假设或要求每个主机/帖子组合有不同的会话。我的假设是，由于 FTPS 数据连接与控制连接位于不同的端口，因此它找不到现有会话并尝试建立新会话，因此连接失败。

我看到三种主要的可能性：

1. 服务器不遵循 FTPS 标准，要求数据端口上的 TLS 会话与控制端口上的相同。我可以使用 FileZilla 3.13.1 很好地连接到服务器（使用与我在代码中尝试使用的相同的主机/用户/密码）。服务器在登录时将自身标识为“FileZilla Server 0.9.53 beta”，因此这可能是某种专有的 FileZilla 处理方式，并且我需要做一些奇怪的事情来说服 Java 使用相同的 TLS 会话。
2. Apache Commons Net 客户端实际上并不遵循 FTPS 标准，并且仅允许某些不允许保护数据连接的子集。这看起来很奇怪，因为它似乎是从 Java 内部连接到 FTPS 的标准方法。
3. 我完全错过了一些东西并误诊了这一点。

如果您能提供有关如何连接到此类 FTPS 服务器的任何指导，我将不胜感激。谢谢。

事实上，某些 FTP(S) 服务器确实要求将 TLS/SSL 会话重新用于数据连接。这是一种安全措施，服务器可以通过该措施验证数据连接是否由与控制连接相同的客户端使用。

常见FTP服务器的一些参考：

• vsftpd: https://scarybeastsecurity.blogspot.com/2009/02/vsftpd-210-released.html https://scarybeastsecurity.blogspot.com/2009/02/vsftpd-210-released.html
• FileZilla 服务器：
• ProFTPD：http://www.proftpd.org/docs/contrib/mod_tls.html#TLSOptions http://www.proftpd.org/docs/contrib/mod_tls.html#TLSOptions (NoSessionReuseRequired指示）

可能对您的实施有所帮助的是，Cyber​​duck FTP(S) 客户端确实支持 TLS/SSL 会话重用，并且它使用 Apache Commons Net 库：

• https://github.com/iterate-ch/cyberduck/issues/5087 https://github.com/iterate-ch/cyberduck/issues/5087– 在数据连接上重用会话密钥

• See its FTPClient.java https://github.com/iterate-ch/cyberduck/blob/master/ftp/src/main/java/ch/cyberduck/core/ftp/FTPClient.java代码（扩展 Commons NetFTPSClient），特别是其覆盖_prepareDataSocket_ method https://github.com/iterate-ch/cyberduck/blob/d4bd187f89ff7c0a2966a7eef67ca6906c4f2b05/ftp/src/main/java/ch/cyberduck/core/ftp/FTPClient.java#L89:

   @Override
   protected void _prepareDataSocket_(final Socket socket) {
       if(preferences.getBoolean("ftp.tls.session.requirereuse")) {
           if(socket instanceof SSLSocket) {
               // Control socket is SSL
               final SSLSession session = ((SSLSocket) _socket_).getSession();
               if(session.isValid()) {
                   final SSLSessionContext context = session.getSessionContext();
                   context.setSessionCacheSize(preferences.getInteger("ftp.ssl.session.cache.size"));
                   try {
                       final Field sessionHostPortCache = context.getClass().getDeclaredField("sessionHostPortCache");
                       sessionHostPortCache.setAccessible(true);
                       final Object cache = sessionHostPortCache.get(context);
                       final Method putMethod = cache.getClass().getDeclaredMethod("put", Object.class, Object.class);
                       putMethod.setAccessible(true);
                       Method getHostMethod;
                       try {
                           getHostMethod = socket.getClass().getMethod("getPeerHost");
                       }
                       catch(NoSuchMethodException e) {
                           // Running in IKVM
                           getHostMethod = socket.getClass().getDeclaredMethod("getHost");
                       }
                       getHostMethod.setAccessible(true);
                       Object peerHost = getHostMethod.invoke(socket);
                       putMethod.invoke(cache, String.format("%s:%s", peerHost, socket.getPort()).toLowerCase(Locale.ROOT), session);
                   }
                   catch(NoSuchFieldException e) {
                       // Not running in expected JRE
                       log.warn("No field sessionHostPortCache in SSLSessionContext", e);
                   }
                   catch(Exception e) {
                       // Not running in expected JRE
                       log.warn(e.getMessage());
                   }
               }
               else {
                   log.warn(String.format("SSL session %s for socket %s is not rejoinable", session, socket));
               }
           }
       }
   }
  

• 看来_prepareDataSocket_方法已添加到 Commons NetFTPSClient特别是为了允许 TLS/SSL 会话重用实现：
  https://issues.apache.org/jira/browse/NET-426 https://issues.apache.org/jira/browse/NET-426

  对重用的本机支持仍然悬而未决：
  https://issues.apache.org/jira/browse/NET-408 https://issues.apache.org/jira/browse/NET-408

• 显然你需要重写 Spring IntegrationDefaultFtpsSessionFactory.createClientInstance()返回您的定制FTPSClient具有会话重用支持的实现。

自 JDK 8u161 起，上述解决方案不再单独工作。

根据JDK 8u161 更新发行说明 https://www.oracle.com/java/technologies/javase/8u161-relnotes.html（以及@Laurent 的回答 https://stackoverflow.com/q/32398754/850848#49132702):

添加了 TLS 会话哈希和扩展主密钥扩展支持
...
如果出现兼容性问题，应用程序可以通过设置系统属性来禁用此扩展的协商jdk.tls.useExtendedMasterSecret to false在JDK中

即，您可以调用它来解决问题（您仍然需要覆盖_prepareDataSocket_):

System.setProperty("jdk.tls.useExtendedMasterSecret", "false");

尽管这应该被认为只是一种解决方法。我不知道正确的解决方案。

另一种实现在这里：
https://issues.apache.org/jira/browse/NET-408 https://issues.apache.org/jira/browse/NET-408

关于 1.8.0_161 中的问题还有一个单独的问题：
JDK 8u161 中的 Apache FTPS 客户端中的 SSL 会话重用 https://stackoverflow.com/q/49257998/850848

我其实有过一样的问题 https://stackoverflow.com/q/7786352/850848过去（只是在 C++/OpenSSL 中，我不做 Java），所以我知道要谷歌搜索什么。