Springboot实现VNC的反向代理

背景

用户需要通过前端HTML页面的noVNC（noVNC是什么？）客户端连接底层VNC Server服务端，为了防止VNC Server的IP暴露，因此需要做一层代理。正常情况下使用Nginx、Apache等都可以搞定，但是由于项目架构的一些问题，暂时不能再加一台反向代理服务器，所以决定写一个单独的模块实现反向代理的功能。

在网上和Github上找了一下，使用了HTTP-Proxy-Servlet，引入该依赖搭建一个Spring Boot项目。

搭建

1.引入代理的依赖

<dependency><groupId>org.mitre.dsmiley.httpproxy</groupId><artifactId>smiley-http-proxy-servlet</artifactId><version>1.12</version></dependency>

2.通过注册bean拦截指定URL路径进行自定义操作

@ConfigurationpublicclassProxyServletConfiguration{

    // 拦截所有请求交给下面的VNCProxyServlet去处理privatefinalstatic String SERVLET_URL = "/*";

    @Beanpublic ServletRegistrationBean<VNCProxyServlet> servletServletRegistrationBean(){
        ServletRegistrationBean<VNCProxyServlet> servletRegistrationBean = new ServletRegistrationBean<>(new VNCProxyServlet(), SERVLET_URL);
        //设置网址以及参数
        Map<String, String> params = ImmutableMap.of(
                "targetUri", "null", //这里写null是因为targetUri是在自定义的VNCProxyServlet类中动态传入的，而且这里必须要有值
                ProxyServlet.P_LOG, "true",
                ProxyServlet.P_PRESERVEHOST,"true",
                ProxyServlet.P_PRESERVECOOKIES,"true"
        );
        servletRegistrationBean.setInitParameters(params);
        return servletRegistrationBean;
    }

}

这里遇到的坑：

刚开始其实是准备在已有的一个模块中加上这个代理功能，因为可以指定拦截的路径，比如只拦截请求路径为/proxy/*的，然后交给自定义的Servlet去代理，后来写好测试时，发现代理过去后代理目标主页一片空白，看了控制台的Network后，主页确实是返回200且加载正常，但是由主页发起的js、css和img等静态资源状态码都为404。

当时以为是代码的问题，后来发现静态资源都是相对路径的有问题，如果前端的静态资源是引入第三方的，比如从CDN中引入Vue.js则不会出现问题，都可以正常的被代理。既然状态码是404，那肯定是找不到这个资源，看了一下发现如果在静态资源的路径前加上指定拦截的路径/proxy/就可以被正常代理。此时才明白，因为访问首页的路径中带/proxy/是在地址栏主动输入的，所以请求到后台，后台Servlet拦截发现路径中带/proxy/，把该请求交给自定义的代理Servlet去处理然后返回。而主页上的js、css等静态资源发起请求的路径是不会带/proxy/*的，因此不会走到代理Servlet，并且代理模块中也没有相应资源路径，所以就理所应当的返回了404。

为此还专门在GitHub上问了一下作者，作者也是回复说这并不是这个代理模块该做的事，最好是前端处理，或者让前端使用绝对路径。附上地址（Discussions）

最后就是决定单独拉出来写一个Spring Boot项目做这个代理功能模块，直接代理/*，这样所有请求到这个模块的都会被代理。

3.自定义Servlet实现动态代理目标地址

// VNCProxyServlet继承了ProxyServlet 重写了service方法 在方法中添加自定义操作 从请求地址中动态获取@Overrideprotectedvoidservice(HttpServletRequest servletRequest, HttpServletResponse servletResponse)throws ServletException, IOException {
        // 获取请求地址
        String targetUri = servletRequest.getRequestURL().toString();
		
        // 正则取请求地址中的参数 参数是放在域名中的
        Matcher matcher = DOMAIN_REX.matcher(targetUri);
        if(!matcher.find()){
            // 自定义的异常thrownew GenericException("从域名中获取vmId异常！");
        }
        // 取域名中的第一个 eg: http://vmId.xxx.cn得 [vmId,xxx,cn] 得 vmId
        Long vmId = Long.valueOf(matcher.group().split("\\.")[0]);
        
        // eg:业务逻辑根据vmId去拿 targetUri
    	targetUri = vmService.getTargetUrl(vmId);
	
        if (StringUtils.isEmpty(targetUri)) {
            thrownew GenericException("代理路径不正确，请确认路径");
        }

        // 设置Urlif (servletRequest.getAttribute(ATTR_TARGET_URI) == null) {
            servletRequest.setAttribute(ATTR_TARGET_URI, targetUri);
        }

        // 设置Hostif (servletRequest.getAttribute(ATTR_TARGET_HOST) == null) {
            URL trueUrl = URLUtil.url(targetUri);
            servletRequest.setAttribute(ATTR_TARGET_HOST, new HttpHost(trueUrl.getHost(), trueUrl.getPort(), trueUrl.getProtocol()));
        }
		// 下面大部分都是父类的源码 没有需要特别修改的地方
        String method = servletRequest.getMethod();
        // 替换多余路径
        String proxyRequestUri = this.rewriteUrlFromRequest(servletRequest);

        HttpRequest proxyRequest;
        if (servletRequest.getHeader(HttpHeaders.CONTENT_LENGTH) != null ||
                servletRequest.getHeader(HttpHeaders.TRANSFER_ENCODING) != null) {
            proxyRequest = new BasicHttpRequest(method, proxyRequestUri);
        } else {
            proxyRequest = this.newProxyRequestWithEntity(method, proxyRequestUri, servletRequest);
        }

        this.copyRequestHeaders(servletRequest, proxyRequest);
        setXForwardedForHeader(servletRequest, proxyRequest);
        HttpResponse proxyResponse = null;

        try {
            // Execute the request
            proxyResponse = this.doExecute(servletRequest, servletResponse, proxyRequest);

            // Process the responseint statusCode = proxyResponse.getStatusLine().getStatusCode();

            // "reason phrase" is deprecated but it's the only way to pass
            servletResponse.setStatus(statusCode, proxyResponse.getStatusLine().getReasonPhrase());

            // copying response headers to make sure SESSIONID or other Cookie which comes from remote server// will be saved in client when the proxied url was redirected to another one.
            copyResponseHeaders(proxyResponse, servletRequest, servletResponse);

            if (statusCode == HttpServletResponse.SC_NOT_MODIFIED) {
                servletResponse.setIntHeader(HttpHeaders.CONTENT_LENGTH, 0);
            } else {
                copyResponseEntity(proxyResponse, servletResponse, proxyRequest, servletRequest);
            }
        } catch (Exception e) {
            handleRequestException(proxyRequest, proxyResponse, e);
        } finally {
            if (proxyResponse != null) {
                EntityUtils.consumeQuietly(proxyResponse.getEntity());
            }
        }
    }

这里主要列出关键部分，因为方案还没有完结。

问题

本以为这样就成功了，但是测试之后发现页面和静态资源都代理过去了，但是有一个websocket请求失败了。像noVNC这种网页版的黑窗口，早就该想到肯定是用websocket这种长链接的请求进行交互的。后来去搜了一下这个叫websockify的请求，就是最开始介绍noVNC博客中介绍的：

浏览器不支持VNC，所以不能直接连接VNC，但是可以使用代理，使用noVNC通过WebSocket建立连接，而VNC Server不支持WebSocket，所以需要开启Websockify代理来做WebSocket和TCP Socket之间的转换，这个代理在noVNC的目录里，叫做websockify。
此时项目是能够拦截到websockify这个请求的，但是由于servlet把这个请求当成普通的请求去代理到目标服务器，这样是无法成功的，所以要做的就是类似实现一个websocket的反向代理，搜了一下的话发现例子不是很多，大多都是在前端做的，前端作为客户端与服务端建立websocket连接，但目前的状况很明显是需要这个代理模块既做websocket服务端与web端建立连接，再作为websocket客户端与VNC 服务端建立连接，然后进行交互传递通信。

后面也找到了这篇博客通过noVNC和websockify连接到QEMU/KVM，然后总结一下从用户发出请求到得到响应的流程：

PC Chrome(客户端) => noVNC Server(noVNC端) => websockify（websocket转TCP Socket） => VNC Server(VNC服务端) => websockify（TCP Socket转websocket） => noVNC Server(noVNC端)=> PC Chrome(客户端)

用户使用PC Chrome浏览器请求 noVNC端（因为无法直接访问VNC Server端，VNC Server是不支持Websocket连接），经由websockify将websocket转为TCP Socket请求到VNC服务端，返回TCP响应，经由websockify转换为websocket返回给客户端浏览器，这样来进行交互。整个过程 websockify 代理器是关键，noVNC 可以被放在浏览器端

1.noVNC网页端与代理模块建立websocket通信

@ConfigurationpublicclassWebSocketConfig{
    @Beanpublic ServerEndpointExporter serverEndpointExporter(){
        returnnew ServerEndpointExporter();
    }
}

@ServerEndpoint("/websockify")
@Component
public class WebSocketServer {

    /**
     * 连接建立成功调用的方法
     */@OnOpen
    public void onOpen(Session session) {
        logger.info("open...");
    }

    /**
     * 连接关闭调用的方法
     */
    @OnClosepublicvoidonClose() {
        logger.info("close...");
    }

    /**
     * 收到客户端消息后调用的方法
     */
    @OnMessagepublicvoidonMessage(String message, Session session) {
        logger.info(message);
    }

    /**
     * 发生错误调用的方法
     */
    @OnErrorpublicvoidonError(Session session, Throwable error) {
        logger.error("用户错误原因:"+error.getMessage());
        error.printStackTrace();
    }

}

都是很常用的websocket服务端的代码，唯一要注意的是前端请求'/websockify'地址发起websocket连接时，要注意用ip，尤其是本地，使用localhost会报错，要使用127.0.0.1。最后测试连接成功，返回状态码101，并且消息可以正常接收。noVNC网页端与代理模块建立websocket通信完成。

2.代理模块与VNC Server建立websocket通信

java后台作为websocket客户端很少，大多是用Netty去写的，但是不适合目前的情况，最后还是找到了一个感觉比较合适的

publicclassMyWebSocketClient {
    publicstatic WebSocketClient mWs;
    publicstaticvoidmain(String[] args) {
        try {
            // 
            String url = "ws://172.28.132.11:8888/websocketify";
            URI uri = new URI(url);
            HashMap<String, String> httpHeadersMap = new HashMap<>();
            httpHeadersMap.put("Sec-WebSocket-Version", "13");
            httpHeadersMap.put("Sec-WebSocket-Key", "YBhzbbwLI83U5EH8Tlutwg==");
            httpHeadersMap.put("Connection","Upgrade");
            httpHeadersMap.put("Upgrade","websocket");
            httpHeadersMap.put("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36");
            httpHeadersMap.put("Cookie","token=8asda2das-84easdac-asdaqwe4-2asda-asdsadas");
            httpHeadersMap.put("Sec-WebSocket-Extensions","permessage-deflate; client_max_window_bits");
            mWs = new WebSocketClient(uri,httpHeadersMap){
                @Override
                publicvoidonOpen(ServerHandshake serverHandshake) {
                    System.out.println("open...");
                    System.out.println(serverHandshake.getHttpStatus());
                    mWs.send("666");
                }

                @Override
                publicvoidonMessage(String s) {
                    System.out.println(s);
                }

                @Override
                publicvoidonClose(int i, String s, boolean b) {
                    System.out.println("close...");
                    System.out.println(i);
                    System.out.println(s);
                    System.out.println(b);
                }

                @Override
                publicvoidonError(Exception e) {
                    System.out.println("发生了错误...");
                }
            };
            mWs.connect();
        } catch (Exception e) {
            e.printStackTrace();
        }

    }
}

// 调用后报错  直接关闭了连接  状态码为1002 // close...// 1002// Invalid status code received: 400 Status line: HTTP/1.1 400 Client must support 'binary' or 'base64' protocol

发生错误后，发现关键地方，客户端必须支持 binary或base64协议，一番搜索后再Stack Overflow找到了线索，并且是Kanaka（noVNC和websockify的开发者）亲自回答的，大概意思就是拟需要在构造函数中提供这些协议。

然后我又在websockify.js的源码中找到了这个构造，确实需要传递一个protocols的数组参数，可是这是前端，并不知道Java如何完成这个操作。

后续

首先再次感谢开源项目和各位博主大佬的分享，依旧在寻找解决方案......

资源获取：
大家 点赞、收藏、关注、评论啦 、 查看 👇🏻 👇🏻 👇🏻 微信公众号获取联系方式 👇🏻 👇🏻 👇🏻
精彩专栏推荐订阅：在 下方专栏 👇🏻 👇🏻 👇🏻 👇🏻
每天学四小时：Java+Spring+JVM+分布式高并发，架构师指日可待