为什么增加 Nginx 中的worker_connections 会使应用程序在node.js 集群中变慢？

我正在将我的应用程序转换为 Node.js 集群，我希望它能够提高我的应用程序的性能。

目前，我正在将该应用程序部署到 2 个 EC2 t2.medium 实例。我有 Nginx 作为代理和 ELB。

这是我的 Express 集群应用程序，从文档来看它是相当标准的。

var bodyParser = require('body-parser');
var cors = require('cors');
var cluster = require('cluster');
var debug = require('debug')('expressapp');

if(cluster.isMaster) {
  var numWorkers = require('os').cpus().length;
  debug('Master cluster setting up ' + numWorkers + ' workers');

  for(var i = 0; i < numWorkers; i++) {
    cluster.fork();
  }

  cluster.on('online', function(worker) {
    debug('Worker ' + worker.process.pid + ' is online');
  });

  cluster.on('exit', function(worker, code, signal) {
    debug('Worker ' + worker.process.pid + ' died with code: ' + code + ', and signal: ' + signal);
    debug('Starting a new worker');
    cluster.fork();  
  });
} else {
  // Express stuff
}

这是我的 Nginx 配置。

nginx::worker_processes: "%{::processorcount}"
nginx::worker_connections: '1024'
nginx::keepalive_timeout: '65'

我的 Nginx 服务器上有 2 个 CPU。

这是我之前的表现。

我每秒收到 1,500 个请求，这非常好。现在我想增加 Nginx 上的连接数，这样我就可以接受更多请求。我做这个。

nginx::worker_processes: "%{::processorcount}"
nginx::worker_connections: '2048'
nginx::keepalive_timeout: '65'

这是我的表演后的表现。

我认为这比以前更糟糕。

我使用加特林进行性能测试，这是代码。

import io.gatling.core.Predef._
import io.gatling.http.Predef._
import scala.concurrent.duration._

class LoadTestSparrowCapture extends Simulation {
  val httpConf = http
    .baseURL("http://ELB")
    .acceptHeader("application/json")
    .doNotTrackHeader("1")
    .acceptLanguageHeader("en-US,en;q=0.5")
    .acceptEncodingHeader("gzip, defalt")
    .userAgentHeader("Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20100101 Firefox/16.0")

    val headers_10 = Map("Content-Type" -> "application/json")

    val scn = scenario("Load Test")
      .exec(http("request_1")
        .get("/track"))

    setUp(
      scn.inject(
        atOnceUsers(15000)
      ).protocols(httpConf))
}

我将其部署到我的加特林集群中。因此，我有 3 个 EC2 实例在 30 秒内向我的应用程序发出了 15,000 个请求。

问题是，我可以做些什么来提高应用程序的性能，还是我只需要添加更多机器？

我正在测试的路线非常简单，我收到请求并将其发送到 RabbitMQ，以便可以进一步处理。所以，该路线的响应速度相当快。

您已经提到您正在使用 AWS，并且在 ELB 中的 EC2 实例前面。据我所知，您收到了 502 和 503 状态代码。这些可以从 ELB 或您的 EC2 实例发送。确保在进行负载测试时您知道错误来自何处。您可以在 ELB 的 AWS 控制台中检查这一点CloudWatch 指标 http://docs.aws.amazon.com/ElasticLoadBalancing/latest/DeveloperGuide/elb-cloudwatch-metrics.html.

基本上HTTPCode_ELB_5XX意味着您的 ELB 发送了 50 次。在另一方面HTTPCode_Backend_5XX发送了 50 倍。您还可以在ELB的日志中验证这一点。你可以找到更好的 ELB 错误解释here http://docs.aws.amazon.com/ElasticLoadBalancing/latest/DeveloperGuide/ts-elb-error-message.html.

要在 AWS 上进行负载测试，您一定应该阅读this http://aws.amazon.com/articles/1636185810492479。重点是，ELB 只是另一组机器，如果负载增加，它就需要扩展。默认扩展策略是（引自“加速测试”部分）：

一旦有了测试工具，您将需要定义负载的增长。我们建议您每五分钟增加负载的速度不超过 50%。

这意味着当您开始使用一定数量的并发用户（假设为 1000 个）时，默认情况下您应该在 5 分钟内仅增加到 1500 个。这将保证 ELB 将根据服务器上的负载进行扩展。确切的数字可能会有所不同，您必须自行测试。上次我测试了它持续负载 1200 请求/秒，没有出现问题，然后我开始接收 50 倍负载。您可以轻松地测试它，从单个客户端运行从 X 到 Y 个用户的启动场景并等待 50 倍。

接下来非常重要的事情（来自“DNS解析”部分）是：

如果客户端没有至少每分钟重新解析一次 DNS，则客户端将不会使用 Elastic Load Balancing 添加到 DNS 的新资源。

简而言之，这意味着您必须保证 DNS 中的 TTL 得到尊重，或者您的客户端重新解析并轮换通过 DNS 查找收到的 DNS IP，以保证以循环方式分配负载。如果不是（例如，仅从一个客户端进行测试，而不是您的情况），您可以通过将所有流量仅定位到一个实例来使 ELB 的一个实例超载，从而使结果出现偏差。这意味着 ELB 根本无法扩展。

希望它会有所帮助。