如何在describe()的before()块中动态生成Mocha测试？

我正在创建一个 mocha 测试套件，该套件正在测试我们的 nwjs 应用程序正在调用的命令行实用程序，该实用程序获取文件并生成输出 json 文件。我有数千种输入文件组合和我想要生成的测试 (it()s)，具体取决于 cmdline 实用程序的 json 输出内容。

Mocha 似乎想要要求我预先创建所有 it()，但这意味着这些脚本需要预先运行并捕获 json 输出。我希望能够做到：

'use strict';
const path = require('path');
const glob = require('glob');
const expect = require('sharedjs/chai-wrapper').expect;
const utils = require('sharedjs/utils');

describe('Generated Tests:', function() {
  let testNum = 0;
  let globOpts = { nodir: true }
  let type1files = glob.sync(path.join(filetype1_dir, '*'), globOpts);
  let type2files = glob.sync(path.join(filetype2_dir, '*'), globOpts);
  for (let i = 0; i < type1files.length; i++) {
    for (let j = 0; j < type2files.length; j++) {
      testNum++;
      let testName = utils.mkTestName(testNum, i, j);

      describe(testName, function() {
        let run;
        before(function() {
          run = utils.runCommand(type1files[i], type2files[j]);
          // run = { status: result.status, command: result.args.join(' '), output: fse.readJsonSync(outfile) }
          if (run.status !== 0) {
            throw new Error(run.status+'='+run.command);
          }
        });

        for (let key in run.output.analysis) {
          it(key+'=0', function() {
            expect(run.output.analysis[key].value).to.be.equal('0', key+'=0');
          } 
        }
      });
    }
  }
});

我将在这里进行数千次命令行调用。我不想把它们全部预先准备好，缓存文件（或更糟糕的是，将所有 json 对象加载到内存中），然后开始运行测试。

我知道我可以创建一个高级“验证 json”测试，然后在其中执行一堆 Expect()，但这样做有两个问题。首先，它们不会是显示为失败的独立命名测试，其次，第一个预期失败将使测试失败，因此我无法看到 json 中其他错误。

Ideas?

-- 更新了 utils.runCommand() 的示例 JSON 输出 --

{
    data1: { ... },
    data2: { ... },
    analysis: {
        dynamicKey1: <analysisObj>,
        dynamicKey...: <analysisObj>,
        dynamicKeyN: <analysisObj>
    }
}

分析中的关键取决于输入的数据类型，并且存在多种可能性。动态键的名称可以在不同的运行中发生变化。从测试的角度来看，我对键的名称不感兴趣，但它的analysisObj是一致的。例如，如果我将相同的 data1 和 data2 传递给 utils.runCommand()，则 AnalysisObj 中表示两者之间增量的部分应该全面为零。

直到运行脚本后我才获得analysisObjs，并且如果我运行100,000个测试，我不想将所有这些预运行或预加载到内存或文件系统中。

我要感谢@JoshLee 为我指出了一些有用的研究路径。

查看mocha代码后，主要关注：

• 摩卡/lib/mocha.js https://github.com/mochajs/mocha/blob/master/lib/mocha.js
• 摩卡/lib/suite.js https://github.com/mochajs/mocha/blob/master/lib/suite.js
• 摩卡/lib/test.js https://github.com/mochajs/mocha/blob/master/lib/test.js
• 摩卡/lib/interfaces/bdd.js https://github.com/mochajs/mocha/blob/master/lib/interfaces/bdd.js

我了解到

1. 调用describe()返回一个Suite对象
2. Suite 对象包含要运行的测试 (suite.tests)
3. 当套件的 before() 运行时，测试还没有被查看
4. 我可以使用 suite.addTest() 在 before() 方法中添加任意数量的测试，它们都会运行
5. 最重要的是，我的 utils.runCommand() 仅在每个测试套件开始时运行，并且每个测试套件都按顺序运行。 （以前我添加的测试将在所有初始描述块运行一次之后进行）

输出符合预期，结果反映了正确的测试数量。我已经运行了这个自动生成的 50,000 多个测试，这些测试分布在 1980 个测试套件中，使用摩卡威森 https://www.npmjs.com/package/mochawesome对于记者来说，效果很好。

完成此操作需要 5 个步骤，如下面更新的代码片段所述。

'use strict';
const path = require('path');
const glob = require('glob');
const expect = require('sharedjs/chai-wrapper').expect;
const utils = require('sharedjs/utils');

// Step 1: Pull in Test class directly from mocha
const Test = require('mocha/lib/test');

// Step 2: Simulates it() from mocha/lib/interfaces/bdd.js
//   I ignore the isPending() check from bdd.js. I don't know
//   if ignoring it is required, but I didn't see a need to add
//   it for my case to work
function addTest(suite, title, fn) {
  let test = new Test(title, fn);
  test.file = __filename;
  suite.addTest(test);
  return test;
}

let testNum = 0;
let globOpts = { nodir: true }
let type1files = glob.sync(path.join(filetype1_dir, '*'), globOpts);
let type2files = glob.sync(path.join(filetype2_dir, '*'), globOpts);
for (let i = 0; i < type1files.length; i++) {
  for (let j = 0; j < type2files.length; j++) {
    testNum++;
    let testName = utils.mkTestName(testNum, i, j);

    // Step 3: Save the suite object so that we can add tests to it.
    let suite = describe(testName, function() {
      let run;
      before(function() {
        run = utils.runCommand(type1files[i], type2files[j]);
        // run = { status: result.status, command: result.args.join(' '),
        //         output: fse.readJsonSync(outfile) }
        if (run.status !== 0) {
          throw new Error(run.status+'='+run.command);
        }

        for (let key in run.output.analysis) {
          // Step 4: Dynamically add tests 
          //   suite is defined at this point since before() is always
          //   run after describe() returns.
          addTest(suite, key+'=0', function() {
            expect(run.output.analysis[key].value).to.be.equal('0', key+'=0');
          });
        }            
      });
    });

    // Step 5: Add dummy test in describe() block so that it will be run.
    //   Can be it() for a pass result or it.skip() for pending.
    it('Placeholder for ' + testName, function () {
      expect(true).to.be.true;
    });
  }
}