无法使用 Node.js 将大块数据填充到 mongodb

我被要求导入从全市许多站点收集的大量天气数据。每个站点有 1 台计算机，每个计算机有一个文件夹，每 5 分钟同步到一台中央服务器。每天都会创建一个新文件。所以，基本上结构是这样的。 一个txt文件的格式为csv文件，其中第一行为字段，其余为数字。

服务器上的文件夹
|__ site1 __ date1.txt
| |__ 日期2.txt
|
|__ site2 __ date1.txt
|__ 日期2.txt
我编写了一个小型 Node.js 应用程序来将这些数据填充到 mongoDB 中。然而，目前我们只有3个站点，但每个站点有近900个txt文件，每个文件包含24*20 = 288行（每5分钟记录一次数据）。我尝试运行节点应用程序，但在读取第一个文件夹的大约 100 个文件后，程序崩溃并出现有关内存分配失败的错误。

我尝试了很多方法来改善这一点：

1. 将 Node js 的内存大小增加到 8GB => 好一点，读入更多文件，但仍然无法移动到下一个文件夹。
2. 在 _.forEach 循环末尾将某些变量设置为 null 且未定义（我使用下划线）=> 没有帮助。
3. 移动文件数组（使用 fs.readdir），以便删除第一个元素=>也没有帮助。

有没有办法强制js每次读完文件后清理内存？ 谢谢

更新 1：我最终一次在每个文件夹中添加 100 个文件。这看起来很乏味，但很有效，而且这就像一次性工作。但是，我仍然想找到解决这个问题的方法。

正如罗比所说，流是解决这个问题的方法。fs.createReadStream()应该使用而不是.readFileSync()。我首先创建一个行读取器，它采用路径以及您想要分割的任何字符串/正则表达式：

linereader.js

var fs = require("fs");
var util = require("util");
var EventEmitter = require("events").EventEmitter;

function LineReader(path, splitOn) {

    var readStream = fs.createReadStream(path);
    var self = this;
    var lineNum = 0;
    var buff = ""
    var chunk;

    readStream.on("readable", function() {

        while( (chunk = readStream.read(100)) !== null) {
            buff += chunk.toString();
            var lines = buff.split(splitOn);

            for (var i = 0; i < lines.length - 1; i++) {
                self.emit("line",lines[i]);
                lineNum += 1;
            }
            buff = lines[lines.length - 1];
        }
    });
    readStream.on("close", function() {
        self.emit("line", buff);
        self.emit("close")
    });
    readStream.on("error", function(err) {
        self.emit("error", err);
    })
}
util.inherits(LineReader, EventEmitter);
module.exports = LineReader;

这将读取一个文本文件，并为读取的每一行发出“行”事件，因此您不会同时将所有事件都存储在内存中。然后，使用 async 包（或您想要使用的任何异步循环），循环插入每个文档的文件：

app.js

var LineReader = require("./linereader.js");
var async = require("async");

var paths = ["./text1.txt", "./text2.txt", "./path1/text3.txt"];
var reader;

async.eachSeries(paths, function(path, callback) {

    reader = new LineReader(path, /\n/g);

    reader.on("line", function(line) {
        var doc = turnTextIntoObject(line);
        db.collection("mycollection").insert(doc);
    })
    reader.on("close", callback);
    reader.on("error", callback);
}, function(err) {
    // handle error and finish;
})