了解 rxjs 中的背压 - 仅缓存 5 个等待上传的图像

我正在开发一个节点项目，需要提交数千张图像进行处理。在将这些图像上传到处理服务器之前，需要调整它们的大小，因此我有一些类似的内容：

imageList
    .map(image => loadAndResizeImage)
    .merge(3)
    .map(image => uploadImage)
    .merge(3)
    .subscribe();

调整图像大小通常需要零点几秒，上传和处理大约需要 4 秒。

在等待上传队列清除时，如何防止在内存中堆积数千个已调整大小的图像？我可能想要调整 5 个图像的大小并等待，以便一旦图像上传完成，就会从队列中提取下一个调整大小的图像并上传，并调整新图像的大小并将其添加到“缓冲区”中。

可以在此处找到该问题的说明：

https://jsbin.com/webaleduka/4/edit?js,console https://jsbin.com/webaleduka/4/edit?js,console

这里有一个加载步骤（需要 200 毫秒）和一个处理步骤（需要 4 秒）。每个进程的并发数限制为 2。 我们可以看到，通过 25 个初始项目，我们在内存中得到了 20 个图像。

我确实查看了缓冲区选项，但似乎都没有达到我想要的效果。

目前，我刚刚将加载、调整大小和上传合并到一个延迟的可观察中，并与最大并发合并。我想让图像等待上传，而且我确信这是可能的。

我使用的是 RXjs 4，但我想 5 的原理是相同的。

非常感谢。

在 RxJS 5 中我会这样做：

Observable.range(1, 25)
    .bufferCount(5)
    .concatMap(batch => { // process images
        console.log('process', batch);
        return Observable.from(batch)
            .mergeMap(val => Observable.of('p' + val).delay(300))
            .toArray();
    })
    .concatMap(batch => { // send images
        console.log('send batch', batch);
        return Observable.from(batch)
            .mergeMap(val => Observable.of('s' + val).delay(500))
            .toArray();
    })
    .subscribe(val => {
        // console.log('response');
        console.log('response', val);

    });

With bufferCount http://reactivex.io/rxjs/class/es6/Observable.js~Observable.html#instance-method-bufferCount运算符我将输入数组分成 5 个项目的批次。然后每批首先处理第一个concatMap()（我故意使用 concat 因为我想等到嵌套的 Observable 完成）。然后将处理后的数据发送到另一个concatMap()将其发送到您的服务器。

我用的是两个delay()操作员模拟不同的任务花费不同的时间。在我们的例子中，处理图像非常快，所以第一个concatMap将比第二个更快地发射物品concatMap能够将它们发送到服务器，这没问题。处理后的图像将被堆叠在里面concatMap并将陆续分批发送。

该演示的输出如下所示：

process [ 1, 2, 3, 4, 5 ]
send batch [ 'p1', 'p2', 'p3', 'p4', 'p5' ]
process [ 6, 7, 8, 9, 10 ]
process [ 11, 12, 13, 14, 15 ]
response [ 'sp1', 'sp2', 'sp3', 'sp4', 'sp5' ]
send batch [ 'p6', 'p7', 'p8', 'p9', 'p10' ]
process [ 16, 17, 18, 19, 20 ]
process [ 21, 22, 23, 24, 25 ]
response [ 'sp6', 'sp7', 'sp8', 'sp9', 'sp10' ]
send batch [ 'p11', 'p12', 'p13', 'p14', 'p15' ]
response [ 'sp11', 'sp12', 'sp13', 'sp14', 'sp15' ]
send batch [ 'p16', 'p17', 'p18', 'p19', 'p20' ]
response [ 'sp16', 'sp17', 'sp18', 'sp19', 'sp20' ]
send batch [ 'p21', 'p22', 'p23', 'p24', 'p25' ]
response [ 'sp21', 'sp22', 'sp23', 'sp24', 'sp25' ]

观看现场演示：https://jsbin.com/mileqa/edit?js,控制台 https://jsbin.com/mileqa/edit?js,console

但是，如果您希望始终首先处理一个批次而不是发送它，并且当发送它时继续处理另一个批次，您必须将第二个内部 Observable 从concatMap在结束时toArray()在第一个concatMap() call.

.concatMap(batch => { // process images
    console.log('process', batch);
    return Observable.from(batch)
        .mergeMap(val => Observable.of('p' + val).delay(100))
        .toArray()
        .concatMap(batch => { // send images
            console.log('send batch', batch);
            return Observable.from(batch)
                .mergeMap(val => Observable.of('s' + val).delay(500))
                .toArray();
        });
})

观看现场演示：https://jsbin.com/sabena/2/edit?js,控制台 https://jsbin.com/sabena/2/edit?js,console

这会产生如下输出：

process [ 1, 2, 3, 4, 5 ]
send batch [ 'p1', 'p2', 'p3', 'p4', 'p5' ]
response [ 'sp1', 'sp2', 'sp3', 'sp4', 'sp5' ]
process [ 6, 7, 8, 9, 10 ]
send batch [ 'p6', 'p7', 'p8', 'p9', 'p10' ]
response [ 'sp6', 'sp7', 'sp8', 'sp9', 'sp10' ]
process [ 11, 12, 13, 14, 15 ]
send batch [ 'p11', 'p12', 'p13', 'p14', 'p15' ]
response [ 'sp11', 'sp12', 'sp13', 'sp14', 'sp15' ]
process [ 16, 17, 18, 19, 20 ]
send batch [ 'p16', 'p17', 'p18', 'p19', 'p20' ]
response [ 'sp16', 'sp17', 'sp18', 'sp19', 'sp20' ]
process [ 21, 22, 23, 24, 25 ]
send batch [ 'p21', 'p22', 'p23', 'p24', 'p25' ]
response [ 'sp21', 'sp22', 'sp23', 'sp24', 'sp25' ]

可以看到“处理”、“发送批次”和“响应”日志是按顺序排列的。

RxJS 4 中的实现应该几乎相同（只是运算符名称可能略有不同）。

在 RxJS 4 中还有controlled()操作员 https://github.com/Reactive-Extensions/RxJS/blob/master/doc/gettingstarted/backpressure.md#controlled-observablesRxJS 5 中不存在（还？）。我做的事情也许与你需要的非常相似。