【论文分享】用于多元时间序列的预训练增强的时空图神经网络

#KDD#

今天分享的是KDD 2022的一篇论文《Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting》

原文链接：https://dl.acm.org/doi/abs/10.1145/3534678.3539396

摘要

多元时间序列（Multivarite Time Series，MTS）是一种典型的时空数据，包含多条相互关联的时间序列，对MTS进行学习和预测具有至关重要的意义。现在，时空图神经网络 (Spatial-Temporal Graph Neural Networks，STGNNs) 已成为越来越流行的多元时间序列预测方法。不过，受限于模型复杂度，大多数STGNN只考虑短期的历史MTS数据。事实上，时间序列的模式和空间之间的依赖关系需要基于长期历史的MTS数据进行分析。

为了解决这个问题，本文提出了一种新的框架，其中STGNN被一个可扩展的预训练时间序列框架（STEP）所增强。具体来说，作者设计了一个预训练模型TSFormer，从而可以有效地从长期时间序列（例如，过去两周的多元时间序列）中学习到时间模式，并生成片段级的表示。这些表示为STGNNs的短期时间序列输入提供了上下文的信息，并促进了时间序列之间的依赖关系建模。

1.介绍

多元时间序列数据在我们的生活中无处不在，根据历史数据去预测未来趋势，可以帮助人们做出更好的决策。实际上，多元时间序列通常可以形式化为时空图数据，而时空图神经网络 (STGNNs) 在多元时间序列预测方面，可以取得良好的效果。但目前的方法有两个问题：

① STGNN 模型对窗口之外的上下文信息视而不见。而考虑到时间序列通常有噪声，所以模型可能难以区分不同上下文中的短期时间序列。

② 短期信息对于依赖图的建模是不可靠的。

同时，预训练模型目前发展较快，它会从大量未被标记的数据中学习良好的表示，然后将这些表示用于其他下游任务。在自然语言处理领域，许多任务借助从预训练模型中提取的表示，性能显著提高。在计算机视觉领域，MAE 使用基于屏蔽自动编码策略的自监督学习，能够高效地训练大型模型。虽然在自然语言处理和计算机视觉领域，预训练模型取得了显著的成果，但在时间序列预测领域，还未出现效果显著的模型。

2.贡献

为了应对上述挑战，作者提出了一种新颖的框架。本文主要贡献如下：

① 作者提出了一个用于多元时间序列预测的新框架，其中 STGNN 通过预训练模型得到增强。具体来说，预训练模型会生成包含上下文信息的片段级表示，以改进下游模型。

② 作者基于 Transformer 块设计了一个高效的时间序列无监督预训练模型（TSFormer），并通过掩码自动编码策略对其进行训练。此外，还设计了一个图结构学习器用来学习依赖图。

③ 在三个真实世界数据集上的实验结果表明，作者提出的方法可以显著提高下游时空图神经网络的性能，同时预训练模型恰当地捕捉了时间模式。

3.算法框架

本文应用预训练模型来实现时间序列预测。算法框架主要分为两部分：

左图——预训练阶段。将长期时间序列分成多个片段，并将它们输入 TSFormer，它通过掩码自动编码策略进行训练。

右图——预测阶段。基于预训练的 TSFormer 产生的片段级表示，来增强下游STGNN。

3.1 预训练阶段

3.1.1 掩蔽

这是数据进入编码器的前一步。将来自节点 i i i的输入序列