本文属于数据增强系列综述的文章，针对《Time Series Data Augmentation for Deep Learning: A Survey》的翻译。

摘要

深度学习最近在许多时间序列分析任务中表现出色。深度神经网络的优越性能在很大程度上依赖于大量的训练数据，以避免过拟合。然而，许多现实世界时间序列应用的标记数据可能会受到限制，例如医学时间序列中的分类和AIOps中的异常检测。作为一种提高训练数据大小和质量的有效方法，数据增强对于深度学习模型在时间序列数据上的成功应用至关重要。在本文中，我们系统地回顾了时间序列的不同数据增强方法。我们提出了综述方法的分类法，然后通过强调它们的优势和局限性为这些方法提供了结构化回顾。我们还实证比较了不同任务的不同数据增强方法，包括时间序列异常检测、分类和预测。最后，我们讨论并强调了五个未来方向，以提供有用的研究指导。

1. 引言

深度学习在许多领域取得了显著的成功，包括计算机视觉（CV）、自然语言处理（NLP）和语音处理等。最近，深度学习越来越多地被用于解决时间序列相关任务，包括时间序列分类、时间序列预测和时间序列异常检测。深度学习的成功在很大程度上依赖于大量的训练数据，以避免过拟合。不幸的是，许多时间序列任务没有足够的标记数据。作为增强训练数据大小和质量的有效工具，数据增强对于深度学习模型的成功应用至关重要。数据增强的基本思想是生成覆盖未探索输入空间的合成数据集，同时保持正确的标签。数据增强已在许多应用中显示出其有效性，例如AlexNet用于ImageNet分类。
然而，对于寻找更好的数据增强方法，特别是针对时间序列数据的方法，关注较少。在这里，我们强调了时间序列数据的数据增强方法带来的一些挑战。首先，当前的数据增强方法没有充分利用时间序列数据的固有特性。时间序列数据的一个独特特性是所谓的时间依赖性。与图像数据不同，时间序列数据可以在频率和时频域中进行变换，并且可以在变换域中设计和实现有效的数据增强方法。当我们对多变量时间序列建模时，这变得更加复杂，因为我们需要考虑这些变量在时间上的潜在复杂动态。因此，简单地应用来自图像和语音处理的数据增强方法可能不会产生有效的合成数据。其次，数据增强方法也是任务相关的。例如，适用于时间序列分类的数据增强方法可能对时间序列异常检测无效。此外，在涉及时间序列数据的许多分类问题中，经常观察到类不平衡。在这种情况下，如何有效地生成具有较少样本的标签的大量合成数据仍然是一个挑战。
与CV的数据增强或语音不同，据我们所知，时间序列的数据增强尚未得到全面和系统的综述。与我们的工作密切相关的一项工作是，该项工作对时间序列分类的现有数据增强方法进行了调查。然而，它没有审查其他常见任务的数据增强，如时间序列预测和异常检测。此外，时间序列数据增强的未来研究机会的潜在途径也缺失。
在本文中，我们旨在通过总结流行的常见任务（包括时间序列预测、异常检测和分类）中现有的时间序列数据增强方法来填补上述空白，并提供有见地的未来研究方向。为此，我们提出了时间序列数据增强方法的分类，如图1所示。基于所提出的分类，我们系统地回顾了这些数据增强方法。我们首先从时域中的简单变换开始讨论。然后我们讨论了时间序列在变换频率和时频域中的更多变换。除了时间序列在不同领域的转换，我们还总结了更先进的方法，包括基于分解的方法、基于模型的方法和基于学习的方法。对于基于学习的方法，我们进一步将其分为嵌入空间、深度生成模型（DGM）和自动数据增强方法。为了证明数据增强的有效性，我们在三个典型的时间序列任务中对增强方法进行了初步评估，包括时间序列异常检测、分类和预测。最后，我们讨论并强调了五个未来方向：时频域增强、高斯过程增强、更多DGM增强、不平衡类增强和增强组合。

2. 基本数据增强方法

2.1 时间域

时域变换是时间序列数据最直接的数据增强方法。它们大多直接操纵原始输入时间序列，如注入高斯噪声或更复杂的噪声模式，如尖峰、阶梯状趋势和斜坡状趋势。除了这些简单的方法，我们还将讨论一种用于时间序列异常检测的特定数据增强方法，即时域中的标签扩展。
LeGuennec中提到了窗口裁剪或切片。在Cui等人中介绍，窗口裁剪类似于CV区域的裁剪。它是一种从原始时间序列中随机提取连续切片的子采样方法。切片的长度是一个可调参数。对于分类问题，切片样本的标签与原始时间序列相同。在测试期间，使用学习分类器对测试时间序列中的每个切片进行分类，并使用多数投票生成最终预测标签。对于异常检测问题，异常标签将与值序列一起切片。
窗口扭曲是一种独特的时间序列增强方法。与动态时间扭曲（DTW）类似，该方法选择随机时间范围，然后压缩（下采样）或扩展（上采样），同时保持其他时间范围不变。窗口扭曲将改变原始时间序列的总长度，因此应与深度学习模型的窗口裁剪一起进行。该方法包含正常下采样，它在原始时间序列的整个长度上下采样。
翻转是生成新序列 x 1 ′ , ⋯   , x N ′ x^\prime_1,\cdots,x^\prime_N x1′​,⋯,xN′​的另一种方法，通过翻转原始时间序列 x 1 , ⋯   , x N x_1,\cdots,x_N x1​,⋯,xN​的符号，其中 x t ′ = − x t x^\prime_t=-x_t xt′​=−xt​。对于异常检测和分类，假设上下方向对称，标签仍然相同。
Fawaz等人介绍了另一种有趣的扰动和基于集成的方法。该方法使用DTW生成新的时间序列，并通过DBA算法的加权版本集成它们。它显示了一些UCR数据集中分类的改进。
噪声注入是一种在不改变相应标签的情况下将少量噪声/异常值注入时间序列的方法。这包括注入高斯噪声、尖峰、阶梯状趋势和斜坡状趋势等。对于尖峰，我们可以随机选择指数和方向，随机分配幅度，但以原始时间序列标准偏差的倍数为界。对于阶梯式趋势，它是从左指数到右指数的尖峰的累积总和。类斜率趋势是将线性趋势添加到原始时间序列中。这些方案大多在Wen和Keyes中提到。
在时间序列异常检测中，异常通常在连续跨度内持续足够长，因此起点和终点有时“模糊”。因此，在时间距离和值距离方面靠近标记异常的数据点很可能是异常。在这种情况下，提出了标签扩展方法，将这些数据点及其标签更改为异常（通过为其分配异常分数或切换其标签），这为时间序列异常检测带来了性能改进，如Gao等人所示。

2.2 频率域

虽然现有的数据增强方法大多集中在时域，但只有少数研究从频域角度研究时间序列的数据增强。
最近的一项工作提出，在卷积神经网络的时间序列异常检测中，利用频域振幅谱和相位谱中的扰动进行数据增强。具体而言，对于输入时间序列 x 1 , ⋯   , x N x_1,\cdots,x_N x1​,⋯,xN​，它的频谱 F ( ω k ) F(\omega_k) F(ωk​)是通过傅里叶转换来计算：
F ( ω k ) = 1 N ∑ t = 0 N − 1 x t e − j ω k t = A ( ω k ) exp ⁡ [ j θ ( ω k ) ] (1) F(\omega_k)=\frac{1}{N}\sum^{N-1}_{t=0}x_te^{-j\omega_kt}=A(\omega_k)\exp[j\theta(\omega_k)]\tag{1} F(ωk​)=N1​t=0∑N−1​xt​e−jωk​t=A(ωk​)exp[jθ(ωk​)](1)
其中 ω k = 2 π k N \omega_k=\frac{2\pi k}{N} ωk​=N2πk​是角频率， A ( ω k ) A(\omega_k) A(ωk​)是振幅谱， θ ( ω k ) \theta(\omega_k) θ(ωk​)是相位谱。对于振幅谱 A ( ω k ) A(\omega_k) A(ωk​)中的扰动，通过考虑振幅谱中的原始均值和方差，将随机选择的段的振幅值替换为高斯噪声。而对于相位谱 θ ( ω k ) \theta(\omega_k) θ(ωk​)中的扰动，随机选择的段的相位值由相位谱中额外的零均值高斯噪声相加。基于振幅和相位扰动（APP）的数据增强与上述时域增强方法相结合，带来了显著的时间序列异常检测改进，如Gao的实验所示。
Lee等人最近的另一项工作提出利用替代数据来改善深度神经网络中康复时间序列的分类性能。工作中采用了两种常规类型的替代时间序列：振幅调整傅里叶变换（AAFT）和迭代AAFT（IAAFT）。主要思想是在傅里叶变换后的相位谱中执行随机相位混洗，然后在傅里叶逆变换后执行时间序列的秩排序。从AAFT和IAAFT生成的时间序列可以近似地保持原始时间序列的时间相关性、功率谱以及振幅分布。在实验中，作者通过AAFT和IAAFT方法将数据扩展10到100倍，进行了两种类型的数据扩展，并证明了与没有数据扩展的原始时间序列相比，分类精度有很大的提高。

2.3 时频域

时频分析是一种广泛应用的时间序列分析技术，可作为深度神经网络的适当输入特征。然而，类似于频域中的数据增强，只有少数研究考虑了时间序列的时频域数据增强。
作者采用短傅立叶变换（STFT）为传感器时间序列生成时频特征，并通过深度LSTM神经网络对人类活动分类的时频特征进行数据增强。具体而言，提出了两种增强技术。一种是基于定义标准的局部平均，生成的特征附加在特征集的末尾。另一种是特征向量的混洗，以在数据中产生变化。类似地，在语音时间序列中，最近提出了SpecAugment以Mel频率（基于语音时间序列的STFT的时频表示）进行数据增强，其中增强方案包括扭曲特征、掩盖频率信道块和掩盖时间步长块。他们证明，SpecAugment可以大大提高语音识别神经网络的性能，并获得最先进的结果。
为了说明，我们在图2中总结了时间、频率和时频域中的几种典型时间序列数据增强方法。

3. 高级的数据增强方法

3.1 基于分解的方法

基于分解的时间序列增强也已被采用，并在许多与时间序列相关的任务中取得了成功，如预测和异常检测。常见的分解方法，如STL或RobustSTL将时间序列 x t x_t xt​分解为
x t = τ t + s t + r t , t = 1 , 2 , ⋯   , N (2) x_t=\tau_t+s_t+r_t,t=1,2,\cdots,N\tag{2} xt​=τt​+st​+rt​,t=1,2,⋯,N(2)
其中 τ t \tau_t τt​是趋势信号， s t s_t st​是季节或者周期性信号， r t r_t rt​表示的是余数信号。
在Kegel等人中，作者讨论了生成新时间序列的分解方法。在STL之后，它将新的时间序列与确定性分量和随机分量相结合。通过调整基础、趋势和季节性的权重，重构确定性部分。随机部分是通过建立基于残差的复合统计模型生成的，例如自回归模型。通过检查到其原始信号的基于特征的距离是否在一定范围内，来验证所生成的时间序列的总和。同时，Bergmeir等人中的作者建议对STL分解残差应用自举，以生成增强信号，然后将其与趋势和季节性相加，以组装新的时间序列。基于增强时间序列的预测模型集成始终优于原始预测模型，证明了基于分解的时间序列扩展方法的有效性。
最近，作者表明，与没有增强的相同方法相比，对使用鲁棒分解生成的分解残差应用时域和频域增强可以帮助显著提高异常检测的性能。

3.2 统计生成模型

基于统计生成模型的时间序列增强方法通常涉及使用统计模型建模时间序列的动态性。作者提出了一种称为混合高斯树的简约统计模型，用于建模多模态少数类时间序列数据，以解决不平衡分类问题，与不利用相邻点之间时间序列相关性的现有过采样方法相比，该模型显示了优势。作者使用了通过称为LGT（局部和全局趋势）的统计算法计算的参数和预测路径样本。最近，研究人员使用混合自回归（MAR）模型模拟时间序列集，并研究时间序列特征空间中生成的时间序列的多样性和覆盖率。
本质上，这些模型通过假设时间t的值取决于先前的点来描述时间序列的条件分布。一旦初始值受到扰动，可以根据条件分布生成新的时间序列序列。

3.3 基于学习的方法

时间序列数据增强方法应不仅能够生成不同的样本，而且能够模拟真实数据的特征。在本节中，我们总结了一些最近基于学习的方案，这些方案具有这样的潜力。

嵌入空间

在DeVries和Taylor中，建议在学习的嵌入空间（又称潜在空间）中执行数据增强。它假设，由于特征空间中的流形展开，应用于编码输入而非原始输入的简单变换将产生更可信的合成数据。请注意，此框架中表示模型的选择是开放的，取决于特定的任务和数据类型。当时间序列数据被确定时，序列自动编码器就会被选择。具体而言，应用插值和外推来生成新样本。识别变换空间中具有相同标签的第k个最近标签。然后，对于每对相邻样本，生成一个新样本，该样本是它们的线性组合。插值和外推的区别在于样本生成中的权重选择。该技术特别适用于时间序列分类，如DeVries和Taylor所示。最近，在Cheung和Yeung中提出了另一种嵌入空间中的数据增强方法，称为MODALS（潜在空间中的模态论自动数据增强）。代替训练自编码器来学习潜在空间并生成用于训练的额外合成数据，MODALS方法与潜在空间增强的不同组成联合训练分类模型，这证明了对于时间序列分类问题的优越性能。

深度生成模型

深度生成模型（DGM）最近被证明能够生成接近真实的高维数据对象，例如图像和序列。为序列数据（如音频和文本）开发的DGM通常可以扩展为时间序列数据建模。在DGM中，生成对抗网络（GAN）是生成合成样本和有效增加训练集的常用方法。尽管GAN框架在许多领域受到了极大关注，但如何生成有效的时间序列数据仍然是一个具有挑战性的问题。在本小节中，我们简要回顾了GANs用于时间序列数据增强的几项最新工作。
在Esteban中，提出了循环GAN（RGAN）和循环条件GAN（RCGAN），以产生真实的实值多维时间序列数据。RGAN在发生器和鉴别器中采用RNN，而RCGAN采用基于辅助信息的两种RNN。除了RGAN和RCGAN在时间序列数据增强方面的理想性能外，差分隐私还可用于训练RCGAN以获得更严格的隐私保证，如医学或其他敏感领域。最近，Yoon等人提出了TimeGAN，这是一个用于在各个领域生成现实时间序列数据的自然框架。TimeGAN是一种生成性时间序列模型，通过学习嵌入空间，在有监督和无监督损失的情况下进行对抗和联合训练。具体而言，引入逐步监督损失来学习数据中的逐步条件分布。它还引入了一个嵌入网络来提供特征和潜在表示之间的可逆映射，以降低对抗性学习空间的高维性。注意，通过联合训练嵌入网络和生成器网络，监督损失最小化。

自动数据增强

自动数据增强的思想是通过强化学习、元学习或进化搜索自动搜索最佳数据增强策略。Ratner等人中的TANDA（数据增强的变换对抗性网络）方案旨在使用类似于GAN的框架中的增强学习，在指定的变换函数上训练生成序列模型，以生成真实的变换数据点，这在包括图像识别和自然语言理解任务的一系列应用中产生了比普通启发式数据增强方法强的增益。Cubuk等人提出了一种称为自动增强的过程，以在增强学习框架中自动搜索改进的数据增强策略。它采用控制器RNN网络从搜索空间预测增强策略，并训练另一个网络以实现收敛精度。然后，精度被用作奖励，以在下一次迭代中更新RNN控制器以获得更好的策略。实验结果表明，在大范围的数据集上，自动增强显著提高了现代图像分类器的准确率。
对于时间序列数据增强，MODALS旨在使用基于种群的增强（PBA）的进化搜索策略，找到数据增强的潜在空间变换的最佳组合，这表明在连续和离散时间序列数据的分类问题上具有优异的性能。提出了另一项关于自动数据增强的最新工作，其中专门为时间序列数据设计了两个样本自适应自动加权方案：一个学习加权增强样本对损失的贡献，另一个根据预测训练损失的排序选择变换子集。两种自适应策略都证明了对多时间序列数据集分类问题的改进。

4. 初步评估

4.1 时间序列异常检测

考虑到时间序列异常检测中数据稀缺和数据不平衡的挑战，利用时间序列数据增强以基于少量现有标记生成更多标记数据至关重要。Gao等人的工作证明了对分解信号应用数据增强的有效性，这提高了原始时间序列数据异常检测的性能。
我们简要描述了使用不同设置将U-Net结构应用于公共Yahoo数据集的结果，包括将模型应用于原始数据（U-Net-raw），将该模型应用于RobustSTL（U-Net-De）的信号分解残差，并将该模型用于基于分解的数据增强（U-Net-DeA）的残差。应用的数据增强方法包括翻转、裁剪、标签扩展和分解组件中基于应用程序的频域增强。使用标准精度、召回率、F1分数以及允许最多3点检测延迟的松弛F1分数来评估性能。表1显示了不同设置的性能比较。可以观察到，分解有助于显著增加F1分数，并且基于分解的数据增强能够进一步提高性能，F1分数增加4.7%，松弛F1分数增加5.4%。

4.2 时间序列分类

在本实验中，我们比较了有和没有数据增强的分类性能。具体而言，我们从顶级云服务提供商的云监控系统中收集了5000个具有二进制类标签（季节性或非季节性）的一周长和5分钟的时间序列样本。数据被随机分成训练集和测试集，其中训练包含总样本的80%。我们训练一个完全卷积网络，对训练集中的每个时间序列进行分类。在我们的实验中，我们将不同类型的异常值（包括尖峰、步长和斜率）注入测试集，以评估训练分类器的鲁棒性。应用的数据增强方法包括裁剪、扭曲和翻转。表2总结了当将不同类型的异常值注入测试集时，有无数据增强的精度。可以观察到，数据增加导致 0.1 % ∼ 1.9 % 0.1\%\sim1.9\% 0.1%∼1.9%的精度提高。

4.3 时间序列预测

预测任务是时间序列分析中的一个重要应用。时间序列预测在许多实际应用中起着至关重要的作用，包括人工/机器调度、库存控制、动态定价等。在本小节中，我们展示了两种流行的深度模型中数据增强技术的实际有效性，即DeepAR和Transformer。在表3中，我们报告了几个公共数据集的平均绝对标度误差（MASE）的性能改进：UCI学习库的电力和交通量以及M4竞赛的3个数据集。我们考虑了2.1-2.2小节中提到的基本增强方法，包括裁剪、扭曲、翻转和基于应用程序的频域增强。
在表3中，我们报告了未增强和增强的平均MASE、和平均相对改善（ARI），其计算为 ( M A S E w / o   a u g − M A S E w   a u g ) / M A S E w   a u g (MASE_{w/o\ aug}-MASE_{w\ aug})/MASE_{w\ aug} (MASEw/o aug​−MASEw aug​)/MASEw aug​的平均值。我们可以观察到，数据增强方法在平均意义上为所有模型提供了有希望的结果。然而，对于特定数据/模型对，仍然可以观察到负面结果。作为未来的工作，它激励我们寻找先进的自动化数据增强策略，以稳定数据增强的影响，特别是时间序列预测。

5. 未来机遇的讨论

5.1 时域增强

如第2.3节所述，到目前为止，基于STFT的时间序列数据增强方法在时频域中的研究有限。除STFT外，小波变换及其变体，包括连续小波变换（CWT）和离散小波变换（DWT），是另一系列自适应时频域分析方法，用于表征时间序列的时变特性。与STFT相比，它们可以更有效和鲁棒地处理非平稳时间序列和非高斯噪声。
在许多小波变换变体中，最大重叠离散小波变换（MODWT）对于时间序列分析特别有吸引力由于以下优点：1）与连续小波变换相比，计算效率更高；2） 能够处理任何时间序列长度；3） 与DWT相比，更粗尺度下的分辨率提高。Keylock提出了基于MODWT的替代时间序列，其中小波迭代振幅调整傅里叶变换（WIAAFT）通过将迭代振幅调整傅立叶变换（IAAFT）方案与MODWT系数的每一级相结合来设计。与IAAFT相比，WIAAFT不假设满足性，并且可以大致保持原始数据在时间演化方面的形状。除WIAAFT外，我们还可以考虑在MODWT系数的每个级别上扰动振幅谱和相位谱，作为数据增强方案。研究如何利用MODWT在深度神经网络中进行有效的基于时间-频率域的时间序列数据增强将是一个有趣的未来方向。

5.2 高斯过程的增强

高斯过程（GPs）是适用于时间序列分析的众所周知的贝叶斯非参数模型。从函数空间的角度来看，GPs在函数上产生分布，即随机过程。时间序列可以被视为以时间为输入、以观测值为输出的函数，因此可以用GPs建模。一个GP f ( t ) ∼ G P ( m ( t ) , k ( t , t ′ ) ) f(t)\sim\mathcal{GP}(m(t),k(t,t^\prime)) f(t)∼GP(m(t),k(t,t′))由均值函数 m ( t ) m(t) m(t)和协方差核函数 k ( t , t ′ ) k(t,t^\prime) k(t,t′)定义。核的选择允许对建模函数的某些一般属性进行假设，如平滑性、尺度、周期性和噪声水平。此外，核可以通过加法和乘法组合，从而产生组合函数特性，如伪周期性、可加分解性和转换点。GPs通常用于插值和外推任务，这对应于时间序列分析中的插补和预测。此外，深度高斯过程（DGP）是更丰富的模型，具有GPs的分层组成，在许多情况下经常显著超过标准（单层）GPs，但尚未对时间序列数据进行充分调查。我们认为，GPs和DGPs是时间序列数据增强的有用工具，因为它们允许通过核设计对具有上述特性的时间序列进行采样，并通过利用其插值/外推能力从现有数据实例生成新的数据实例。

5.3 深度生成模型的增强

当前用于时间序列数据增强的深度生成模型（DGM）主要是GAN。然而，其他DGM在时间序列建模方面也有很大潜力。例如，深度自回归网络（DARN）表现出对时间序列的自然拟合，因为它们以顺序方式生成数据，遵循物理时间序列数据生成过程的因果方向。Wavenet和Transformer等DARN在时间序列预测任务中表现出了良好的性能。另一个例子是标准化流（NFs），其最近在模拟时间序列随机过程方面取得了成功，在给定观测数据的情况下具有出色的互/外推性能。最近，研究了基于变分自编码器（VAE）的数据增强用于人类活动识别。因此，如何利用更深入的生成模型，如DARNs、NFs和VAE，仍然是时间序列数据增强的一个令人兴奋的未来机会。

5.4 不平衡类的增强

在时间序列分类中，不平衡类的存在是一个常见问题，其中一个类可能占据数据集的大部分。解决不平衡分类问题的一种经典方法是使用合成少数过采样技术（SMOTE）对少数类进行过采样，以人为缓解不平衡。然而，这种过采样策略可能会改变原始数据的分布并导致过拟合。另一种方法是使用调整损失函数设计成本敏感模型。此外，在卷积神经网络的损失函数中设计了基于标签的权重和基于值的权重，考虑了类标签和每个样本及其邻域的权重调整。因此，明确考虑了类不平衡和时间依赖性。
同时对不平衡类执行数据增强和加权将是一个有趣而有效的方向。最近的一项研究调查了CV和NLP领域的这一主题，这显著改善了低数据状态和不平衡类问题中的文本和图像分类。在未来，通过联合考虑时间序列数据中不平衡类的数据增强和加权，设计深度网络是有趣的。

5.5 增强结合

图1中总结的不同数据增强方法，一种策略是将各种增强方法组合在一起并顺序应用它们。实验表明，三种基本时域方法（排列、旋转和时间扭曲）的组合优于单一方法，并在时间序列分类中实现了最佳性能。此外，结果表明，通过结合四种数据增强方法（即抖动、缩放、旋转和时间扭曲），当使用深度神经网络时，时间序列分类任务的性能得到了显著改善。然而，考虑到各种数据增强方法，直接组合不同的增强可能会产生大量数据，并且对于性能改进可能不是高效和有效的。
最近，RandAugment被提出作为图像分类和目标检测中的增强组合的一种实用方法。对于每个随机生成的数据集，RandAugment仅基于两个可解释的超参数N（要组合的增强方法的数量）和M（所有增强方法的幅度），其中每个增强是从K=14个可用增强方法中随机选择的。此外，这种随机组合的增强与简单网格搜索可用于基于强化学习的数据增强，以显著减少搜索空间。一个有趣的未来方向是如何将类似的想法扩展到时间序列数据增强以进行深度学习。

6. 结论

随着深度学习模型在时间序列数据上越来越流行，有限的标记数据需要有效的数据增强方法。在本文中，我们对各种任务中的时间序列数据增强方法进行了全面的综述。我们以由基本方法和高级方法组成的分类法来组织所调研的方法。我们介绍了每个类别中的代表性方法，并在典型的时间序列任务中进行了实证比较，包括时间序列异常检测、时间序列预测和时间序列分类。最后，我们通过考虑当前方法的局限性和来自其他深度学习领域的启示，讨论并强调了未来的研究方向。