1. 背景

多元时间序列数据在我们的日常生活中无处不在，从股票市场的价格，高速公路上的交通流量，太阳能发电厂的输出量，不同城市的温度等等。 在这样的应用中，用户通常对基于时间序列的历史观察来对新趋势或潜在危险事件的进行预测。 例如，可以基于几个小时前的交通拥堵模式来设计更好的路线计划，通过预测将来股票市场来获得更大的收益。
在这些实际场景中的时间序列通常涉及长期和短期模式的混合，但传统方法（例如自回归模型和高斯过程）在处理这些问题时往往会失效。本文中，我们介绍一种针对多元时间序列预测而设计的深度学习框架——长期和短期时间序列网络（LSTNet），它可以有效解决长短期模式的混合问题。 LSTNet 使用卷积神经网络（CNN）和递归神经网络（RNN）来提取变量之间的短期局部依赖模式，并发现时间序列趋势的长期模式。此外，它利用传统的自回归模型来解决神经网络模型的规模不敏感问题。

2. 模型介绍

LSTNet利用卷积层的优势来发现局部多维输入变量和循环层之间的依赖关系模式，以捕获复杂的长期依赖关系。它通过一种新颖的递归结构（即递归跳跃）来捕获非常长期的依赖模式，并利用输入时间序列信号的周期性来简化优化过程。最后，LSTNet结合了与非线性神经网络部分并行的传统自回归线性模型，这使得非线性深度学习模型对于违反尺度变化的时间序列更具鲁棒性。该部分我们主要介绍LSTNet结构、目标函数和优化策略三个部分。

2.1 LSTNet结构

下图概述了LSTnet体系结构。 LSTNet是一个深度学习框架，专门设计用于混合了长期和短期模式的多元时间序列预测任务。我们将详细介绍LSTNet的构建基块：卷积单元、循环单元、循环跳远单元、时序注意单元、自回归单元。
【技术博客】时序预测模型——LSTNet-Mo 动态

2.1.1 卷积部分

LSTNet 的第一层为卷积层，且没有池化层。它主要目的是提取时间维度中的短期模式以及变量之间的局部依存关系。 卷积层由宽度为ω \omegaω，高度为 n nn（高度与变量数相同）的多个过滤器组成。 第k个滤波器扫过输入矩阵$X 并产生 并产生并产生h_k$,
【技术博客】时序预测模型——LSTNet-Mo 动态

2.1.2 循环部分

卷积层的输出同时作为循环单元和循环跳跃单元的输入。 循环单元是具有门控循环单元（GRU）的循环层，并使用RELU功能作为隐藏更新激活功能。循环单元的t tt时刻的隐藏状态可以通过（2）式计算求得。
【技术博客】时序预测模型——LSTNet-Mo 动态

2.1.3 循环跳跃部分

尽管使用 GRU 和 LSTM 单元的循环层经过精心设计，通过记住历史信息，来解决长期的依赖性问题的。但是由于梯度消失的问题，实际上 GRU 和 LSTM 依然无法捕获非常长期的相关性。LSTNet 通过在当前隐藏单元和相同相位的隐藏单元之间添加跳过链接，来缓解此问题。即在相邻时段中，在当前隐藏单元和相同相位的隐藏单元之间添加跳过链接。 其更新过程可以表述为：
【技术博客】时序预测模型——LSTNet-Mo 动态

2.1.4 时序注意层

【技术博客】时序预测模型——LSTNet-Mo 动态

2.1.5 自回归部分

【技术博客】时序预测模型——LSTNet-Mo 动态

2.2 目标函数

【技术博客】时序预测模型——LSTNet-Mo 动态

2.3 优化策略

这里的优化策略与传统的时间序列预测模型相同。鉴于是一个回归问题，所以这里采用的是随机梯度下降（SGD）的方法。

3. 模型应用

论文对该方法进行了对比分析。

3.1 评价指标

这里使用的评价指标为RSE（Root Relative Squared Error ）和 CORR（Empirical Correlation Coefficient）。具体计算如下：
【技术博客】时序预测模型——LSTNet-Mo 动态

3.2 数据介绍

  • 交通：加州交通运输部每小时收集48个月（2015-2016年）数据。数据描述了由旧金山湾地区高速公路上的不同传感器测得的道路占用率（介于0和1之间）。

  • 太阳能：2006年的太阳能发电记录，每10分钟从阿拉巴马州的137个光伏电站中采样一次。

  • 电力：从2012年到2014年，每15分钟记录一次kWh的电力消耗，321位客户。 作者转换了数据以反映小时消耗；

  • 汇率：收集1990年至2016年八个澳大利亚，英国，加拿大，瑞士，中国，日本，新西兰和新加坡等八个国家的每日汇率。

    3.3 实验结果

    文章中在 4 种基准数据集上使用 9 种方法进行了广泛的实验，模型的表现效果如下：
    【技术博客】时序预测模型——LSTNet-Mo 动态

    4. 模型实践

    我们在momodel平台上fork了作者的代码，这里采用汇率的数据集。
    项目地址：https://momodel.cn/explore/5dcd2380e44648e683935c30?type=app

参考资料

Lai G, Chang W, Yang Y, et al. Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks[C]. international acm sigir conference on research and development in information retrieval, 2018: 95-104…
LSTNet详解 https://zhuanlan.zhihu.com/p/61795416