【论文笔记（3）】Dynamic Spatiotemporal Graph Neural Network with Tensor Network
Dynamic Spatiotemporal Graph Neural Networkwith Tensor Network
摘要（Abstract）
动态空间图构造是图神经网络(GNN)解决时间序列数据问题的一个挑战。
虽然一些自适应图是可以想象的，但无论之前的所有情况如何，只有2D图被嵌入到网络中以反映当前的空间关系。
在这项工作中，我们生成一个空间张量图(STG)来收集所有的动态空间关系，以及一个时间张量图(TTG)来发现每个节点上的潜在模式。
这两个张量图共享相同的节点和边，这使得我们通过投影纠缠对状态(PEPS)来探索它们的纠缠相关性，以优化这两个图。
我们在公共交通数据集上与最新的基于GNN的方法进行了准确率和时间开销的实验比较。
简介
GNN主要有四类，即递归GNN、卷积GNN、图自动编码器和时空GNN[Wu等，2019a]。本文的重点是最后一种GNN类型。时空GNNs方法在时间序列预测中面临着两个挑战。
第一个挑战是如何构建动态空间图。在时间变化过程中，一些节点和边可能会出现或消失，从而导致图形发生变化。因此，构建动态图来反映变化的相关性是合理的。
其次，我们的目标是探索每个节点的潜在时间相关性。
总之，为了解决这两个难题，我们不仅构造了空间张量图(STG)，还构造了时间张量图(TTG)，既能捕捉节点间的空间相关性，又能捕捉每个节点的时间相关性。
图1显示了这两个图表。
本文提出了一种基于张量网络的动态时空GNN(DSTGNN)流量预测方法。
提出的方法有三个主要贡献。
1.为了提高时间序列任务的性能，构建了两个图，即空间图和时间图，
从一个数据集中同时获取空间相关性和时间相关性，并将其嵌入到基于GNN的模型中。
2.STG或TTG都包含动态信息，并且以3D张量方式构造。
图的这种张量结构可以逐步反映节点和边的出现或消失，以提取更精细的特征。
3.考虑到从一个数据集构造的STG和TTG，我们使用PEPS来同时对它们进行优化。
此外，PEPS可以通过张量压缩来减少两个图的参数个数。
方法
在本节中，我们首先描述问题。
接下来，我们详细介绍了STG和TTG的结构、时空图卷积层(STGCL)和网络结构。最后，我们将PEPS引入到我们的模型中。
2.1 描述问题
我们的目标是使用基于GNN的方法来预测流量。
给出一个动态图G=(V，E，t)，V和E分别是时间t的节点(站)和边集。
数据集表示为X∈R（b×T×N×D），其中b为样本数，T为时间步长，N为节点数，D为维数。
给定持续时间[1，L]，我们的目标是找到一个函数f来预测X[：，1：L，：：]的下一个T0数据，它们是X[：，L+1：L+T0，：：]。
2.2 空间张量图和时间张量图
2.2.1空间张量图(STG)
使用所有的站点来构建STG，A(NNT)，维度大小为NNT
其中，A[i，j，t]是来自dijt的边的权重(在时间t的站i和j之间的样本的减去)，σ2和伊普西落分别被设置为0.1和0.5的阈值。
为了计算动态图STG，我们在时间0初始化图，即A[：：0]。
我们在每一步对图进行奇异值分解(SVD)以计算E1，E2，然后像[Wu等人，2019b]所做的那样进行RELU和SoftMax的归一化。
我们构造动态图的不同之处在于，我们用t-−1来更新时间t处的图，而不是在每次迭代中更新STG，以减少时间开销。
详细信息在算法1中。
2.2.2时间张量图（STG）
在我们的模型中，TTG表示为B(TTN)，其中B[T1，T2，n]是节点n(T1，T2∈[1，T]，n∈[1，N])上时间t1和t2样本的绝对减法。
TTG的结构与STG相似，为节省空间省略了细节。
2.2.3 切比雪夫多项式逼近
给定k阶的切比雪夫多项式Tk(Lˆ)∈RN×N)，将图形卷积重写为
其中拉普拉斯矩阵Lˆ=2L/λmax−in。这里我们使用切比雪夫近似将以前的3D图变换为4D A∈RN×N×KA×T和B∈RT×T×Kb×N，其中Ka是A的核大小，与Kb相同。
2.3 时空图形卷积层(STGCL)
给定数据集X∈R(BTN*D)作为4D张量，STG A用于X的模式1，TTGB用于X的模式2。
该层的图示如图2所示。
该模型分为两层：空间图卷积层(SGCL)和时间图卷积层(TGCL)。
STGCL设计为
其中WA∈R(Ci×Ka×Co×T)、WB∈R(Ci‘×Kb×Co’×N)、Ci、Ci‘是输入维度，Co、Co’是输出维度。
算法2中引入了TGCL和SGCL。
2.4网络结构
该框架如图3所示。
该模型的输入为数据集X[：，1：l，：，：]，图STG和TTG为核，输出为未来T0步的预测数据X[：，l+1：l+T0，：，：]。损失函数定义为：
投影纠缠对状态(PEPS)
PEPS结构如图4所示。
2.6讨论
2.6.1Tucker in STGCL
在我们的模型中，STGCL可以用Tucker分解的方式来设计，并将公式(2)重写为而与STGCL的不同之处在于将SGCL和TGCL整合为一层。
在这种情况下，可以使用高阶奇异值分解(HOSVD)来获得WA和WB，以降低计算复杂度，而不是双向卷积。
PEPS 效果
这里的PEPS有两个优点，第一，它挖掘出STG A和TTG B之间的相关性，因为它们是从同一数据集建立的。其次，通过低秩学习对两个图的参数进行约简。