2019 WWW | HAN:Heterogeneous Graph Attention Network

Paper: https://arxiv.org/pdf/1903.07293.pdf
Code: https://github.com/Jhy1993/HAN

2019 WWW | HAN:异构图注意网络

这篇文章在图神经网络中将注意力机制从同质图扩展到节点和边有不同类型的异质图。文章提出了一种包含节点级注意力和语义级注意力的层次注意力异质图神经网络。

定义

异构图是指含有不同的节点和不同类型的边的图网络，比如下面的图包含电影、演员、导演三种类型的节点，两个电影节点之间可以通过元路径“电影-演员-电影”关联，该元路径表示共同演员的关系，也可以通过元路径“电影-导演-电影”关联，该原路径表示的是共同导演的关系，可以看出在异构图中两个相同的节点对应的不同的元路径具有不同的语义信息。

元路径（Meta-path）：指从一个节点集合 $[A_1,A_2,...,A_{l+1}]$通过关系$[R_1,R_2,...,R_l]$连接成的一条路径$\varphi$。

基于元路径的邻居（Meta-path based Neighbors）：在异构图中，节点$i$的基于元路径$\varphi$的邻居$N_i^{\varphi }$是指通过元路径（meta-path）和$i$相连的节点的集合，包含自己本身。

其他

模型

节点级的注意力

对于${\varphi }_i$类型的节点，作者设计了转换矩阵 $M_{{\varphi }_i}$，将节点表示由$h_i$转换成$h_i^{\prime }$

通过一层注意力网络 $atte{n}_{node}$学习得到节点j对节点i的基于meth-path $\Phi$ 的权重 $e_{ij}^{\Phi }$。

之后通过softmax得到归一化权重 ${\alpha }_{ij}^{\Phi }$

聚合邻居节点的特征得到节点$i$基于$\Phi$的语义信息的节点表示向量$z_i^{\Phi }$

与GAT相同，为了让节点注意力机制更加鲁棒，作者设计了多头注意力机制，然后将每次学习到的结果进行concat，得到多头注意力的节点表示：

语义级的注意力

为了学习不同meta-path对应的节点表示的注意力权重，作者首先对不同meta-path对应的节点表示 $z_i^{{\Phi }_p}$进行非线性变换，然后定义语义注意力向量q，将q和非线性变换后的节点向量内积的平均值作为meta-path ${\Phi }_p$的权重$w_{{\Phi }_p}$：

softmax得到语义注意力权重${\beta }_{{\Phi }_p}$

最后基于语义注意力权重，得到最终的节点表示$Z$：

伪代码流程如下：

实验结果