## SelfKG: Self-Supervised Entity Alignment in Knowledge Graphs

SelfKG：知识图中的自监督实体对齐

### 1 INTRODUCTION

SelfKG通过设计提出了一种自负采样策略，以解决在知识图谱中进行有监督标签意识负采样和无监督负采样中假阴性样本碰撞的困境。具体来说，对于知识图谱中的每个实体，我们通过直接从相同的知识图谱中采样实体来形成其负对。换句话说，SelfKG完全依赖于从输入的知识图谱中随机采样的负实体对。我们从理论上证明了这种策略对于跨知识图谱对齐实体仍然是有效的。

### 3 SELF-SUPERVISED ENTITY ALIGNMENT

3 自我监督的实体协调

#### 3.2 Relative Similarity Metric

3.2 相对相似度度量

L N C E ≜ − log ⁡ e f ( x ) T f ( y ) / τ e f ( x ) T f ( y ) / τ + ∑ i e f ( x ) T f ( y i − ) / τ = − 1 τ f ( x ) T f ( y ) ⏟ a l i g n m e n t + log ⁡ ( e f ( x ) T f ( y ) / τ + ∑ i e f ( x ) T f ( y i − ) / τ ) ⏟ u n i f o r m i t y . ( 1 ) \begin{aligned}\mathcal{L}_{\mathrm{NCE}}&\triangleq-\log\frac{e^{f(x)^{\mathsf{T}}f(y)/\tau}}{e^{f(x)^{\mathsf{T}}f(y)/\tau}+\sum_{i}e^{f(x)^{\mathsf{T}}f(y_{i}^{-})/\tau}}\\&=\underbrace{-\frac{1}{\tau}f(x)^{\mathsf{T}}f(y)}_{\mathrm{alignment}}+\underbrace{\log(e^{f(x)^{\mathsf{T}}f(y)/\tau}+\sum_{i}e^{f(x)^{\mathsf{T}}f(y_{i}^{-})/\tau})}_{\mathrm{uniformity}}\:.\end{aligned}\quad\quad(1)

L R S M = − 1 τ + E { y i − } i = 1 M ∼ i . i . d . p γ [ log ⁡ ( e 1 / τ + ∑ i e f ( x ) T f ( y i − ) / τ ) ] ≤ L A S M ≤ L R S M + 1 τ [ 1 − min ⁡ ( x , y ) ∼ p p o s ( f ( x ) T f ( y ) ) ] . ( 2 ) \begin{aligned}\mathcal{L}_{\mathrm{RSM}}& =-\frac{1}{\tau}+\mathbb{E}_{\{y_{i}^{-}\}_{i=1}^{M}\stackrel{\mathrm{i.i.d.}}{\sim}p_{\gamma}}\biggl[\log(e^{1/\tau}+\sum_{i}e^{f(x)^{\mathsf{T}}f(y_{i}^{-})/\tau})\biggr] \\&\leq \mathcal{L}_{\mathrm{ASM}} \leq \mathcal{L}_{\mathrm{RSM}}+\frac{1}{\tau}\left[1-\min_{(x,y)\sim p_{\mathrm{pos}}}\left(f(x)^{\mathsf{T}}f(y)\right)\right].\end{aligned}\quad\quad(2)

#### 3.3 Self-Negative Sampling

3.3 自负采样

L A S M ∣ λ , x ( f ; τ , M , p Y ) = ∑ ( x , y ) ∼ p p o s [ − log ⁡ e f ( x ) T f ( y ) / τ λ e f ( x ) T f ( y ) / τ + ∑ i e f ( x ) T f ( y i − ) / τ ] { y i − } i = 1 M ∼ i . i . d . p y ( 3 ) \begin{aligned}\mathcal{L}_{\mathrm{ASM}|\lambda,x}(f;\tau,M,p_{Y})&=\sum_{(x,y)\sim p_{\mathrm{pos}}}\left[-\log\frac{e^{f(x)^{\mathsf{T}}f(y)/\tau}}{\lambda e^{f(x)^{\mathsf{T}}f(y)/\tau}+\sum_{i}e^{f(x)^{\mathsf{T}}f(y_{i}^{-})/\tau}}\right]\\&\{y_{i}^{-}\}_{i=1}^{M}\overset{\mathrm{i.i.d.}}{\sim}p_{y}\end{aligned}\quad\quad(3)

lim ⁡ M → ∞ ∣ L R S M ∣ λ , x ( f ; τ , M , p x ) − L R S M ∣ λ , x ( f ; τ , M , p y ) ∣ = 0. ( 4 ) \operatorname*{lim}_{M\to\infty}|\mathcal{L}_{\mathrm{RSM}|\lambda,x}(f;\tau,M,p_{x})-\mathcal{L}_{\mathrm{RSM}|\lambda,x}(f;\tau,M,p_{y})|=0.\quad\quad(4)

L = L R S M ∣ λ , x ( f ; τ , M , p x ) + L R S M ∣ λ , y ( f ; τ , M , p y ) . ( 5 ) \mathcal{L}=\mathcal{L}_{\mathrm{RSM}|\lambda,x}(f;\tau,M,p_{x})+\mathcal{L}_{\mathrm{RSM}|\lambda,y}(f;\tau,M,p_{y}).\quad\quad(5)

#### 3.4 Multiple Negative Queues

3.4 多个负队列

( 1 + K ) × N < min ⁡ ( ∣ E x ∣ , ∣ E y ∣ ) , ( 6 ) (1+K)\times N<\min(|E_x|,|E_y|),\quad\quad\quad(6)

Momentum update. 负队列带来的主要挑战是编码样本过时，特别是在训练早期编码的样本，在此期间模型参数变化很大。因此，仅使用一个频繁更新的编码器的端到端训练实际上可能会损害训练。为了缓解这个问题，我们采用动量训练策略，该策略维护两个编码器——在线编码器和目标编码器。虽然在线编码器的参数 θ o n l i n e \theta_{online} 通过反向传播立即更新，但用于编码当前批次然后推入负队列的目标编码器 θ t a r g e t \theta_{target} 通过动量异步更新：

θ t a r g e t ← m ⋅ θ t a r g e t + ( 1 − m ) ⋅ θ o n l i n e , m ∈ [ 0 , 1 ) ( 7 ) \theta_{\mathrm{target}}\leftarrow m\cdot\theta_{\mathrm{target}}+(1-m)\cdot\theta_{\mathrm{online}},m\in[0,1)\quad\quad(7)

(1) 式2中自监督损失的设计通过 KG 中的相对相似度度量 (RSM) 启用；

(2)自负抽样策略进一步推进了方程2代入方程5避免样本出现假阴性；

(3)将MoCo扩展到两个负队列以支持大量负样本的有效使用。

### 4 EXPERIMENT

DWY100K。 这里使用的 DWY100K 数据集最初由[31]构建。DWY100K 由两个大型数据集组成： D W Y 100 K d b p _ w d DWY100K_{dbp\_wd} （DBpedia 到 Wikidata）和 D W Y 100 K d b p _ y g DWY100K_{dbp\_yg} （DBpedia 到 YAGO3）。 每个数据集包含 100,000 对对齐的实体。 然而， D W Y 100 K d b p _ w d DWY100K_{dbp\_wd} 的“wd”（维基数据）部分中的实体由索引（例如 Q123）表示，而不是包含实体名称的 URL，我们通过 Wikidata API for python 搜索它们的实体名称。

DBP15K。 DBP15K 数据集最初由 [30] 构建，并由 [42] 翻译成英文。DBP15K由三个跨语言数据集组成： D B P 15 K z h _ e n DBP15K_{zh\_en} （中文到英语）、 D B P 15 K j a _ e n DBP15K_{ja\_en} （日语到英语）和 D B P 15 K f r _ e n DBP15K_{fr\_en} （法语到英语）。 所有三个数据集均由多语言 DBpedia 创建，每个数据集包含 15,000 对对齐实体。我们报告原始版本和翻译版本的结果。

#### 4.1 Results

• 受监督：训练集中 100% 的对齐实体链接得到利用
• 无监督和自监督：利用了 0% 的训练集。

DWY100K 的整体性能。 从表 2 中，我们观察到 SelfKG 优于除监督 CEAFF 和 BERT-INT 之外的所有监督和无监督模型。然而，在没有任何监督的情况下，SelfKG 在 D W Y 100 K d b p _ w d DWY100K_{dbp\_wd} 上仅落后于受监督的最先进的 CEAFF 1.2%。 D W Y 100 K d b p _ y g DWY100K_{dbp\_yg} ​ 之所以能够使 SelfKG 达到如此高的准确率，是因为其对齐的实体对的名称分别具有很大的相似性，这使得这个数据集更加容易。这一鼓舞人心的结果意味着，至少对于像 DWY100K 这样的单语言数据集，监督对于实体对齐来说并不是完全必要的。

DBP15K 的整体性能。 对于 DBP15K 数据集，我们发现不同的基线在实现中使用不同版本的 DBP15K。例如，BERT-INT 使用[30]构建的原始多语言版本，而其他一些方法包括RDGCN 和DGMC 使用机器翻译（谷歌翻译）来翻译非英语数据集（ 即 DBP15K 的 zh、ja、fr) 转换为英文。 如果 DBP15K 被翻译，则在某种程度上不应将其视为多语言设置。为了公平比较，我们报告了 SelfKG 在两种设置下的结果。

### 6 CONCLUSION

https://arxiv.org/pdf/2203.01044

GitHub仓库：

https://github.com/THUDM/SelfKG

### 关于 Spring 是什么

Spring 是什么 我们通常所说的 Spring 指的是 Spring Framework&#xff08;Spring 框架&#xff09;&#xff0c;它是⼀个开源框架&#xff0c;有着活跃⽽庞⼤的社区&#xff0c;这就是它之所以能⻓久不衰的原因。Spring ⽀持⼴泛的应⽤场景&#xff0c;它可以让 Java 企业级的…

### c++（六）

c&#xff08;六&#xff09; 多态概念在c中是如何实现多态静态多态&#xff08;绑定&#xff09;动态多态&#xff08;绑定&#xff09; 动态多态的实现原理动态内存分配中遇到的问题 重载、重定义、重写的区别抽象类接口类---抽象类空类对象的内存大小explicitfinal修饰类修饰…

### 失落的方舟 命运方舟台服怎么下载游戏客户端 游戏账号怎么注册

《失落的方舟》&#xff08;Lost Ark&#xff09;是韩国Smilegate公司精心打造的一款大型多人在线角色扮演游戏&#xff08;MMORPG&#xff09;&#xff0c;以其精美的画面、沉浸式的剧情、类似动作游戏的战斗体验和广阔的开放世界设定&#xff0c;自面世以来便深受全球玩家喜爱…

### 调整图片和表格尺寸的命令：resizebox

\resizebox 是 LaTeX 中的一个命令&#xff0c;用于调整插入的内容&#xff08;如图像、表格、文本等&#xff09;的大小。它的语法如下&#xff1a; \resizebox{<width>}{<height>}{<content>}其中&#xff1a; <width> 和 <height> 分别表示…