Learning Structured Embeddings of Knowledge Bases-笔记

LearningStructured Embeddings of Knowledge Bases: 学习知识库结构嵌入

Abstract

现有的知识库基于不同的框架，所以难以用到其他的系统中。

本文给出了一种基于创新神经网络结构的学习过程来将现有知识库的符号表示嵌入到一个更灵活的连续向量空间。这样一来原始的知识得以保存并增强。

这个学习嵌入允许任何知识库的数据被方便的运用到机器学习方法里面来做预测和信息检索。

Introduction: 在引言中主要讲了对人工智能的一个根本性的挑战一直是能够收集、组织和利用每日形成的海量的信息，而在这一领域的最新发展是关注大型网络知识库建设（KBs），而且，知识库（KBs）中高度的结构化和有组织的数据也可以用于其它人工智能领域，如自然语言处理中的词义消歧或自然语言理解、计算机视觉场景分类或图像语义标注等等。

本文的实验思想是：主要的工作是基于一个模型，通过表示KB中的元素到较低维嵌入向量空间。嵌入的是建立一个神经网络，其特定的架构允许集成学习中的原始数据结构表示。更准确的说，考虑到数据库被定义在一系列实体和一系列关系之间，我们的模型学习一个嵌入对于每个实体和一个操作符为每个关系。此外，我们表明，在低维嵌入空间使用核密度估计可以估量空间的概率密度，这样可以量化实体之间的关系存在的可能性。

1.论文的结构：(1)定义了框架，并讨论了一些相关工作;

(2)介绍了模型以及其训练协议并且显示其在WordNet and Freebase中潜在数据的实证说明;

(3)说明目前这种方法可以扩展到如何自动地从文本中提取知识。

Framework

定义：把知识库当做图，图由一组节点和一组链接构成，其中，图中的每个单个节点和数据库中的每个元素对应一致，将它叫做实体，图中的每个链接被定义为实体之间的关系。在本文中，一个关系被表示成一个三元组。(el, r , er).

这个新的框架是有吸引力的有两个原因：

（1）灵活性（简单的适应许多KBS）

（2）紧凑性（只有一个低维向量和一个低维矩阵）

（3）具有泛化能力（在KB中对于新的关系存在推理能力）

数据集：在实验中主要用到的知识库（KBs）是：WordNet and Freebase.

相关工作的介绍：在相关工作中主要介绍了本文提出了缓解其他方法KB数据的新工具的使用。嵌入的想法已被用于通过框架在NLP语言模型。这些工作表明，数据编码在分布式的嵌入数据引起的性能提升。

2.在嵌入知识库模块：

2.1结构性嵌入的思想

1）实体表示在一个d维的向量空间。-- 嵌入空间。 第 i 个实体表示成一个向量 Ei

2 ) 实体间的关系，对比给定的关系类型，有一个相似度度量。

2.2神经网络结构

2.3训练模型

使用随机梯度下降来优化。

2.4 概率景观估计

KBs对于在从原始文本中提取知识这方面的进步。

3.总结：本文介绍了一种新的自动处理方法：学习结构化分布式嵌入的知识库（KBs）。实验两大KBS已经表明，我们的分布式编码由实体向量和关系运算符保留的知识的原始数据，并提出了有趣的归纳出新的合理关系的能力。最后，我们展示了我们如何能适应我们的方法对原始文本知识提取。

3.1未来的工作包括

1）在一个单一的嵌入空间中完成来自多个知识库系统和原始文本的多任务学习综合知识

2）运用学习到的知识到其他人工智能的任务中