@ -14,7 +14,7 @@ tags=["Knowledge Graph","repost"]
知识图谱（ Knowledge Graph） ， ， （ ， ） ， （
TEG-AI 平台部的 Topbase 是专注于通用领域知识。数据层面， ， ， ， ， ， ，
@ -22,7 +22,7 @@ TEG-AI 平台部的 Topbase 是专注于通用领域知识。数据层面，
TopBase 的技术框架如图 2 所示， ， ， ， ， ， ， ， ， ， ， ） ， （
.png )
1. ** 下载平台-知识更新**：下载平台是知识图谱获取源数据平台，其主要任务包括新实体的发现和新实体信息的下载。
@ -52,7 +52,7 @@ TopBase 的技术框架如图 2 所示，主要包括知识图谱体系构建，
知识更新主要包括两方面内容，一个是新出现的热门实体，需要被及时发现和下载其信息，另一个是关系属性变化的情况需要对其值进行替换或者补充，如明星的婚姻恋爱关系等。知识更新的具体流程如下图所示：
.png )
@ -72,7 +72,7 @@ TopBase 的技术框架如图 2 所示，主要包括知识图谱体系构建，
* 从相关实体中更新，如果某个热门实体信息变更，则其相关实体信息也有可能变更，所以需要获得热门实体的相关实体，进行相应更新。
.png )
2.针对其他关系属性易变的情况，我们针对某些重要关系属性进行专项更新。如明星等知名人物的婚姻感情关系我们主要通过事件挖掘的方式及时更新，如：离婚事件会触发已有关系“妻子”“丈夫”变化为“前妻”“前夫”，恋爱事件会触发“男友”“女友”关系等。此外，基于非结构化抽取平台获得的三元组信息也有助于更新实体的关系属性。
@ -84,7 +84,7 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
许多网站提供了大量的结构化数据，如（图 4 左）所示的百科 Infobox 信息。这种结构化知识很容易转化为三元组，如：“< 姚明，妻子，叶莉>”。针对结构化数据的抽取，我们设计了基于 Xpath 解析的抽取平台，如（图 4 右） ， ：
.png )
@ -93,7 +93,7 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
由于大量的知识是蕴含在纯文本中，为了弥补结构化抽取信息的不足，我们设计了非结构化抽取平台。非结构化抽取流程如图 5 所示：
.png )
首先我们获取知识图谱中重要度高的实体名构建 Tri 树，然后回标新闻数据和百科正文数据，并将包含实体的句子作为候选抽取语料（新闻和百科数据需要区别对待，新闻数据往往包含最及时和最丰富的三元组信息，百科数据质量高，包含准确的知识，且百科摘要或正文描述相对简单，抽取结果的准确率高）。
@ -110,7 +110,7 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
* 基于序列标注模块：此外，还有许多属性值是无法进行 mention 识别，因此针对这类属性，我们采用一种序列标注的联合抽取方式来同时识别实体的属性值以及属性。这类属性主要有人物的“主要成就”信息，人物的描述 tag 信息，以及一些数值型属性信息。
.png )
@ -120,15 +120,15 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
**1 ) 上位词抽取**: 上位词可以理解为实体细粒度的概念，有助于更好的理解实体含义。图 7 是构建上位词图谱的一个简要流程图，其中主要从三路数据源中抽取上位词数据，主要包括：知识图谱的属性数据，百科人工标注 Tag， ， ， ， ，
.png )
**2) 实体描述 tag 抽取**: 实体描述 tag 是指能够描述实体某个标签的短句，图 7 是从新闻文本数据中挖掘到的实体“李子柒”的部分描述 tag。描述 tag 目前主要用于相关实体推荐理由生成，以及搜索场景中实体信息展示。描述 tag 抽取的核心模块以 QA-bert 为主的序列标注模型，
.png )
**3)事件抽取:**
.png )
@ -145,7 +145,7 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
知识规整目的是将实体数据映射到知识体系，并对其关系属性等信息进行去噪，归一化等预处理。如图 9 所示，左侧是从百科页面获取的武则天人物信息，右侧是从电影相关网站中获得的武则天信息，那么左侧的“武则天”应该被视为“人物类--历史人物--帝王”，右侧“武则天”应该被视为“作品--影视作品--电影”。左侧人物的“民族”属性的原始名称为“民族族群”，所以需要将其规整为 schema 定义的“民族”，这称之为属性归一。此外，由于不同来源的数据对实体名称会有不同的注释，如豆瓣的“武则天”这部电影后面加了一个年份备注，所以我们还需要对实体名进行还原处理等各种清洗处理。知识规整的核心模块是如何将实体映射到知识体系，即实体分类。
.png )
@ -156,14 +156,14 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
* 实体属性存在歧义：
.png )
* 实体名称或者实体简介信息具有迷惑性：例如实体"菅直人"是一个政治家，其名称容易和民族类别混淆，电影“寄生虫”简介如下图所示，其内容和人物概念极其相似。
.png )
@ -171,14 +171,14 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
**1 ）实体分类的训练样本构建**：
.png )
* ** 属性规则模块**：每个实体页面包含了实体结构化属性信息，利用这些属性字段可以对实体进行一个规则的分类。如：人物类别的实体大多包含民族，出生日期，职业等字段，歌手类实体的职业字段中可能有“歌手”的属性值。通过构建正则式规则，可以批量对实体页面进行分类。基于规则模块得到的类别信息准确率高，但是泛化能力弱，它的结果既可以作为后续分类模型的训练数据 1 也可以作为实体分类的一路重要分类结果。
.png )
@ -187,7 +187,7 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
* ** 自动构建的训练数据去噪模块**：基于规则和简介分类模块可以得到部分分类样本，但是这些训练样本不可避免的会引入噪声，所以我们引入 N-折交叉训练预测自清洗数据，进一步保留高置信的训练样本，清洗思路如下图所示。
.png )
@ -208,13 +208,13 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
* 模型架构：基于 bert 预训练语言模型的多 Label 分类模型
.png )
* 模型输入：我们针对上述特征进行拼接作为 bert 的输入，利用\[sep\]隔开实体的两类信息，每一类信息用逗号隔开不同部分。第一类信息是实体名称和实体简介，刻画了实体的一个基本描述内容，第二类信息是实体的各种属性，刻画了实体的属性信息。例如，刘德华的输入形式如下：
.png )
@ -227,9 +227,9 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
知识融合的目的是将不同来源的数据进行合并处理。如从搜狗百科，体育页面以及 QQ 音乐都获取到了"姚明"信息，首先需要判断这些来源的"姚明"是否指同一实体，如果是同一个实体（图 18 中的搜狗和虎扑的姚明页面） ， （
.png )
.png )
@ -238,20 +238,20 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
* 不同来源实体的属性信息重叠少，导致相似度特征稀疏，容易欠融合；
.png )
.png )
* 同系列作品（电影，电视剧）相似度高，容易过融合，如两部还珠格格电视剧
.png )
.png )
@ -262,7 +262,7 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
实体对齐的整体流程如图所示，其主要环节包括数据分桶，桶内实体相似度计算，桶内实体的聚类融合。
.png )
@ -273,7 +273,7 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
* 异构网络向量化表示特征：每个来源的数据可以构建一个同源实体关联网络，边是两个实体页面之间的超链接，如下图所示，百科空间可以构建一个百科实体关联网络，影视剧网站可以构建一个影视剧网站的实体关联网络。不同空间的两个实体，如果存在高重合度信息，容易判别二者相似度的两个实体，可以建立映射关系（如影视剧网站的梁朝伟页面和百科的梁朝伟页面信息基本一致，则可以认为二者是同一个实体，建立链接关系），这样可以将多源异构网络进行合并，梁朝伟和刘德华属于连接节点，两个无间道重合信息少，则作为两个独立的节点。然后基于 deepwalk 方式得到多源异构网络的节点向量化表示特征。
.png )
@ -286,7 +286,7 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
* 最后，按照下图结构将上述相似度特征进行融合预测两两实体是否是同一实体；
.png )
@ -303,7 +303,7 @@ Topbase 的抽取平台主要包括结构化抽取，非结构化抽取和专项
**知识关联（链接预测）**是将实体的属性值链接到知识库的实体中，构建一条关系边，如图 24 所示“三国演义”的作者属性值是“罗贯中”字符串，知识关联需要将该属性值链接到知识库中的实体“罗贯中”，这样实体“三国演义”和“罗贯中”之间存在一条“作者”的关系边。
.png )
Topbase 的知识关联方案分为基于超链接的关联和基于 embedding 的文本关联两种方式。超链接关联是 Topbase 进行关联和推理的第一步，它是利用网页中存在的超链接对知识图谱中的实体进行关联，如百科“三国演义”页面中，其“作者”属性链接到“罗贯中”的百科页面（如图 24 所示），基于这种超链接的跳转关系，可以在 Topbase 的实体之间建立起一条边关系， ， ， ，
@ -311,40 +311,40 @@ Topbase 的知识关联方案分为基于超链接的关联和基于 embedding
当前采用的嵌入模型是 TextEnhanced+TransE，
.png )
由于知识关联是在已知属性值的前提下， ， ， ，
* ** 伴随推理**是在已经被链接的两个实体之间，根据两个实体的属性信息，发现两者间蕴含的其它关系。例如实体 A 已经通过“配偶”关系与实体 B 相连，实体 A 的性别为“男”，实体 B 的性别为“女”，则伴随推理会生成一条“妻子”关系边，将实体 A 与实体 B 链接在一起，代表 B 为 A 的妻子。伴随推理的规则可以通过统计同时关联起两个实体的属性共现比例得到。
.png )
.png )
* ** 反向推理**是依据边之间的互反关系，为已经链接的两个实体再添加一条边。比如实体 A 通过“作者”边与实体 B 相连，代表实体 B 是实体 A 的作者，则可以直接生成一条从实体 B 指向实体 A 的“作品”边，代表实体 A 是实体 B 的作品，因为“作品”与“作者”是一条互反关系。反向推理与伴随推理类似，都是在已经存在边关系的实体之间，挖掘新的边关系，不同的是，伴随推理在生成边关系时需要满足一定的属性条件，如上例中的“性别”限制，而反向推理直接通过已有的边关系，无需参考其它属性值，直接生成一条互反边关系。反向推理规则可以通过统计 A-B，
.png )
.png )
* ** 多实体推理**是在多个实体之间挖掘蕴含的边关系， ， ： ， ， ， ， ， ， ， ， ： ， ， & R2 = R0\]。
.png )
.png )
@ -352,7 +352,7 @@ Topbase 的知识关联方案分为基于超链接的关联和基于 embedding
实体的知名度（ ） ， ， ， ； ， ，
.png )
@ -363,7 +363,7 @@ Topbase 的知识关联方案分为基于超链接的关联和基于 embedding
因此链接关系之间也有可信度的差别，无法做到将它们一视同仁地看待。其次，有的链接关系即使在可靠性方面完全正确，但它们对于 popularity 的正确计算不仅没有太大帮助，反而会导致 popularity 的计算结果与预期不符。修改后的 pagerank 算法的计算过程与基础 pagerank 算法基本一致，只是在进行分布概率的流转时有所区别。下面进行举例说明：
.png )
@ -380,7 +380,7 @@ Topbase 的知识关联方案分为基于超链接的关联和基于 embedding
知识图谱是一种典型的图结构数据集合， ， （ ） ， ， ， ， （ ） ， ， ， （ ） ， ，
.png )
@ -388,7 +388,7 @@ Topbase 知识图谱的存储是基于分布式图数据库 JanusGraph，
**Topbase**基于**JanusGraph**存储查询架构如下：
.png )
