image-20210508160454417

EACL 2021 的一篇论文。

0. Abstract

文章主要研究多跳问答的证据收集。文章提出的方法主要通过统计特征和方法进行证据收集,采用了 kNN 算法和信息检索方法,对相关证据进行排序。

文章的贡献包括:效果与 Transformer 系列模型相当,而速度更快。统计方法有助于减少语义偏移,同时有助于收集更多证据(大于等于 6),以及复杂推理证据。同时,统计方法收集到的证据有助于提高下游 QA 模型的效果(基于 BERT 的问答模型提高了 10% 的效果)。

1. Introduction

解释重建是问答系统提供可解释性的重要步骤。

解释重建通常采用 Worldtree 等解释语料库。

文章研究的重点是科学问答,这种问答一般包含两种证据:基础证据(基本解释)和科学证据(包含科学方面的陈述和定理)。

image-20210508162220715

  • 图:科学问答样例。问答的证据包含 5 个。其中 1-3 在概念上与问答对相关,4-5 需要多跳推理获得。

文章提出的框架,用两个评分函数的组合,对原子事实进行排序。

  • 相关性评分 RS:表示证据和给定词汇的相关性。
  • 统一评分 US:表示证据对类似问题的解释频率,模拟证据的综合解释能力。

文章的贡献:效果与 Transformer 系列模型相当,而速度更快。统计方法有助于减少语义偏移,同时有助于收集更多证据(大于等于 6),以及复杂推理证据。同时,统计方法收集到的证据有助于提高下游 QA 模型的效果(基于 BERT 的问答模型提高了 10% 的效果)。

2. Related Work

多跳问答容易发生语义偏移。控制语义偏移的一种方法是 Transformer 结构,但计算复杂度比较高。文章采用了信息检索方法,具有高可扩展性和低计算复杂度。

3. Explanation Reconstruction as a Ranking Problem

文章将解释重构过程看作为一种排序问题。

语料库包括:

  • 主要知识库:存储知识信息F
  • 次要知识库:存储解释 E。每个 E 包含多组假设内容 h 和对应的事实 f,每一个 h 对应多个 f

将解释重构过程看作下面的排序问题:

image-20210508171534984

  • 第一步:构建假设和事实的解释分数 S
  • 第二步:事实按照分数进行排序。
  • 第三步:找到 topk 个事实,与假设搭配构成解释。

3.1 Modelling Explanatory Relevance

假设包括三种内容:

  • 假设1:证据与答案相关。
  • 假设2:证据与问题相关。
  • 假设3:证据与答案和问题没有明显相关,但是在类似的问题中被重复使用。

形式化假设:

image-20210508172151841

  • 公式1:RS 是假设1和2,US 是假设3。

image-20210508172222864

  • 公式2:US 计算方法,包括作为解释的次数,以及事实在其他假设中作为证据的 US 得分。

image-20210508172712570

  • 图1:模型架构图。

4. Empirical Evaluation

数据集采用 WorldTree 的 ARC 数据集,该数据集提供了解释信息,并将解释分为三种:

  • 中心事实:核心的科学事实。
  • 接地解释:用于连接问答和中心事实。
  • 词句连接:用于填补句子间的词汇空白。

此外,事实还被分为三种:

  • 检索类型。
  • 推理支持类型。
  • 复杂推理类型。

image-20210508202907241

  • 图:解释和事实的分类。

采用 TF-IDF, BM25 和余弦相似度,计算 RS 和 US。

4.1 Explanation Reconstruction

评价指标采用 MAP。

基线模型采用 Transformer 系列模型,重排式信息检索模型,一步式信息检索模型和统计学习模型。

image-20210508203026867

  • 表1:对比实验结果。

4.2 Explanation Analysis

image-20210508203046286

  • 表2:性能分析。包括角色解释、词汇与假设的重叠关系、推断类型。

image-20210508203259022

  • 图2:US 对语义偏移的影响。RS + US 是蓝色,RS 是绿色,US 是红色。

image-20210508203403767

  • 图3:k-NN聚类中 k 对 MAP 的影响。k = 100 时效果最好。说明,假设的集群有助于提高解释能力,这也说明了 US 的重要性。

4.3 Qualitative analysis

image-20210508203630142

  • 表3:US 对科学事实排序的影响。

4.4 Question Answering

image-20210508203927986

  • 公式4:BERT 输入格式。可能的补充证据放在最后面。

image-20210508203701375

  • 表4:使用和不使用解释重建模型,实现问答。可以看到,使用推理信息能够提高模型效果。

5. Conclusion

本文提出的支撑证据重构框架,效果较好。

6. My Analysis

这篇文章指出:通过统计方法,获取支撑证据,进而提高问答等下游应用效果。感觉这种方法还挺好的,可以进行研究。