BlueStragglers

Unification-based Reconstruction of Multi-hop Explanations for Science Questions —— 论文阅读笔记

EACL 2021 的一篇论文。

0. Abstract

文章主要研究多跳问答的证据收集。文章提出的方法主要通过统计特征和方法进行证据收集,采用了 kNN 算法和信息检索方法,对相关证据进行排序。

文章的贡献包括:效果与 Transformer 系列模型相当,而速度更快。统计方法有助于减少语义偏移,同时有助于收集更多证据(大于等于 6),以及复杂推理证据。同时,统计方法收集到的证据有助于提高下游 QA 模型的效果(基于 BERT 的问答模型提高了 10% 的效果)。

1. Introduction

解释重建是问答系统提供可解释性的重要步骤。

解释重建通常采用 Worldtree 等解释语料库。

文章研究的重点是科学问答,这种问答一般包含两种证据:基础证据(基本解释)和科学证据(包含科学方面的陈述和定理)。

文章提出的框架,用两个评分函数的组合,对原子事实进行排序。

文章的贡献:效果与 Transformer 系列模型相当,而速度更快。统计方法有助于减少语义偏移,同时有助于收集更多证据(大于等于 6),以及复杂推理证据。同时,统计方法收集到的证据有助于提高下游 QA 模型的效果(基于 BERT 的问答模型提高了 10% 的效果)。

2. Related Work

多跳问答容易发生语义偏移。控制语义偏移的一种方法是 Transformer 结构,但计算复杂度比较高。文章采用了信息检索方法,具有高可扩展性和低计算复杂度。

3. Explanation Reconstruction as a Ranking Problem

文章将解释重构过程看作为一种排序问题。

语料库包括:

将解释重构过程看作下面的排序问题:

3.1 Modelling Explanatory Relevance

假设包括三种内容:

形式化假设:

4. Empirical Evaluation

数据集采用 WorldTree 的 ARC 数据集,该数据集提供了解释信息,并将解释分为三种:

此外,事实还被分为三种:

采用 TF-IDF, BM25 和余弦相似度,计算 RS 和 US。

4.1 Explanation Reconstruction

评价指标采用 MAP。

基线模型采用 Transformer 系列模型,重排式信息检索模型,一步式信息检索模型和统计学习模型。

4.2 Explanation Analysis

4.3 Qualitative analysis

4.4 Question Answering

5. Conclusion

本文提出的支撑证据重构框架,效果较好。

6. My Analysis

这篇文章指出:通过统计方法,获取支撑证据,进而提高问答等下游应用效果。感觉这种方法还挺好的,可以进行研究。

退出移动版