论文：Dynamically Fused Graph Network for Multi-hop Reasoning

ACL 2019 的一篇论文，与HotpotQA数据集相关，有完整代码。

  • 作者：Yunxuan Xiao，Yanru Qu，Lin Qiu，Hao Zhou，Lei Li，Weinan Zhang，Yong Yu
  • pdf：https://arxiv.org/abs/1905.06933
  • github：https://github.com/woshiyyya/DFGN-pytorch

0. Abstract

本文提出了动态融合图网络（DFGN），用于处理需要多个分散证据进行推理的问题。

受人类逐步推理行为的启发，DFGN包含一个动态融合层，从给定的问题中提到的实体开始，沿着从文本动态构建的实体图进行探索，并逐渐找到给定文件中的相关支持实体。

DFGN在多跳推理数据集HotpotQA上取得了SOTA，同时分析表明，DFGN可以产生可解释的推理链。

1. Introduction

当前QA领域，多跳和推理问题十分具有挑战性。相关数据集有WikiHop、ComplexWebQuestions以及HotpotQA。该类问题有两种挑战：

  • 并非每个文档都包含有用信息。
  • 没有足够大的知识图谱能够解决开放领域问题。

本文提出的DFGN模型可以解决上述问题。

  • 针对问题一，DFGN构建基于问题和文章中所提及实体的动态实体图，构建过程中多次迭代，进行动态图生成和推理，mask无关实体而保留相关实体，从而实现多跳推理。mask prediction模块是以端到端的方式学习的，从而降低了误差传播。
  • 针对问题二，DFGN采用融合过程，将文档映射到图（doc2graph）和图映射到文档表示（graph2doc）相结合。多跳问题中，每一跳都进行document token和entity的融合操作，从而改善了文档信息和实体图的交互，降低了噪声。

除了解决上述问题，本文还有下列贡献：

  • DFGN的mask prediction是一种推理链，具有可解释性。
  • 推理链很难处理（定义和标记）开放领域语料库的基准真相（ground truth，新词get），因此本文提出一种弱监督mask learning方法，解决开放领域的推理问题。
  • 提出一种评价预测推理链及实体图质量的新方法。

2. Related Work

基于文本的问答

基于文本的问答根据支持信息是否结构化，可以分为基于知识的问答（KBQA）、基于文本的问答（TBQA）、混合问答和其他。KBQA数据集有SimpleQuestions等，TBQA数据集有SQuAD和HotpotQA等。本文研究的内容是TBQA，因为TBQA测试了一个系统从原始语言中提取相关事实并对其进行推理的端到端的能力。本文重点是多跳问答，因此选择多跳问答数据集HotpotQA。