论文:Infusing Disease Knowledge into BERT for Health Question Answering, Medical Inference and Disease Name Recognition
EMNLP2020的一篇论文,涉及QA,有代码。
pdf: https://arxiv.org/abs/2002.09599
github: https://github.com/heyunh2015/diseaseBERT
0. Abstract
这篇论文其实是将KGQA的内容移植到了一个跨学科领域,医学知识图谱。
采用BERT
、BioBERT
、SciBERT
、ClinicalBERT
、BlueBERT
、AlBERT
作为预训练模型,结合医疗知识图谱,实现了多个医疗问答数据集的SOTA。
1. Introduction
首先文章介绍了知识对疾病自然语言处理任务具有重要作用。包括:
随后介绍了生物医学BERT模型,主要是BioBERT
。它主要的问题是,模型训练的MLM策略是随机遮掩,不一定保证遮掩的是疾病知识,因此需要进行策略改进。
本文提出的策略就是一种新的疾病知识边缘注入训练方法,增强具有疾病知识关系的BERT模型。核心思想是训练BERT从疾病描述性文本(来自维基百科)中进行推理,获取相关疾病和章节。对一些没有提到疾病和章节的问题,在开头添加带有疾病和章节的辅助句子。随后,对疾病和章节进行遮掩,让BERT模型进行推断,以训练BERT模型将疾病文本与疾病和章节关联的能力。
- 例如,下图(a),输入是消费者健康查询,输出是疾病(Covid-19)和章节(诊断)
2. Related Work
BERT知识增强
利用外部知识图谱增强BERT十分有效。目前比较好的实践有:
生物医学BERT
利用生物医学语料库还可以对BERT进行医学领域增强。医学增强BERT模型包括:
- BioBERT
- SciBERT
- ClinicalBERT
- BlueBERT
这些模型主要缺陷在于,采用默认的MLM任务训练模型,即设置15%遮掩率随机遮掩。本文方法就是疾病知识注入,遮掩疾病和章节内容,从而更好地增强BERT模型。
UMLS的生物医学知识整合方法
非BERT模型将下游任务数据与统一医学语言系统UMLS
等知识图谱进行知识融合和编码,从而将知识图谱进行合并,并通过训练实现模型增强。
- 优点:显式将知识与模型进行合并。
- 缺点:生物医学BERT模型效果好于这些模型。
3. Proposed Method: Disease Knowledge Infusion Training
疾病知识注入训练,主要包含三个问题:
- 如何选择疾病和章节?
- 如何将疾病知识与模型融合?
- 训练的目标是什么?
Comments | NOTHING