NLP-阅读理解任务学习总结概述

阅读理解任务一般形式

• 完形填空：给定一篇文章，将文章部分内容mask 掉，然后让模型根据上下文进行填充
  • 阅读理解的形式与预训练非常类似，所以对预训练模型非常适配
  • 完形填空模型，可以看做是最大化条件概率 P(a|C-a)，其中 a 是被移出的内容，C 是上下文
  • 通常是对候选字典进行概率分布输出（注意力值），进行归一化后得到最大的作为结果
  • 应用场景有限
• 多项选择：给定一篇文章、一个问题和多个备选答案，模型从多个备选答案中选择正确答案
  • 多项选择模型，可以看做是最大化概率 P(a|C,Q,A)，其中 a 代表正确答案，C 是上下文，Q 是问题，A 是候选答案列表
  • 类似于双塔模型，一侧是输入文章和问题，一侧是候选答案，最终输出概率值最高的
  • 实际场景往往没有候选答案，局限性非常大
• 片段抽取：给定一篇文章和一个问题，让模型从文章抽取连续序列作为问题的答案
  • 片段抽取任务，把文章看做是不同序列的集合，从中选择连续子序列作为答案，输出一般是start 和 end 索引
  • 模型可以看做是最大化概率 P(a|C,Q)，C 是上下文（文章），Q 是问题，a 是抽取的序列集合
• 自由生成：给定一个文章和一个问题，让模型生成一个序列回答问题，不局限于文章中的句子
  • 自由生成内容的通畅性、正确性是难点

阅读理解评估指标

• Accuracy：全部预测结果中，正确结果数量的占比
  • 完形填空和多项选择是存在标准答案的，因此一般用 accuracy 来评判
• EM(Exact Match)：预测结果与正确结果匹配，完全匹配则计数1，求的百分比
  • 常用于抽取式阅读理解
• F1：准确率和召回率的调和平均数
  • 常用于抽取式阅读理解
• BLEU-4：基于 n-gram 的评估指标
  • 常用于生成式阅读理解
• Rouge-L：基于最长公共子序列的准召加权调和平均数
  • 通常用来评估自动摘要的好坏，其中 L 代表最长公共子序列
  • 常用于生成式阅读理解

阅读理解的一般模型结构

• 嵌入层
  • 用于将输入数据 embedding 操作
  • 常见的方法包括预训练、词向量技术
• 特征层
  • 这一层主要是获取上下文特征表示
  • 常见 lstm、cnn、transformer
• 交互层
  • 实现段落与段落、内容与问题、问题与答案之间的交互
  • 常见的方式 （单/双向）attention机制
• 输出层
  • 产生最终的结果
  • 完形填空只需要输出最高概率分布或者最高得分的值
  • 多项选择任务需要对候选答案进行打分，得到最高得分的答案
  • 抽取式需要匹配到与问题最相关的序列结合，并输出起止索引
  • 生成式任务需要自由生成，类似 GPT-2