程序员经验分享-hwhale

初识机器阅读理解（Machine Reading Comprehension）

2023-05-16

机器阅读理解任务理解与文献查阅

参考博客：

  1. https://www.jiqizhixin.com/articles/2018-11-26-10
  2. https://hanxiao.github.io/2018/04/21/Teach-Machine-to-Comprehend-Text-and-Answer-Question-with-Tensorflow/
  3. https://hanxiao.github.io/2018/09/09/Dual-Ask-Answer-Network-for-Machine-Reading-Comprehension/
  4. https://www.jianshu.com/p/13fa49df349f
  5. https://www.jiqizhixin.com/articles/2017-09-21-7
  6. https://www.jianshu.com/p/891f54f6523f

什么是阅读理解？

阅读理解题目类似于我们上学时语文试卷中给定一段文本材料，根据该材料回答给定的若干问题，通过对问题的回答来检查阅读理解的能力，就目前了解所知，阅读理解任务主要分类以下几种类型：
（1）完形填空式：类似高中英语卷子中的完形填空题目；
（2）答案选择式：类似高中英语的阅读理解题目，有多个候选答案-选择题；
（3）答案抽取式：问题的答案在原文中一定存在，并且为一个连续的区域块；
（4）答案生成式：根据给定的文本生成目标答案，阅读理解的终极目标。

阅读理解的基本流程

（1）通读篇章，理解文章主题和大体内容；读题，了解提问内容及关注点；
（2）带着问题找答案，将问题同篇章做关联，并结合篇章主题，理解问题重点；
（3）定位可能的答案，并再次重点阅读附近文字；
（4）为避免忘记问题，再次审题，并结合3）中重点区域进行答案圈选；
（5）针对挑出的答案进行筛选，选出最正确的答案。

阅读理解中的一些思考逻辑

  1. 协同注意力：带着问题去阅读，先看问题，再看文本，去文本中带着目标去阅读以寻找 答案，机器阅读理解通过结合文本和问题两者的信息，生成一个关于文本段落各个部分 的注意力权重，对文本信息进行加权，协同注意力机制是一个双向的注意力，不仅要给 阅读的文本段落生成一个注意力权重，还要给问句也生成一个注意力权重；
  2. 动态迭代：人类在思考问题的时候，有时候需要反复思考，那么模拟人类反复思考的过 程，不直接将模型的第一次输出结果当做最终的输出结果，而是再次将输出的结果作为 模型的输入，输入到模型中，迭代出新一轮的输出，经过多次迭代，直到输出不会变化， 或者超过迭代次数的阈值。

机器阅读理解的目标在于教会机器理解和处理人类的语言

机器阅读理解（答案抽取式）的数学建模（目前一些经典论文的建模方式）：

1. 问题描述

阅读理解任务为：给定样本数据，数据包括文本材料，问题以及对应问题的答案，并且给出答案在文本材料中的对应位置信息；目标是希望能够针对给定的训练集数据构建阅读理解模型，使得该模型具有回答测试集数据中给定文本材料问题的能力，回答问题的回答质量由给定的评价指标来判断。目标是回答问题的回答质量在给定评价指标上值越大越好，最终模型根据评价指标值的得分高低来评价优劣。

2. 模型假设

(1) 假设答案一定存在，且答案为文本材料中的唯一连续的一个区域块（continuous span）,即问题是文本短距离的跨度预测;

3. 模型建立

(1) 对于一条数据样本（给定的文本材料，单个问题和答案）可被表述成一个三元组（context, query, answer）,对于答案的抽取可被看做成一个映射问题，将（context, query）对映射到（answer）;
(2) 根据假设answer一定存在在给定的文本材料中，即如果知道answer在给定文本中的起始位置，那么便可以抽取出答案，可将对answer的预测转变成对答案的开始位置和结束位置的预测；
(3) 综合（1）和（2）的表述模型变成了从（context, query）对映射到（answer）到将（context, query）对映射到（answer的开始位置，answer的结束位置），如何进行正确的映射变成了模型的关键；
(4) 很多论文的提出的创建点也在于建立从（context, query）到（answer的开始位置，answer的结束位置）的映射方法，如何更好的对文本进行表示，如何捕捉context与query之间的内在联系与内在语义信息等等；

4. 模型评价

对于抽取式的阅读理解，其评价指标通常使用F1值和Exact Match来进行综合评价

  1. F1-Score的计算方法为：计算预测出的答案与原始答案字符之间的overlap,根据overlap的数目与原始ground truth answer的字符数目计算回召率，overlap的数目与预测出的所有字符数目计算准确率，F1-Score = 2 * 准确率 * 回召率 / (准确率 + 回召率);
  2. Exact Math: 表示完全匹配的，如果完全匹配则为1，否则为0;

机器阅读理解一些公开数据集

  1. SQuAD: https://arxiv.org/abs/1606.05250 保证答案一定是原始文本的片段
  2. SQuAD2.0:https://arxiv.org/abs/1806.03822 在SQuAD基础上加入没有答案的样本问题
  3. MS-MARCO: https://arxiv.org/abs/1611.09268 所有问题都是从真正的匿名用户查询中抽取，使用Bing搜索引擎从真实的Web文档中提取数据集中的答案来源的上下文段落，查询的答案是人工根据总结出来；
  4. DuReader：https://arxiv.org/abs/1711.05073 百度nlp团队，类似中文MS MARCO
  5. CoQA: https://arxiv.org/abs/1808.07042 结合阅读理解与多轮问答
  6. CNN/Daily Mail: https://arxiv.org/abs/1506.03340
  7. Children’s Book Test (CBT): https://arxiv.org/abs/1511.02301
  8. RACE: https://arxiv.org/abs/1704.04683

目前常用的机器阅读理解模型映射步骤

  1. 文本表征（Encoder Layer）： 文本表征，并分别对篇章和问题进行主题和重点词关注；
  2. 注意力机制（Attention Layer）：Co-Attention: 篇章对问题，问题对篇章；Self-Attention: 问题自身，篇章自身；
  3. 问题篇章匹配（Match Layer）：双线性矩阵来学习经过多层信息过滤后的篇章和问题匹配参数；
  4. 答案预测（Output Layer)：结合匹配信息对篇章中的词汇进行标注，预测相应词汇是答案开始位置或结束位置的概率，模型会抽取概率最大的一段连续文本作为答案。

部分论文阅读

  1. BiDAF：Bidirectional Attention Flow for Machine Comprehension
  2. QANet：Combining local convolution with global self-attention for reading comprehension
  3. Attention-over-Attention Neural Networks for Reading Comprehension
  4. Dual Ask-Answer Network for Machine Reading Comprehension
  5. Read+Verify: Machine Reading Comprehension with unanswerable Questions
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

初识机器阅读理解（Machine Reading Comprehension） 的相关文章

  • VGG数据预处理

    参考文献 Very Deep Convolutional Networks for Large Scale Image Recognition 本文的目的 目标检测 语义分割等领域都会涉及到预训练模型 xff0c 一般是在ImageNet上

  • 关于pip将第三方包下载到本地的相关方法

    1 原因 很多客户的场景无法连外网 xff0c 需要将第三方包导入安装 2 命令 国内源 xff1a 中国科学技术大学 https pypi mirrors ustc edu cn simple 豆瓣 xff1a http pypi dou

  • Debian6.02 终端中文设置－－FBTerm + ucimf

    目前字符终端的中文支持有cce zhcon和最新的fbterm xff0c cce和zhcon已经停止更新维护 xff0c 只有fbterm目前在不断开发更新中 xff0c 而且在我的系统上一运行zhcon就死机 xff0c 所以fbter

  • 苹果电脑桌面文件不见了怎么恢复

    苹果电脑桌面文件不见了怎么恢复 xff1f 不少使用苹果电脑的用户都会遇到这样一个问题 xff0c 就是自己存放在桌面上的文件突然都不见了 xff0c 怎么也找不到 xff0c 导致无法打开各种文件 xff0c 那么苹果电脑桌面文件不见了怎

  • H5资源本地化策略 - iOS

    一 资源拦截 映射 为了增强用户浏览H5页面的体验 xff0c 减少页面白屏时间 xff0c 实现 js css image 等资源文件 xff0c 以及页面html文件的本地映射 xff08 非首次打开wkwebview本身有302缓存机

  • IOS WKWebView与Cookie问题梳理

    1 WK 脚本注入Cookies信息 代码示例 Ajax iframe请求配置cookies WKWebViewConfiguration configuration if configuration configuration 61 WK

  • 如何在iOS应用中更好的调试H5页面

    前言 在APP中 xff0c H5页面可以通过加载vConsole脚本 xff0c 来查看页面的日志 异常 网络加载 设备信息 储存信息 元素 但是 xff0c JS脚本加载于页面Dom挂载之后 xff0c 这样就会使得这一区间的信息丢失

  • 10-17 查询没有选修‘C语言‘课程的学生(MSSQL)

    分数 10 全屏浏览题目 切换布局 作者 张庆 单位 集美大学 本题目要求编写SQL语句 xff0c 检索出没有选修 39 C语言 39 课程的学生记录 xff0c 输出结果集按照学号升序排序 提示 xff1a MSSQLServer 评测

  • xcworkspace结合cocoapods的应用说明

    一 主工程Project 1 xff09 创建 App Project 2 xff09 添加CocoaPods的 Podfile 文件 source 39 https github com CocoaPods Specs git 39 pl

  • 基于OC端的Bridge-API组件化应用

    前言 在移动应用开发中 xff0c 组件化可以提高代码的模块化和重用性 xff0c 降低耦合度 当下大部分APP都至少包含一到两种Hybrid框架 xff0c H5基本是必要的 xff0c 还可能叠加React Natvie Weex或Fl

  • IOS内存管理

    一 堆与栈 1 栈区 stack xff1a 由编译器自动分配释放 xff0c 函数的参数值 xff0c 局部变量等值 2 堆区 heap xff1a 一般由开发人员分配释放 xff0c 若不释放 xff0c 则可能会引起内存泄漏 NSSt

  • TestFlight应用

    一 内部测试与外部测试的区别 内部测试只能添加100名成员不需要beta审核 xff08 beta审核 xff1a 通过审核未发布上线 xff09 xff0c 外部测试能添加10000名成员需要beta审核 二 内部测试构建 1 在App

  • 通用链接-Universal Link

    前言 通用链接与URL Scheme的用途类似 xff0c 主要是实现从外部唤醒App xff0c 并执行某些操作 xff08 如 xff1a 打开指定页面 xff09 由于使用URL Scheme xff08 wechat path qu

  • CocoaPods - podspec私有库配置

    工程引用 Podfile中添加以下cocoaPods指令 xff0c 在终端输入pod install 构建 source 39 https github com zhengmiaokai Specs git 39 pod 39 JPUti

  • 【转】面向对象分析方法

    一 什么是OOA xff1f Object Oriented Analysis 面向对象分析方法 是在一个系统的开发过程中进行了系统业务调查以后 xff0c 按照面向对象的思想来分析问题 OOA与结构化分析有较大的区别 OOA所强调的是在系

  • Python图形用户界面Tkinter标准色彩颜色背景色大全

    Python图形用户界面Tkinter标准色彩颜色背景色大全 前段时间刚开始学Tkinter xff0c 后来想做一个漂亮的GUI界面 xff0c 但是自己对颜色的词汇储备有限 xff0c 所以没能顺利完成 xff0c 今天在网上查了很多信

  • linux CentOS 7.4下 mysql5.7.20 密码改简单的方法

    mysql升级5 7版本以后 xff0c 安全性大幅度上升 但是呢 带复杂的记不住 额额 本来脑子就不好使 xff0c 还记那么复杂 xff0c 尤其是本地就更没必要 xff0c 还是root方便 进入mysql mysql gt SHOW

  • linux centos7下源码 tar安装mysql5.7.30或mysql5.7.22 图文详解

    之前用的rpm安装的每次安装都是最新的 xff0c xff0c xff0c 导致每次版本不统一 现在用tar包安装5 7 22和5 7 20一样的 xff08 5 7 30安装也一样 xff09 xff08 下载最好下载最新版本 mysql

  • 10-13 查询各专业学生的平均成绩(MSSQL)

    本题目要求编写SQL语句 xff0c 统计各专业的学生选课的平均成绩 xff0c 如果某专业尚未有任何学生选修课程或成绩为空时 xff0c 平均分计为0 输出结果集按照major表中的mno升序排序 提示 xff1a MSSQLServer

  • idea重装后打不开，点起来没反应(难受)

    嗨兄弟们 xff0c 遇到我就停下吧 xff0c 我来帮你解决这个烦人的问题 xff0c 没毛病铁质 一 出现的经过 卸载完idea2021 3 3后重新安装idea2022 3 1 xff0c 安装完后点击没有一点反应 我以为是版本太新了

随机推荐

热门标签