Generated Knowledge Prompting for Commonsense Reasoning

2023-11-04

本文是知识图谱系列相关的文章,针对《Generated Knowledge Prompting for Commonsense Reasoning》的翻译。

摘要

结合外部知识是否有利于常识推理,同时保持预训练序列模型的灵活性,这仍然是一个悬而未决的问题。为了研究这个问题,我们开发了生成知识提示,它包括从语言模型中生成知识,然后在回答问题时提供知识作为额外输入。我们的方法不需要对知识集成进行特定任务的监督,也不需要访问结构化的知识库,但它提高了大规模、最先进的模型在四个常识推理任务上的性能,在数值常识(NumerSense)、一般常识(CommonsenseQA 2.0)和科学常识(QASC)基准上实现了最先进的结果。生成的知识提示突出了大规模语言模型作为外部知识的灵活来源,以改进常识推理。我们的代码可在github.com/liujch1998/GKP上获得。

1 引言

2 生成知识提示

3 实验设置

4 实验结果

5 相关工作

6 结论

我们介绍了生成知识提示,这是一种从语言模型中引出和整合知识的简单方法,可以提高常识推理任务的性能。特别是,我们通过提示一个语言模型来生成知识陈述,该模型具有特定任务的、人性化的、小样本的问题知识对演示。我们表明,只需在推理时插入知识,就可以对知识进行集成,而无需对知识集成模型进行微调。我们的方法在多个数据集上显示了有效性,在三个常识性推理任务上设置了新的技术状态,并在各种设置下工作。该方法的成功突出了语言模型作为常识推理的灵活、高质量知识的来源。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Generated Knowledge Prompting for Commonsense Reasoning 的相关文章

随机推荐

  • openwrt查看系统的芯片方案

    拿到一款路由器 想要知道主芯片的方案 可以通过如下方法 方法一 查看cpuinfo 比如 root IceCreamBox cat proc cpuinfo system type Ralink MT7620A ver 2 eco 3 ma
  • mybatis查询返回的对象不为null,但是属性值为null

  • 深度学习调参技巧

    深度学习调参技巧 一 寻找合适的学习率 learning rate 二 learning rate与batch size的关系 三 权重初始化 四 dropout 五 多模型融合 六 差分学习率与迁移学习 七 多尺度训练 八 Cross V
  • BRDF公式

    转自 https www cnblogs com wbaoqing p 9810386 html 根据BRDF公式 高光项部分 只能物体的表面的粗糙度有关 Roughness有关 大部分公式都是 根据Cook Torrance 的微表面高光
  • 用Python搭建2层神经网络实现mnist手写数字分类

    这是一个用python搭建2层NN 一个隐藏层 识别mnist手写数据集的示例 mnist py文件提供了mnist数据集 6万张训练图 1万张测试图 的在线下载 每张图片是 28 28 28 28 28 28的尺寸 拉长为 1
  • windows安装MSYS2(mingw && gcc)

    一 简介 本文主要介绍如何在windows环境下安装msys环境 二 软件安装步骤 2 1 官网下载 msys官网链接 https www msys2 org 下载完成 2 2 软件安装 根据网页提示选择需要安装的目录 并等待安装完成 安装
  • 区间预测

    区间预测 MATLAB实现QRLSTM长短期记忆神经网络分位数回归多输入单输出区间预测 目录 区间预测 MATLAB实现QRLSTM长短期记忆神经网络分位数回归多输入单输出区间预测 效果一览 基本介绍 模型描述 程序设计 参考资料 效果一览
  • 【小程序】如何实现一个可折叠的列表

    作者刚接触小程序开发不久 打算用 CSDN 把学习过程中遇到的一些问题记录下来 都是一些浅显易懂的内容 希望对你也有所帮助 如文章标题所示 作者要实现一个可折叠的列表 先来看一下页面效果 这种展示方式的实现非常简单 话不多话 直接上代码 首
  • 用EasySysprep封装Win7系统

    前面我介绍了使用Dism 封装Windows 7系统 不过最后还是没达到我想要的效果 不过经过一番查阅之后 我发现我想要的效果好像没办法简单的使用单一工具达到 我希望做成的效果是类似于Win10 一个ISO镜像内置各种驱动及最新的更新 安装
  • Image size of 512922x322 pixels is too large. It must be less than 2^16 in each direction

    plt figure figsize 10 8 sns regplot x data num y data y marker o ci 95 scatter kws color b alpha 0 2 s 3 fit reg False 线
  • iOS开发环境xcode搭建

    1 到 https developer apple com download 或者在APP store下载 2 下载完成后会在launchpad显示 点击安装
  • python计算机视觉- 相机模型与参数标定

    文章目录 相机投影模型 针孔相机模型 像主点偏移 内参矩阵 畸变现象 畸变矫正 外参矩阵 两类参数 相机标定 线性回归 最小二乘 非线性优化 标定过程 实验过程 MATLAB进行标定 相机投影模型 针孔相机模型 针孔照相机模型是计算机视觉中
  • 我以前的博客在ITEYE上

    我以前的博客 https www iteye com blog user jiasudu 这个是我以前的博客 密码忘记了 就不搬家了 大家可以去看看 主要是十多来年记录ofbiz的资源 可以说是大全
  • 第九站:速学JavaScript中的函数

    js函数 欢迎来到 JavaWeb的奇妙冒险 教学系列 在本站中 我们将深入探索Web开发的精彩世界 在学习的过程中 我们既要保持轻松愉快 又要确保高质量的教学内容 准备好进入第九站的学习之旅了吗 让我们开始吧 文章目录 js函数 介绍 定
  • IDEA 登陆Gitee账户登录不上解决方案

    Mark一个IDEA2021 1连接gitee的bug 点击VCS想要share on Gitee时出现idea loading information for gitee窗口 然后始终连接不上Gitee 可能的解决方案 检查自己的Gite
  • [报错解决]name 'keras_applications' is not defined

    加载模型报错 解决方案 pip install keras applications 1 0 4 no deps pip install keras preprocessing 1 0 2 no deps pip install h5py
  • Python脚本批量造数据、跑定时任务协助测试

    目录 批量造数据 结合python pytest fixture 实现定时任务接口调用 目录结构 定时任务 批量造数据 连接Mysql的信息 1 import pymysql 2 数据库连接信息 3 多个库要有多个conn 4 conn p
  • CVE-2022-23222 Linux Kernel ebpf 权限提升漏洞

    漏洞背景和描述 eBPF extended Berkeley Packet Filter 是一种可以在 Linux 内核中运行用户编写的程序 而不需要修改内核代码或加载内核模块的技术 简单来说eBPF 让 Linux 内核变得可编程化了 由
  • 零基础学习WEB前端开发(六):HTML超链接标签

    一 超链接 二 用法及分类 基本语法 外部链接 内部链接 空连接 下载链接 其他元素链接 锚点链接 一 超链接 HTML使用标签 a 来设置超文本链接 超链接可以是一个字 一个词 或者一组词 也可以是一幅图像 您可以点击这些内容来跳转到新的
  • Generated Knowledge Prompting for Commonsense Reasoning

    本文是知识图谱系列相关的文章 针对 Generated Knowledge Prompting for Commonsense Reasoning 的翻译 常识推理的生成知识提示 摘要 1 引言 2 生成知识提示 3 实验设置 4 实验结果