程序员经验分享-hwhale

知识追踪方法比较

2023-05-16

•DKT：Deep knowledge tracing. In Advances in neural information processing systems.这是一种开创性的方法，它使用单层LSTM模型来预测学生的表现。在我们的DKT实现中，我们使用规范裁剪和提前停止来提高性能，

•SAKT：A Self-Attentive model for Knowledge Tracing. arXiv preprint arXiv:1907.06837该模型利用自我注意机制[37]为先前回答的练习分配权重，以预测学生在特定练习中的表现。

•DKVMN：2017 Dynamic key-value memory networks for knowledge tracing. In Proceedings of the 26th international conference on World Wide Web.这是一种基于记忆增强的递归神经网络方法，其中不同KC之间的关系用键矩阵表示，学生对每个KC的掌握程度用值矩阵表示。

•DKT+ Forget：Augmenting Knowledge Tracing by Considering Forgetting Behavior. In The World Wide Web Conference.这是DKT方法的一个扩展，它利用学生的学习顺序和模糊行为来预测学生的表现。

•EERNN：Exercise-enhanced sequential modeling for student performance prediction. In Thirty-Second AAAI Conference on Artificial Intelligence.该模型利用练习的文本内容和学生的练习记录来预测学生的表现。他们以RNN为基础模型学习习题嵌入和学生知识表示。此外，他们利用过去互动和下一个练习之间的余弦相似性来参与过去的互动。

•EKT： EKT: Exercise-aware Knowledge Tracing for Student Performance Prediction. arXiv preprint arXiv:1906.05658 (2019).该模型是EERN模型的扩展，该模型还跟踪学生对多种技能的知识获取。具体地说，它对底层知识概念之间的关系进行建模，以增强EERN模型。

viaPrediction-Consistent Regularization

Chun-Kit Yeung等人在2018年6月发表论文中指出DKT模型现存的缺点，即对输入序列存在重构问题和预测结果的波动性，进而论文提出了改善上述问题的方法：增加对应的正则项，得到DKT+（增强的DKT模型）。

2

如上图所示，纵轴SiSi表示知识成分，横轴为学生在各个知识成分上的答题情况。

问题一，在图1中的第6个时间步，与上一个时间步相比，正确回答s45相关练习的概率增加，即使学生回答s45不正确。

问题二，我们观察到，预测输出的转变，即学生的知识状态，跨时间步是不一致的。如图1所示，一些技能的预期表现在时间步长上会出现突然的波动和骤降。例如，当学生在学习序列的中间回答s32和s33时，正确回答s32、s33、s45和s55的概率波动。这在直觉上是不可取的，也是不合理的，因为学生的知识状态会随着时间的推移逐渐过渡，但不会在已掌握和尚未掌握之间交替。因此，这种波浪式的转换是不有利的，因为它会误导学生对知识状态的理解。

对于问题1，作者认为出现这种情况是由于，在DKT模型采用的损失函数中并没有考虑到时间t时刻的输入值，只是考虑了t时刻的输出值和t+1时刻的输入值。为了解决上述问题，作者在损失函数中引入正则项，并在正则项中引入了时间t时刻的输入值，正则项r如下：

 

对于问题2，作者认为可能是由于RNN的隐层表示问题，RNN的隐含层htht依赖于前一隐含层的输出ht−1ht−1和当前输入xtxt，隐含层表示了潜在的学生知识掌握程度，但是很难说清隐含层的每个状态是如何影响对知识成分的预测。所以简答起见，直接对输出结果进行正则约束（L1，L2正则），使预测结果能够平滑输出，所加正则项如下：

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

知识追踪方法比较 的相关文章

随机推荐

  • Python学习系列之类的定义、构造函数 def __init__

    python def init self name等多参数 def init self 常见的两种类的定义方式如下 第一种 class Student def init self 两者之间的区别 self name 61 None self

  • ChatGPT，爆了！

    这段时间真是太刺激了 xff0c AI领域几乎每天都会爆出一个超震撼的产品 xff0c 有一种科幻马上要成现实的感觉 不知道大家朋友圈是什么样 xff0c 在整个创业的圈子里面 xff0c 几乎全是 AI 相关 就连 N 多年 xff0c

  • 分类回归模型评估常见方法及ROC AUC

    目录 模型评估常见方法 ROC和AUC定义 sklearn计算ROC具体实现 计算ROC需要知道的关键概念 1 分析数据 2 针对score xff0c 将数据排序 3 将截断点依次取为score值 3 1 截断点为0 1 sklearn

  • Coursera 吴恩达《Machine Learning》课堂笔记 + 作业

    记录一下最近学习的资源 xff0c 方便寻找 xff1a Github 上已经有人把作业整理成为 Python 的形式了 有 py 和 ipynb 两种格式 https github com nsoojin coursera ml py h

  • tensflow学习小知识tf.train.exponential_decay

    tf train exponential decay是tensflow1 X版本的2 版本使用以下语句 tf compat v1 train exponential decay 将指数衰减应用于学习率 tf compat v1 train

  • PyTorch学习系列之PyTorch：nn和PyTorch：optim优化

    PyTorch xff1a nn 在构建神经网络时 xff0c 我们经常考虑将计算分为几层 xff0c 其中一些层具有可学习的参数 xff0c 这些参数将在学习过程中进行优化 在TensorFlow xff0c 像包 Keras xff0c

  • tf.gather（）用法详解

    tf gather params indices validate indices 61 None axis 61 None batch dims 61 0 name 61 None 请注意 xff0c 在CPU上 xff0c 如果找到超出

  • 代码学习之Python冒号详解

    最近看代码发现对冒号用法理解不够透彻 xff0c 记录学习一下 xff1a 1 冒号的用法 1 1 一个冒号 a i j 这里的i指起始位置 xff0c 默认为0 xff1b j是终止位置 xff0c 默认为len a xff0c 在取出数

  • Jupyter Notebook导入和删除虚拟环境 超详细

    记录一下Jupyter Notebook导入和删除虚拟环境的步骤 xff0c 网上博客参差不齐 xff0c 每次找好几个才看到简明容易理解的 方法一步骤 为不同的环境配置kernel 有时候使用conda命令创建了新的python环境 xf

  • tf.expand_dims用法详解

    看官方讲解一些博客感觉一直不是很懂 xff0c 下面是我的个人理解结合官方文档 xff0c 有问题欢迎指出 tf expand dims tf expand dims input axis 61 None name 61 None dim

  • argparse 命令行选项、参数和子命令解析器

    最近看到很多论文代码都是用解析器写的 argparse 命令行选项 参数和子命令解析器 argparse 模块可以让人轻松编写用户友好的命令行接口 程序定义它需要的参数 xff0c 然后 argparse 将弄清如何从 sys argv 解

  • torch.unsqueeze和 torch.squeeze() 详解

    1 torch unsqueeze 详解 torch unsqueeze input dim out 61 None 作用 xff1a 扩展维度 返回一个新的张量 xff0c 对输入的既定位置插入维度 1 注意 xff1a 返回张量与输入张

  • Android中获取唯一的id

    文章目录 Android唯一设备ID现状IMEIMAC地址唯一Id实现方案那些硬件适合硬件标识工具类 Android唯一设备ID现状 设备ID xff0c 简单来说就是一串符号 xff08 或者数字 xff09 xff0c 映射现实中硬件设

  • debian虚拟机下如何安装增强功能

    1 安装gcc和kernel headers gcc有可能默认安装的有 xff08 如果没有还需要安装gcc xff09 xff0c 但是还需要安装build essential sudo apt get install build ess

  • PyTorch学习系统之 scatter() 函数详解 one hot 编码

    torch Tensor scatter scatter 和 scatter 的作用是一样的 xff0c 只不过 scatter 不会直接修改原来的 Tensor xff0c 而 scatter 会 torch Tensor scatter

  • 最新RNN相关模型

    最近在看最新RNN相关模型 找到很多论文 Fundamentals of Recurrent Neural Network RNN and Long Short Term Memory LSTM network 递归神经网络 xff08 R

  • 知识追踪模型的应用

    背景 MOOC 近年来 xff0c 随着在线学习系统在教育环境中越来越普及 xff0c 在线学习人数越来越多 xff0c 教育者不可能追踪每一个学习者的知识状态并提供个性化的学习指导 xff1b 在线学习系统中的知识需要学习者通过各种冗余信

  • 自然语言处理之语料库

    语料库 定义 xff1a 语料库 corpus 就是存放语言材料的仓库 语言数据库 xff09 语料库技术的发展 早期 xff1a 语料库在语言研究中被广泛使用 xff1a 语言习得 方言学 语言教学 句法和语义 音系研究等 沉寂时期 xf

  • 知识追踪入门系列-论文资料汇总

    Paper xff1a 知识追踪相关论文 下载论文和代码见reference第一个链接 Deep Knowledge Tracing 首次提出将RNN用于知识追踪 xff0c 并能够基于复杂的知识联系进行建模 xff08 如构建知识图谱 x

  • 知识追踪方法比较

    DKT xff1a Deep knowledge tracing In Advances in neural information processing systems 这是一种开创性的方法 xff0c 它使用单层LSTM模型来预测学生的

热门标签