OpenAI GPT-2 模型与 TensorFlow JS 结合使用

2023-12-23

是否可以使用 TensorFlowJS 从 OpenAI GPT-2 生成文本?

如果不是,限制是什么,例如模型格式或...?


我看不出有任何理由不这样做,除了 gpt-2 中的某些操作可能不受 tensorflowjs 支持。

我不知道该怎么做,但这是一个很好的起点:

install.sh

python3 -m pip install -q git+https://github.com/huggingface/transformers.git
python3 -m pip install tensorflow

save.py

from transformers import TFGPT2LMHeadModel, GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
# add the EOS token as PAD token to avoid warnings
model = TFGPT2LMHeadModel.from_pretrained("gpt2", pad_token_id=tokenizer.eos_token_id)
model.save("./test_gpt2")

这将为您提供一个 SavedModel 文件。现在您可以尝试找出输入和输出节点,并使用tensorflowjs_converter尝试并转换它。指针:https://www.tensorflow.org/js/tutorials/conversion/import_saved_model https://www.tensorflow.org/js/tutorials/conversion/import_saved_model.

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

OpenAI GPT-2 模型与 TensorFlow JS 结合使用 的相关文章

  • XGBoost 产生预测结果和概率

    我可能正在文档中查看它 但我想知道 XGBoost 是否有办法生成结果的预测和概率 就我而言 我正在尝试预测多类分类器 如果我能返回Medium 88 那就太好了 分类器 中 预测概率 88 参数 params max depth 3 ob
  • 如何对URL进行分类? URL 的特点是什么?如何从 URL 中选择和提取特征

    我刚刚开始研究分类问题 这是一个两类问题 我的训练模型 机器学习 必须决定 预测是允许 URL 还是阻止它 我的问题非常具体 如何对 URL 进行分类 我应该使用普通的文本分析方法吗 URL 的特点是什么 如何从URL中选择和提取特征 我假
  • 如何使用FeatureUnion转换PipeLine中的多个特征?

    我有一个 pandas 数据框 其中包含有关用户发送的消息的信息 对于我的模型 我感兴趣的是预测消息的缺失收件人 即给定消息的收件人 A B C 我想预测还有谁应该成为收件人的一部分 我正在使用 OneVsRestClassifier 和
  • TensorFlow 运算符重载

    有什么区别 tf add x y and x y 在 TensorFlow 中 当您使用以下命令构建图表时 您的计算图表会有什么不同 代替tf add 更一般地说 有 或者其他张量超载的操作 如果至少有一个x or y is a tf Te
  • 如何在张量流中使用索引数组?

    如果给定一个矩阵a有形状 5 3 和索引数组b有形状 5 我们很容易得到对应的向量c通过 c a np arange 5 b 但是 我不能用张量流做同样的事情 a tf placeholder tf float32 shape 5 3 b
  • 分类报告 - 精度和 F 分数定义不明确

    我从 sklearn metrics 导入了classification report 当我输入我的np arrays作为参数我收到以下错误 usr local lib python3 6 dist packages sklearn met
  • Keras 中批量大小可变的batch_dot

    我正在尝试编写一个层来合并 2 个张量formula https i stack imgur com I49aj png x 0 和x 1 的形状都是 1 500 M是500 500的矩阵 我希望输出为 500 500 我认为这在理论上是可
  • 如何在arm64主机上运行amd64 docker镜像

    警告 请求的映像平台 linux amd64 与检测到的主机平台 linux arm64 v8 不匹配 并且未请求特定平台 2021 07 28 22 25 06 349222 F tensorflow core platform cpu
  • Tensorflow 数据集的数据预处理是针对整个数据集还是针对每次调用 iterator.next() 进行一次?

    您好 我现在正在研究tensorflow中的数据集API 我有一个关于执行数据预处理的dataset map 函数的问题 file name image1 jpg image2 jpg im dataset tf data Dataset
  • 缩小轴 1 的形状为空 [x,0]

    我正在尝试训练 SVHN 街景门牌号码 数据集 用于张量流中的对象检测 对数字进行一些基本的 OCR 到目前为止 我已经成功地遵循了对象检测张量流指南中的宠物训练示例 当我基于样本 fast rcnn resnet101 config 训练
  • 如何在 TensorFlow 中访问原型中的值?

    我从tutorial https www tensorflow org extend tool developers 我们可以这样做 for node in tf get default graph as graph def node pr
  • mac安装Tensorflow出错

    我正在尝试使用以下说明在 mac 中安装 Tensorflow https www tensorflow org install https www tensorflow org install 但是当我想导入tensorflow时 我总是
  • 使用预训练(Tensorflow)CNN 提取特征

    深度学习已成功应用于多个大型数据集 用于对少数类别 猫 狗 汽车 飞机等 进行分类 其性能优于 SIFT 特征袋 颜色直方图等更简单的描述符 然而 训练这样的网络需要每个类别大量的数据和大量的训练时间 然而 在花时间设计和训练这样一种设备并
  • 如何使用 tf.nn.top_k 返回的索引对多维张量进行排序?

    我有两个多维张量a and b 我想按以下值对它们进行排序a I found tf nn top k https www tensorflow org versions r1 0 api docs python nn evaluation
  • Keras model.summary() 结果 - 了解参数数量

    我有一个简单的神经网络模型 用于使用 Keras Theano 后端 从用 python 编写的 28x28px 图像中检测手写数字 model0 Sequential number of epochs to train for nb ep
  • 张量流中检查点之间的间隔

    如何指定张量流中两个连续检查点之间的间隔 里面没有选项tf train Saver来指定这一点 每次 我使用不同数量的全局步骤运行模型时 我都会得到检查点之间的新间隔 The tf train Saver https www tensorf
  • 使用神经网络包进行多项分类

    这个问题应该很简单 但文档没有帮助 我正在使用 R 我必须使用neuralnet多项式分类问题的包 所有示例均针对二项式或线性输出 我可以使用二项式输出进行一些一对一的实现 但我相信我应该能够通过使用 3 个单元作为输出层来做到这一点 其中
  • 如何将体积补丁存储到 HDF5 中?

    我有一个尺寸的体积数据256x128x256 由于内存有限 我无法将整个数据直接输入到 CAFFE 因此 我会随机选择n sample补丁50x50x50从体积数据中提取并将其存储到 HDF5 中 我成功地从原始数据及其标签中随机提取了补丁
  • 将tensorflow 2.0 BatchDataset转换为numpy数组

    我有这个代码 train images test images tf keras datasets mnist load data train dataset tf data Dataset from tensor slices train
  • 期望最大化算法的数值示例[重复]

    这个问题在这里已经有答案了 由于我不确定给出的公式 有人可以提供 EM 算法的简单数字示例吗 一个非常简单的具有 4 或 5 个笛卡尔坐标的坐标就可以了 那这个呢 http en wikibooks org wiki Data Mining

随机推荐

  • ggplot 无法使用facet_wrap 和群体美学绘制平滑的gam

    我正在尝试使用具有群体美学的 ggplot 绘制多面板和多线图facet wrap 但是 那geom smooth当一组数据点太少时 分面图中的所有线都会失败 plot1 lt ggplot data df1 aes x Year y Me
  • Groovy MOP 调用方法

    我试图了解 invokeMethod 如何拦截 Groovy 中的方法调用 不过 我似乎无法让最基本的示例发挥作用 class Person implements GroovyInterceptable def invokeMethod S
  • 如何在 Url.Action 中发送多个参数?

    如何在一个文件中发送多个参数Url Action 我有一个带有操作的控制器 我想要 2 个参数 但没有收到第二个参数 我的代码是 Url Action Products Jquery new categoryid 1 Productid 2
  • 使用 ColdFusion 进行简单的 TCP/IP 套接字通信

    我做了一些搜索 似乎没有太多成功的方法可以通过 Coldfusion 成功建立 tcp ip 套接字连接 我试图充当一个简单的客户端并发送一个字符串并获得响应 Adobe 的 EventGateway 需要服务器端设置 我无法触及 但它似乎
  • NSInvalidArgumentException 原因接收器没有带有标识符的 segue

    我一直有一个问题 我有一个 UIViewControllerList和一个 UIViewControllerLogin On Login我有一个按钮 完成 还有同一个 UIViewController 上的另一个隐藏按钮 它有一个 segu
  • Perl 两个日期相减

    我对 Perl 还很陌生 我正在尝试减去这种格式的两个日期 15 07 16 23 13 34 15 07 16 20 04 24 我知道我必须将此字符串转换为日期对象 我的问题是我只能使用基本的 perl 而无需安装额外的软件包 有办法做
  • 仅当对象没有功能和模式验证时才进行淘汰验证

    我想要当标题为空时需要最大价格 我有代码 self searchParameters title ko observable extend refreshCountOffers 500 priceMax ko observable exte
  • Django 注册 - 一些激活

    如何强制向用户发送激活电子邮件 当他不小心删除了邮件时 他点击了我网站上的链接 django 会向他发送新的激活电子邮件 有一个管理操作 http docs djangoproject com en dev ref contrib admi
  • ViewBag 对象属性的 getter 和 setter

    在哪里可以为对象 ViewBag 的属性注册 getter 和 setter ViewBag 是一个动态对象 http msdn microsoft com en us library system dynamic dynamicobjec
  • 如何使用 graph api 设置 Facebook 个人资料图片

    有没有办法使用graph api更改用户的个人资料图片 我知道你不能使用其余的 api 参考 https stackoverflow com questions 2995397 set or update profile picture u
  • Java中如何将一个int转换为三个字节?

    我正在尝试转换int分成三份bytes代表那个int 大端 我确信它与按位和移位有关 但我不知道该怎么做 例如 int myInt some code byte b1 b2 b3 b1 is most significant then b2
  • 证明某种语言正则

    在我的计算理论课上 我们的作业是证明一种语言是正规的 该语言定义为 B 1ky y is in 0 1 and y contains at least k 1s for k gt 1 在我看来 这种语言需要一个下推自动机来为此创建一台机器
  • 用于检查更新、安装新版本应用程序的代码

    我有一个 NET 4 WPF 应用程序 它使用 MSI 进行安装 该 MSI 通过 Visual Studio 安装项目生成 一切都很好 除了我缺少 单击一次部署 功能 该功能在加载时检查应用程序的新版本并下载 安装它们 我放弃了 单击一次
  • 引起原因:java.lang.ClassNotFoundException:org.jets3t.service.ServiceException

    我的代码应该访问存储在 S3 上的一些文件 此代码在一台机器上运行良好 而在另一台机器上失败 基本上 当它从 Intellij IDEA 本地 而不是在集群上 执行时 它会失败 sc hadoopConfiguration set fs s
  • Android Emitter.Listener 不工作

    我正在制作一个带有套接字 IO 的应用程序 它正确连接到服务器 但它不侦听事件 这是我的代码的一部分 private Socket mSocket try mSocket IO socket ip 8000 catch URISyntaxE
  • 如何在 php 中添加 blob 图像 FIrebird?

    无法将照片添加到 FIrebird 写这样的代码 imgSrc Desert jpg img src imgSrc imgbinary fread fopen img src r filesize img src img str base6
  • 无法在Azure函数中使用JpegBitmapEncoder

    在测试 Azure Functions 时 我编写了以下 blob 触发的代码 r System Drawing r PresentationCore r WindowsBase using System Drawing Imaging u
  • awk:仅在某些字段中查找和替换[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我有一个像这样的文本文件 cat test 12 13 2100 s 12 13 3100 s 100 13 100 s 12 13 30
  • 在图片框上添加标签

    我想在我的图片框上写一些文字 所以我认为最简单和最好的办法就是在它上面画标签 这就是我所做的 PB new PictureBox PB Image Properties Resources Image PB BackColor Color
  • OpenAI GPT-2 模型与 TensorFlow JS 结合使用

    是否可以使用 TensorFlowJS 从 OpenAI GPT 2 生成文本 如果不是 限制是什么 例如模型格式或 我看不出有任何理由不这样做 除了 gpt 2 中的某些操作可能不受 tensorflowjs 支持 我不知道该怎么做 但这