Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
ValueError:TextEncodeInput 必须是 Union[TextInputSequence,Tuple[InputSequence,InputSequence]] - 标记 BERT / Distilbert 错误
def split data path df pd read csv path return train test split df test size 0 1 random state 100 train test split data
Blenderbot 微调
我一直在尝试微调 HuggingFace 的对话模型 Blendebot 我已经尝试过官方拥抱脸网站上给出的传统方法 该方法要求我们使用 trainer train 方法来完成此操作 我使用 compile 方法尝试了它 我尝试过使用 Py
python
tensorflow
NLP
Pytorch
huggingfacetransformers
下载变压器模型以供离线使用
我有一个训练有素的 Transformer NER 模型 我想在未连接到互联网的机器上使用它 加载此类模型时 当前会将缓存文件下载到 cache 文件夹 要离线加载并运行模型 需要将 cache 文件夹中的文件复制到离线机器上 然而 这些文
python
NLP
Pytorch
huggingfacetransformers
在非单一维度 1 处,张量 a (2) 的大小必须与张量 b (39) 的大小匹配
这是我第一次从事文本分类工作 我正在使用 CamemBert 进行二进制文本分类 使用 fast bert 库 该库主要受到 fastai 的启发 当我运行下面的代码时 from fast bert data cls import Bert
NLP
Pytorch
bertlanguagemodel
huggingfacetransformers
fastai
Huggingface Bert TPU 微调适用于 Colab,但不适用于 GCP
我正在尝试在 TPU 上微调 Huggingface Transformers BERT 模型 它在 Colab 中工作 但当我切换到 GCP 上的付费 TPU 时失败 Jupyter笔记本代码如下 1 model transformers
`enforce_stop_tokens` 如何在 LangChain 中与 Huggingface 模型一起工作?
当我们查看 HuggingFaceHub 模型的使用情况时langchain有这部分作者不知道如何停止生成 https github com hwchase17 langchain blob master langchain llms hu
训练新的 AutoTokenizer 拥抱脸部
收到此错误 AttributeError GPT2Tokenizer 对象没有 属性 train new from iterator 与拥抱面部文档非常相似 我更改了输入 就是这样 不应该影响它 有一次就成功了 2小时后回来查看 发现并没有
python
NLP
datascience
huggingfacetransformers
transformermodel
运行时错误:CUDA 错误:设备端断言已触发 - 训练 LayoutLMV3 时
我正在训练最新版本的layoutLMv3模型 但在开始训练时trainer train 出现以下错误 请帮我解决它 我使用的是 v100 4 GPU RuntimeError Traceback most recent call last
python
Algorithm
NLP
Pytorch
huggingfacetransformers
预训练 Transformer 模型的配置更改
我正在尝试为重整变压器实现一个分类头 分类头工作正常 但是当我尝试更改配置参数之一 config axis pos shape 即模型的序列长度参数时 它会抛出错误 Reformer embeddings position embeddin
Pytorch
huggingfacetransformers
pretrainedmodel
BertTokenizer.from_pretrained 错误并显示“连接错误”
我正在尝试从 Huggingface 下载 BERT 的分词器 我正在执行 tokenizer BertTokenizer from pretrained bert base uncased Error
python
SSL
sslcertificate
huggingfacetransformers
为什么将模型上传到 HuggingFace 存储库的速度如此之慢?
我有一个问题 我正在尝试将模型推送到 HuggingFace 存储库 问题是它说上传过去 16 小时 而这只是 pytorch model bin 文件 大约 850MB 我用的是LFS 我尝试手动将文件添加到存储库 这需要很长时间 我不愿
huggingfacetransformers
transformermodel
BERT 问答中长文本的滑动窗口
我读过解释滑动窗口如何工作的帖子 但我找不到有关其实际实现方式的任何信息 据我了解 如果输入太长 可以使用滑动窗口来处理文本 如果我错了 请纠正我 说我有一条短信 2017 年 6 月 Kaggle 宣布注册用户突破 100 万 给定一些s
在微调 GPT-2 模型时如何处理堆栈期望每个张量具有相同大小的误差?
我尝试用我的个人信息微调模型 所以我可以创建一个聊天框 人们可以通过聊天 gpt 了解我 但是 我得到了错误 RuntimeError 堆栈期望每个张量大小相等 但在条目 0 处得到 47 在条目 1 处得到 36 因为我有不同的输入长度
python
tensorflow
artificialintelligence
huggingfacetransformers
GPT2
“您必须指定 input_ids 或 input_embeds”,但我确实指定了 input_ids
我训练了一个基于 BERT 的编码器解码器模型 EncoderDecoderModel named ed model使用 HuggingFace 的变压器模块 我用的是BertTokenizer命名为input tokenizer 我用以下
bertlanguagemodel
huggingfacetransformers
PipelineException:在输入中找不到 mask_token ([MASK])
我收到此错误 PipelineException 在输入中找不到 mask token MASK 当我运行这条线时 fill mask 汽车 我在 Colab 上运行它 我的代码 from transformers import BertT
python
NLP
Pytorch
bertlanguagemodel
huggingfacetransformers
为什么评估集会耗尽 pytorch 拥抱中的内存?
我使用的是相当大的 GPU 大约 80 GB 训练纪元运行良好 但由于某种原因在评估时 训练集和验证集或多或少具有相同的长度 我内存不足并收到此错误 File home transformers trainer pt utils py li
Pytorch
NLP
huggingfacetransformers
pretrainedmodel
使用新标签微调模型的分类器层
我想使用仅包含 1 个模型之前未见过的附加标签的新数据集来微调已经微调的 BertForSequenceClassification 模型 这样 我想向模型当前能够正确分类的标签集添加 1 个新标签 此外 我不希望随机初始化分类器权重 我想
Pytorch
huggingfacetransformers
AutoTokenizer.from_pretrained 无法加载本地保存的预训练分词器 (PyTorch)
我是 PyTorch 的新手 最近我一直在尝试使用 Transformers 我正在使用 HuggingFace 提供的预训练分词器 我成功下载并运行它们 但如果我尝试保存它们并再次加载 则会发生一些错误 如果我使用AutoTokenize
BERT 分词器和模型下载
我是初学者 我正在和伯特一起工作 但出于公司网络的安全考虑 下面的代码并没有直接接收bert模型 tokenizer BertTokenizer from pretrained bert base multilingual cased do
python
GitHub
Pytorch
huggingfacetransformers
bertlanguagemodel
基于 BERT 的 NER 模型在反序列化时给出不一致的预测
我正在尝试在 Colab 云 GPU 上使用 HuggingFace 变压器库训练 NER 模型 对其进行 pickle 并将模型加载到我自己的 CPU 上以进行预测 Code 模型如下 from transformers import B
python
Pytorch
bertlanguagemodel
huggingfacetransformers
1
2
3
»