Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
我如何解决 ImportError: 使用 Huggingface 的 TrainArguments 时,将 `Trainer` 与 `PyTorch` 一起使用需要 `accelerate>=0.20.1`?
我正在使用transformersGoogle colab 中的库 以及 当我使用 Transformers 库中的 TrainingArguments 时 我收到以下代码的导入错误 from transformers import Tra
python
NLP
ImportError
huggingfacetransformers
Huggingface
Huggingface Transformer 问题答案置信度得分
我们如何从huggingface转换器问题答案的示例代码中获取答案置信度得分 我看到管道确实返回了分数 但是下面的核心也可以返回置信度分数吗 from transformers import AutoTokenizer TFAutoMode
python
huggingfacetransformers
HuggingFace Trainer() 不执行任何操作 - 仅在 Vertex AI 工作台上运行,在 colab 上运行
我在使用 Huggingface 中的 Trainer 函数在 Vertex AI Workbench 笔记本上实际执行任何操作时遇到问题 我完全被难住了 不知道如何开始尝试调试它 我做了这个小笔记本 https github com an
TFCamemBERT 模型训练但测试没有结果
目前我正在使用 Camembert 进行医学领域的命名实体识别 精确地使用以下模型 TF卡芒贝尔 https huggingface co jplu tf camembert base 然而 我在对任务模型进行微调时遇到了一些问题 因为我使
python
tensorflow
NLP
huggingfacetransformers
namedentityrecognition
如何使用 BertForMaskedLM 或 BertModel 来计算句子的困惑度?
我想使用 BertForMaskedLM 或 BertModel 来计算句子的困惑度 所以我编写了这样的代码 import numpy as np import torch import torch nn as nn from transf
将 HuggingFace Trainer 与 Ray Tune 结合使用时,“无法 pickle _thread.RLock 对象”
我尝试使用TrainerHuggingFace 变压器中的函数来训练模型并使用ray tune用于超参数搜索 我可以在 Google Colab 中运行代码而不会出现错误 但是当我使用远程计算机通过 ssh 运行代码时 会出现错误 Trac
python
huggingfacetransformers
Ray
HuggingFace 评估微调的零样本模型
我正在微调 HuggingFacefacebook bart large mnli为了满足我的需要 我使用以下参数 training args TrainingArguments output dir model directory out
创建 HuggingFace 数据集来训练 BIO 标记器
我有一个字典列表 sentences text I live in Madrid labels O O O B LOC text Peter lives in Spain labels B PER O O B LOC text He lik
Huggingface - 飞马座 PegasusTokenizer 为 None
尝试使用tuner007 pegasus paraphrase 按照中的示例进行操作Pegasus Pegasus模型于2019年12月18日在 PEGASUS Pre training with Extracted Gap sentenc
huggingfacetransformers
更新标记生成器后,LineByLineTextDataset 继续加载
更新标记生成器后 当我运行此行时 数据集 LineByLineTextDataset tokenizer bert tokenizer file path some file txt 块大小 128 它会永远加载 这是完整的代码 from
python
NLP
bertlanguagemodel
huggingfacetransformers
在哪里可以获得 BERT 的预训练词嵌入?
我知道 BERT 的总词汇量为 30522 其中包含一些单词和子词 我想获得 BERT 的初始输入嵌入 所以 我的要求是获得尺寸表 30522 768 我可以通过 token id 进行索引来获取其嵌入 我在哪里可以得到这张桌子 BertM
Embedding
huggingfacetransformers
bertlanguagemodel
类型错误:“torch.device”和“int”实例之间不支持“<”
2023 01 25 08 21 21 659 ERROR Traceback most recent call last File home xyzUser project queue handler document queue lis
python
machinelearning
huggingfacetransformers
torch
估计给定句子的标记概率/逻辑,而不计算整个句子
我有这样一句话 I like sitting in my new chair and about life 我有一组特定的令牌 例如 watch run think apple light 我想计算每个标记作为该不完整句子中的下一个单词出现
python
NLP
huggingfacetransformers
Transformers PreTrainedTokenizer add_tokens 功能
参考文档在 Huggingface 的很棒的变形金刚库中 我发现了add tokens功能 tokenizer BertTokenizer from pretrained bert base uncased model BertModel
Pytorch
bertlanguagemodel
huggingfacetransformers
使用 HuggingFace 微调 T5 进行汇总时出现关键错误
我正在尝试微调 T5 变压器进行汇总 但收到一条关键错误消息 KeyError Indexing with integers to access backend Encoding for a given batch index is not
python
huggingfacetransformers
huggingfacetokenizers
pytorch 摘要因 Huggingface 模型而失败
我想要一个总结PyTorch从huggingface下载的模型 我在这里做错了什么吗 from torchinfo import summary from transformers import AutoModelForSequenceCl
python
Pytorch
huggingfacetransformers
使用huggingface Trainer 与分布式数据并行
为了加快性能 我研究了 pytorch分布式数据并行并尝试将其应用于变压器Trainer The DDP 的 pytorch 示例指出这应该at least更快 DataParallel是单进程 多线程 只能在单机上运行 而Distribu
python
Pytorch
huggingfacetransformers
Huggingface 转换器模型返回字符串而不是 logits
我正在尝试从 Huggingface 网站运行这个示例 https huggingface co transformers task summary html 模型似乎返回两个字符串而不是 logits 这会导致 torch argmax
huggingfacetransformers
nlpquestionanswering
«
1
2
3