我正在尝试使用 Huggingface 训练器微调 gpt-j 但惨败。我遵循了引用 bert 的示例，但是当然，gpt-j 模型并不完全类似于 bert 模型。
该错误表明模型没有产生损失，这很好，但我不知道如何让它产生损失或如何改变训练者的期望。
我正在使用变形金刚 4.22.2。在尝试使用 GPU 在 Paperspace 上执行任何操作之前，我希望先在 CPU 上实现此功能。我确实使用 GPU 进行了初步尝试，但收到了相同的错误，使用 cuda 的代码略有不同。
我怀疑我的做法是完全错误的。我发现了一个使用 8 位量化微调 gpt-j 的非常古老的示例，但即使该存储库也表示它已被弃用。
我不确定我的错误是否在于使用了 bert 示例中找到的compute_metrics()，或者是否是其他原因。任何意见，将不胜感激。或者，也许这是我提供配置的标签的问题，但我尝试了不同的排列。
我了解损失函数是什么，但我不知道在这种情况下应该如何配置它。
My Code:
from transformers import Trainer, TrainingArguments, AutoModelForCausalLM
from transformers import GPTJForCausalLM, AutoTokenizer
from datasets import load_dataset
import time
import torch
import os
import numpy as np
import evaluate
import sklearn
start = time.time()
GPTJ_FINE_TUNED_FILE = "./fine_tuned_models/gpt-j-6B"
print("Loading model")
model = GPTJForCausalLM.from_pretrained("EleutherAI/gpt-j-6B", low_cpu_mem_usage=True)
model.config.pad_token_id = model.config.eos_token_id
print("Loading tokenizer")
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-j-6B")
tokenizer.pad_token = tokenizer.eos_token
print("Loading dataset")
current_dataset = load_dataset("wikitext", 'wikitext-103-v1')
current_dataset['train'] = current_dataset['train'].select(range(1200))
def tokenize_function(examples):
current_tokenizer_result = tokenizer(examples["text"], padding="max_length", truncation=True)
return current_tokenizer_result
print("Splitting and tokenizing dataset")
tokenized_datasets = current_dataset.map(tokenize_function, batched=True)
small_train_dataset = tokenized_datasets["train"].select(range(100))
print("Preparing training arguments")
training_args = TrainingArguments(output_dir=GPTJ_FINE_TUNED_FILE,
report_to='all',
logging_dir='./logs',
per_device_train_batch_size=1,
label_names=['input_ids', 'attention_mask'], # 'logits', 'past_key_values'
num_train_epochs=1,
no_cuda=True
)
metric = evaluate.load("accuracy")
def compute_metrics(eval_pred):
logits, labels = eval_pred
predictions = np.argmax(logits, axis=-1)
return metric.compute(predictions=predictions, references=labels)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=small_train_dataset
)
print("Starting training")
trainer.train()
print(f"Finished fine-tuning in {time.time() - start}")
这会导致错误和堆栈跟踪：
File "xxx\ft_v3.py", line 66, in <module>
File "xxx\venv\lib\site-packages\transformers\trainer.py", line 1521, in train
return inner_training_loop(
File "xxx\venv\lib\site-packages\transformers\trainer.py", line 1763, in _inner_training_loop
tr_loss_step = self.training_step(model, inputs)
File "xxx\venv\lib\site-packages\transformers\trainer.py", line 2499, in training_step
loss = self.compute_loss(model, inputs)
File "xxx\venv\lib\site-packages\transformers\trainer.py", line 2544, in compute_loss
raise ValueError(
ValueError: The model did not return a loss from the inputs, only the following keys: logits,past_key_values. For reference, the inputs it received are input_ids,attention_mask.
