预训练 Transformer 模型的配置更改

我正在尝试为重整变压器实现一个分类头。分类头工作正常，但是当我尝试更改配置参数之一 - config.axis_pos_shape 即模型的序列长度参数时，它会抛出错误；

Reformer.embeddings.position_embeddings.weights.0 的大小不匹配：从检查点复制形状为 torch.Size([512, 1, 64]) 的参数，当前模型中的形状为 torch.Size([64, 1, 64] ）。 Reformer.embeddings.position_embeddings.weights.1 的大小不匹配：从检查点复制形状为 torch.Size([1, 1024, 192]) 的参数，当前模型中的形状为 torch.Size([1, 128, 192] ）。

配置：

{
  "architectures": [
    "ReformerForSequenceClassification"
  ],
  "attention_head_size": 64,
  "attention_probs_dropout_prob": 0.1,
  "attn_layers": [
    "local",
    "lsh",
    "local",
    "lsh",
    "local",
    "lsh"
  ],
  "axial_norm_std": 1.0,
  "axial_pos_embds": true,
  "axial_pos_embds_dim": [
    64,
    192
  ],
  "axial_pos_shape": [
    64,
    256
  ],
  "chunk_size_feed_forward": 0,
  "chunk_size_lm_head": 0,
  "eos_token_id": 2,
  "feed_forward_size": 512,
  "hash_seed": null,
  "hidden_act": "relu",
  "hidden_dropout_prob": 0.05,
  "hidden_size": 256,
  "initializer_range": 0.02,
  "intermediate_size": 3072,
  "is_decoder": true,
  "layer_norm_eps": 1e-12,
  "local_attention_probs_dropout_prob": 0.05,
  "local_attn_chunk_length": 64,
  "local_num_chunks_after": 0,
  "local_num_chunks_before": 1,
  "lsh_attention_probs_dropout_prob": 0.0,
  "lsh_attn_chunk_length": 64,
  "lsh_num_chunks_after": 0,
  "lsh_num_chunks_before": 1,
  "max_position_embeddings": 8192,
  "model_type": "reformer",
  "num_attention_heads": 2,
  "num_buckets": [
    64,
    128
  ],
  "num_chunks_after": 0,
  "num_chunks_before": 1,
  "num_hashes": 1,
  "num_hidden_layers": 6,
  "output_past": true,
  "pad_token_id": 0,
  "task_specific_params": {
    "text-generation": {
      "do_sample": true,
      "max_length": 100
    }
  },
  "vocab_size": 320
}

Python代码：

config = ReformerConfig()
config.max_position_embeddings = 8192
config.axial_pos_shape=[64, 128]

#config = ReformerConfig.from_pretrained('./cnp/config.json', output_attention=True)

model = ReformerForSequenceClassification(config)
model.load_state_dict(torch.load("./cnp/pytorch_model.bin"))

我遇到了同样的问题，尝试将 Reformer 预训练中使用的默认最大序列长度 65536 (128*512) 的大小减半。

正如@cronoik 提到的，你必须：

1. 负载预训练塑身机
2. 通过删除不必要的重量来调整其大小以满足您的需要
3. 保存这个新模型
4. 加载这个新模型来执行您想要的任务

这些不必要的权重是来自位置嵌入层的权重。在 Reformer 模型中，使用轴向位置编码策略来学习位置嵌入（而不是像 BERT 这样的固定嵌入）。轴向位置编码以一种内存有效的方式存储位置嵌入，使用两个小张量而不是一个大张量。

然而，位置嵌入的思想仍然完全相同，即为每个位置获得不同的嵌入。

也就是说，理论上（如果我在某个地方误解了，请纠正我），删除最后一个位置嵌入以匹配您的自定义最大序列长度不会损害性能。你可以参考这个帖子来自 HuggingFace https://huggingface.co/blog/reformer查看轴向位置编码的更详细描述并了解在哪里截断位置嵌入张量。

我已成功调整大小并使用自定义最大长度为 32768 (128*256) 的 Reformer，代码如下：

# Load intial pretrained model
model = ReformerForSequenceClassification.from_pretrained('google/reformer-enwik8', num_labels=2)

# Reshape Axial Position Embeddings layer to match desired max seq length       
model.reformer.embeddings.position_embeddings.weights[1] = torch.nn.Parameter(model.reformer.embeddings.position_embeddings.weights[1][0][:256])

# Update the config file to match custom max seq length
model.config.axial_pos_shape = 128, 256
model.config.max_position_embeddings = 128*256 # 32768

# Save model with custom max length
output_model_path = "path/to/model"
model.save_pretrained(output_model_path)