我浏览了你的笔记本(我认为你将 9 更改为 -1 以便运行)并看到这部分代码:
# Learn with Label Propagation
label_propagation = LabelPropagation(adj_matrix_t)
print("Label Propagation: ", end="")
label_propagation.fit(labels_t)
label_propagation_output_labels = label_propagation.predict_classes()
最终调用:
self.one_hot_labels = self.one_hot_labels.scatter(1, labels.unsqueeze(1), 1)
是出了问题的地方。
请花一点时间阅读有关 scatter 的 pytorch 手册:火炬分散 https://pytorch.org/docs/stable/generated/torch.Tensor.scatter_.html我们了解到,对于分散来说,了解暗淡、索引、src 和自身矩阵很重要。对于一种热编码,dim=1 或 0 并不重要,我们的 src 矩阵是 1(稍后我们将对此进行更多研究)。您现在在维度 1 上调用 scatter,索引矩阵为 [40,1],结果(自身)矩阵为 [40,5]。
我在这里看到两个问题:
- 您正在使用文字类别虚拟变量 (-2,-1,0,1,2) 作为索引矩阵中的编码索引。这将导致 scatter 在 src 矩阵中搜索这些索引。这是索引越界的地方
- 您提到有 6 个类 -2、-1、0、1、2 和 9 为未标记的,但您是 5 个类的热门编码。 (是的,我知道您希望未标记的类全部为零,但这用分散实现有点困难。我稍后会解释)。
那么我们该如何解决这个问题呢?
问题一:让我们从一个小例子开始:
index = torch.tensor([[5],[0],[3],[5],[1],[4]]); print(index.shape); print(index)
result = torch.zeros(6, 6, dtype=src.dtype).scatter_(1, index, src); print(result.shape); print(result)
这会给我们
torch.Size([6, 1])
tensor([[5],
[0],
[3],
[5],
[1],
[4]])
torch.Size([6, 6])
tensor([[0, 0, 0, 0, 0, 1],
[1, 0, 0, 0, 0, 0],
[0, 0, 0, 1, 0, 0],
[0, 0, 0, 0, 0, 1],
[0, 1, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0]])
索引矩阵是 6 个观测值和 1 个观测值(类别)
自矩阵是 6 个观测值,具有 6 类一热编码向量
scatter(dim=1) 创建 self 矩阵的方式是 torch 首先检查行(观察),然后将该行的值更改为存储在 src 矩阵中同一行但列的值存储在索引中的值。
self[i][index[i][j][k]][k] = src[i][j][k]
因此,在您的情况下,您试图将 1 的值应用到 self[40,1] 中索引 [0] 列(等于 1)的行中。给你问题中的错误。虽然我检查了你的笔记本,错误是
索引 -1 超出了尺寸为 5 的维度 1 的范围。它们都是相同的根本原因。
问题 2:One-hot 编码
在这种情况下,使用冷编码进行完整的one-hot 比one-hot 更容易。原因是,对于单热冷编码,您需要在 src 矩阵中为每个未标记的观察创建一个 0 值。这比仅仅使用 1 作为 src 更痛苦。另请阅读此链接:OHE 全零是否有效? https://stats.stackexchange.com/questions/408626/is-it-valid-to-have-all-zeroes-in-a-one-hot-encoded-categorical-feature我认为对每个类别都使用 one-hot 更有意义。
因此,对于第二个问题,我们只需要简单地将类别映射到结果/自身矩阵的索引中。由于我们有 6 个类别,我们只需将它们映射到 0,1,2,3,4,5 即可。一个简单的 lambda 函数就可以解决这个问题。我使用随机采样器从类列表中获取数据标签,如下所示:(我从 6 个类中随机创建了 40 个观察值)
classes = list([-2,-1,0,1,2,9])
labels = list()
for i in range(0,40):
labels.append(list([(lambda x: x+2 if x !=9 else 5)(random.sample(classes,1)[0])]))
index_aka_labels = torch.tensor(labels)
print(index_aka_labels)
print(index_aka_labels.shape)
torch.zeros(40, 6, dtype=src.dtype).scatter_(1, index_aka_labels, 1)
最终,我们达到了我们想要的OHE结果:
tensor([[0, 0, 0, 0, 0, 1],
[0, 0, 1, 0, 0, 0],
[0, 0, 0, 0, 1, 0],
[0, 0, 0, 0, 1, 0],
... (40 observations)
[0, 1, 0, 0, 0, 0],
[0, 0, 0, 1, 0, 0],
[1, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 1],