我有大约 3000 个 100D 数据点,我用 t-SNE 将它们投影到 2D。每个数据点属于三个类别之一。但是,当我在两台不同的计算机上运行脚本时,我不断得到不一致的结果。当我使用随机种子时,预计会出现一些不一致,但是其中一台计算机不断获得更好的结果(我在 Ubuntu 上使用 MacBook Pro 和固定机器)。
我使用 Scikit-learn 的 t-SNE 实现。脚本和数据是相同的,我已手动复制文件夹以确保。相关代码片段如下所示:
X_vectors, X_labels = self.load_data(spec_path, sound_path, subset)
tsne = TSNE(n_components=2, perplexity=25, random_state=None)
Y = tsne.fit_transform(X_vectors)
self.plot(X_labels, Y[:, 0], Y[:, 1], Y)
第一张图像是从 macbook 生成的一个样本,我已经运行了几次,它总是在相同的 x/y 范围内生成类似的形状。第二个来自 Ubuntu,显然更好,我再次运行了几次以确保它继续生成更好的结果,与 Mac 相比始终处于更高的 x/y 范围。不确定我在这里没有看到什么,这很可能是我错过的明显的东西。
TSNE 是一种启发式方法。与大多数启发式方法一样,它的行为可能会因微小的变化而大不相同。这里的核心特征是:只保证局部收敛! (不是很稳健)。后者在(遵循基本优化理论)中指出docs http://scikit-learn.org/stable/modules/generated/sklearn.manifold.TSNE.html:
t-SNE 的成本函数不是凸的,即通过不同的初始化我们可以得到不同的结果。
虽然您解释说,在您看来,非种子方法并不是罪魁祸首(很难衡量!基准测试很难),你应该检查你的 sklearn 版本,作为t-sne代码 https://github.com/scikit-learn/scikit-learn/commits/18317f2bd39b77744779ede848eec2c95c5ff590/sklearn/manifold/t_sne.py是 sklearn 中最活跃的部分之一,随着时间的推移发生了许多变化。
这些更改中的每一个都可能会引入像您这样的观察结果(当仅尝试一个示例时;当然,在比较 t-sne 实现时,更大的基准/测试集应该是更好的方法)
Remark: however one of the computers keeps getting better results:
这是广泛的,因为至少有两种不同的解释:
- 从视觉/感知上评价结果
- look at
kl_divergence_
优化后达到
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)