我正在尝试使用Python库SKLearn手动计算SVC分类器的decision_function(而不是使用内置方法)。
我已经尝试了几种方法,但是,当我don't扩展我的数据。
z
是一个测试数据(已缩放),我认为其他变量本身就说明了问题(另外,如果从代码中看不出来,我正在使用 rbf 内核)。
以下是我尝试过的方法:
1 循环方法:
dec_func = 0
for j in range(np.shape(sup_vecs)[0]):
norm2 = np.linalg.norm(sup_vecs[j, :] - z)**2
dec_func = dec_func + dual_coefs[0, j] * np.exp(-gamma*norm2)
dec_func += intercept
2 向量化方法
diff = sup_vecs - z
norm2 = np.sum(np.sqrt(diff*diff), 1)**2
dec_func = dual_coefs.dot(np.exp(-gamma_params*norm2)) + intercept
然而,这些都不会返回与decision_function
。我认为这可能与重新调整我的价值观有关,或者更可能是我一直忽视的一些愚蠢的事情!
任何帮助,将不胜感激。
经过一番挖掘和摸索之后,我已经弄清楚了。
正如我上面提到的z
是经过缩放的测试数据。为了缩放它我必须提取.mean_
and .std_
来自 preprocessing.StandardScaler() 对象的属性(当然是在我的训练数据上调用 .fit() 之后)。
当时我正在使用这个缩放的z
作为我的手动计算和内置函数的输入。然而,内置函数是管道的一部分,该管道已经将 StandardScaler 作为管道中的第一个“管道”,因此z
被缩放了两次!
因此,当我从管道中删除缩放时,手动答案“匹配”内置函数的答案。
顺便说一句,我在引号中说“匹配”,因为我发现我总是必须翻转手动计算的符号以匹配内置版本。目前我不知道为什么会这样。
总而言之,我误解了管道的工作原理。
对于那些感兴趣的人,这是我的手动方法的最终版本:
diff = sup_vecs - z_scaled
# Looping Method
dec_func_loop = 0
for j in range(np.shape(sup_vecs)[0]):
norm2 = np.linalg.norm(diff[j,:])
dec_func_loop = dec_func_loop + dual_coefs[j] * np.exp(-gamma*(norm2**2))
dec_func_loop = -1 * (dec_func_loop - intercept)
# Vectorized method
norm2 = np.array([np.linalg.norm(diff[n, :]) for n in range(np.shape(sup_vecs)[0])])
dec_func_vec = -1 * (dual_coefs.dot(np.exp(-gamma*(norm2**2))) - intercept)
Addendum
对于那些有兴趣为多类 SVC 实现手动方法的人,以下链接会有所帮助:https://stackoverflow.com/a/27752709/1182556
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)