今天查阅 TF-IDF 资料，发现百度百科里面提供了一个例子，解释的很清楚，记下来备用。
原文链接：https://baike.baidu.com/item/tf-idf/8816134?fr=aladdin
例子：在某个一共有一千词的网页中 “原子能”、“的” 和 “应用” 分别出现了 2 次、35 次 和 5 次，那么它们的词频就分别是 0.002、0.035 和 0.005。 我们将这三个数相加，其和 0.042 就是相应网页和查询“原子能的应用” 相关性的一个简单的度量。
概括地讲，如果一个查询包含关键词
w
1
,
w
2
,
.
.
.
,
w
N
w_1,w_2,...,w_N
w1,w2,...,wN, 它们在一篇特定网页中的词频分别是:
T
F
1
,
T
F
2
,
.
.
.
,
T
F
N
TF_1, TF_2, ..., TF_N
TF1,TF2,...,TFN。 （TF: term frequency)。 那么，这个查询和该网页的相关性就是：
T
F
1
+
T
F
2
+
.
.
.
+
T
F
N
TF_1 + TF_2 + ... + TF_N
TF1+TF2+...+TFN
读者可能已经发现了又一个漏洞。在上面的例子中，词 “的”占了总词频的 80% 以上，而它对确定网页的主题几乎没有用。我们称这种词叫“应删除词”（Stopwords)，也就是说在度量相关性是不应考虑它们的频率。在汉语中，应删除词还有“是”、“和”、“中”、“地”、“得”等等几十个。忽略这些应删除词后，上述网页的相似度就变成了0.007，其中“原子能”贡献了 0.002，“应用”贡献了 0.005。细心的读者可能还会发现另一个小的漏洞。在汉语中，“应用”是个很通用的词，而“原子能”是个很专业的词，后者在相关性排名中比前者重要。因此我们需要给汉语中的每一个词给一个权重，这个权重的设定必须满足下面两个条件：
- 一个词预测主题能力越强，权重就越大，反之，权重就越小。我们在网页中看到“原子能”这个词，或多或少地能了解网页的主题。我们看到“应用”一次，对主题基本上还是一无所知。因此，“原子能“的权重就应该比应用大。
- 应删除词的权重应该是零。
我们很容易发现，如果一个关键词只在很少的网页中出现，我们通过它就容易锁定搜索目标，它的权重也就应该大。反之如果一个词在大量网页中出现，我们看到它仍然不是很清楚要找什么内容，因此它应该小。概括地讲，假定一个关键词
w
w
w 在
D
w
D_w
Dw 个网页中出现过，那么
D
w
D_w
Dw 越大，
w
w
w 的权重越小，反之亦然。在信息检索中，使用最多的权重是“逆文本频率指数” （Inverse document frequency 缩写为IDF），它的公式为
l
o
g
（
D
/
D
w
）
log（D/D_w）
log（D/Dw）其中
D
D
D 是全部网页数。比如，我们假定中文网页数是
D
=
10
D=10
D=10亿 ，应删除词“的”在所有的网页中都出现，即
D
w
=
10
D_w=10
Dw=10亿，那么它的
I
D
F
=
l
o
g
(
10
亿
/
10
亿）
=
l
o
g
(
1
)
=
0
IDF=log(10亿/10亿）= log (1) = 0
IDF=log(10亿/10亿）=log(1)=0。假如专用词“原子能”在两百万个网页中出现，即
D
w
=
200
D_w=200
Dw=200万，则它的权重
I
D
F
=
l
o
g
(
500
)
=
2.7
IDF=log(500) =2.7%
IDF=log(500)=2.7。又假定通用词“应用”，出现在五亿个网页中，它的权重
I
D
F
=
l
o
g
(
2
)
IDF = log(2)
IDF=log(2) 则只有 0.3。也就是说，在网页中找到一个“原子能”的匹配相当于找到九个“应用”的匹配。利用 IDF，上述相关性计算的公式就由词频的简单求和变成了加权求和，即
T
F
1
∗
I
D
F
1
+
T
F
2
∗
I
D
F
2
+
.
.
.
+
T
F
N
∗
I
D
F
N
TF_1*IDF_1 + TF_2*IDF_2 +... + TF_N*IDF_N
TF1∗IDF1+ TF2∗IDF2+...+TFN∗IDFN
在上面的例子中，该网页和“原子能的应用”的相关性为 0.0069，其中“原子能”贡献了 0.0054，而“应用”只贡献了0.0015。这个比例和我们的直觉比较一致了。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
