一 最经典的推荐算法:协同过滤推荐算法(Collaborative Filtering)
算法思想:物以类聚,人以群分
基本的协同过滤推荐算法基于以下假设:
实现协同过滤推荐有以下几个步骤:
-
找出最相似的人或物品:TOP-N相似的人或物品
通过计算两两的相似度来进行排序,即可找出TOP-N相似的人或物品
-
根据相似的人或物品产生推荐结果
利用TOP-N结果生成初始推荐结果,然后过滤掉用户已经有过记录的物品或明确表示不感兴趣的物品
关于相似度计算这里先用一个简单的思想:如有两个同学X和Y,X同学爱好[足球、篮球、乒乓球],Y同学爱好[网球、足球、篮球、羽毛球],可见他们的共同爱好有2个,那么他们的相似度可以用:2/3 * 2/4 = 1/3 ≈ 0.33 来表示。
二 相似度计算(Similarity Calculation)
相似度的计算方法
-
数据分类
-
实数值(物品评分情况)
-
布尔值(用户的行为 是否点击 是否收藏)
-
欧氏距离, 是一个欧式空间下度量距离的方法. 两个物体, 都在同一个空间下表示为两个点, 假如叫做p,q, 分别都是n个坐标, 那么欧式距离就是衡量这两个点之间的距离. 欧氏距离不适用于布尔向量之间
欧氏距离的值是一个非负数, 最大值正无穷, 通常计算相似度的结果希望是[-1,1]或[0,1]之间,一般可以使用如下转化公式:
-
杰卡德相似度&余弦相似度&皮尔逊相关系数
-
余弦相似度
-
度量的是两个向量之间的夹角, 用夹角的余弦值来度量相似的情况
-
两个向量的夹角为0是,余弦值为1, 当夹角为90度是余弦值为0,为180度是余弦值为-1
-
余弦相似度在度量文本相似度, 用户相似度 物品相似度的时候较为常用
-
余弦相似度的特点, 与向量长度无关,余弦相似度计算要对向量长度归一化, 两个向量只要方向一致,无论程度强弱, 都可以视为'相似'
-
皮尔逊相关系数Pearson
-
实际上也是一种余弦相似度, 不过先对向量做了中心化, 向量a b 各自减去向量的均值后, 再计算余弦相似度
-
皮尔逊相似度计算结果在-1,1之间 -1表示负相关, 1表示正相关
-
度量两个变量是不是同增同减
-
皮尔逊相关系数度量的是两个变量的变化趋势是否一致, 不适合计算布尔值向量之间的相关度
-
杰卡德相似度 Jaccard
-
两个集合的交集元素个数在并集中所占的比例, 非常适用于布尔向量表示
-
分子是两个布尔向量做点积计算, 得到的就是交集元素的个数
-
分母是两个布尔向量做或运算, 再求元素和
-
余弦相似度适合用户评分数据(实数值), 杰卡德相似度适用于隐式反馈数据(0,1布尔值)(是否收藏,是否点击,是否加购物车)
-
物品相似度计算
-
余弦相似度对绝对值大小不敏感带来的问题
-
用户A对两部电影评分分别是1分和2分, 用户B对同样这两部电影进行评分是4分,5分 用余弦相似度计算,两个用户的相似度达到0.98
-
可以采用改进的余弦相似度, 先计算向量每个维度上的均值, 然后每个向量在各个维度上都减去均值后,在计算余弦相似度, 用调整的余弦相似度计算得到的相似度是-0.1