大数据推荐算法之隐语义模型(lfm)进行Top-N推荐

隐语义模型LFM（Latent Factor Model）：

和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类，

然后分类存在理解上的偏差：

1. 编辑很难控制分类的粒度

2. 编辑很难给一个物品分属多个分类

3. 编辑很难决定一个物品在某一个分类中的权重



 

用户对于一个item的喜好程度 = 用户对于某些分类的喜好程度 * 这个item在这些分类中的权重

我们不需要关心分类的⾓度，结果都是基于用户行为统计自动聚类的，全凭数据自己说了算。

不需要关心分类粒度的问题，通过设置LFM的最终分类数就可控制粒度，分类数越大，粒度约细。

对于一个item，并不是明确的划分到某一类，而是计算其属于每一类的概率，是一种标准的软分类。

对于一个user，我们可以得到他对于每一类的兴趣度，而不是只关心可见列表中的那一个类。

对于每一个class，我们可以得到类中每个item的权重，越能代表这个类的item，权重越高。



建立Users对于Items的关系矩阵来

进行训练获取P以及Q的参数

训练样本：用户感兴趣的为1，不感兴趣的

选取时隐性反馈数据的收集：

1 和正样本数量相当

2 选取那些热门但是用户没有操作的样本

我们就是要求解P以及Q矩阵中的参数



 

计算不断优化参数，直到参数收敛，核心代码：

01 def   latenFactorModel(classCount, iterCount, alpha, lamda): 02      ''' 03      隐语义模型计算参数p,q 04      :param frame: 源数据 05      :param classCount: 隐类数量 06      :param iterCount: 迭代次数 07      :param alpha: 步长 08      :param lamda: 正则化参数 09      :return: 参数p,q 10      ''' 11      P, Q  =   initModel(classCount) 12        13      for   step  in   range ( 0 , iterCount): 14          for   user, uitems  in   user_items.items(): 15                  samples = RandSelectNegativeSamples(uitems) 16                  for   item, rui  in   samples.items(): 17                      eui  =   rui  -   Predict(P, Q, user, item) 18                      for   f  in   range ( 0 , classCount): 19                          P[user][f]  + =   alpha  *   (eui  *   Q[f][item]  - lamda  *   P[user][f]) 20                          Q[f][item]  + =   alpha  *   (eui  *   P[user][f]  - lamda  *   Q[f][item]) 21                22          alpha  * =   0.9 23            24      return   P, Q

 

本例采用了movielens的一个数据作为测试例子，运行结果如下：



 

本例完整源代码下载