推荐系统个人理解（实践部分）

前一篇文章简单介绍了推荐系统，并列出了常用的推荐算法，这篇主要就如何实现推荐做说明。本来最开始打算用movielens的电影数据来做推荐，数据集下载地址如下，http://grouplens.org/datasets/movielens/，我下的是1m左右的数据，用户6040个，电影3952个，我在构建用户相似度矩阵的时候居然从下午4:00一直跑到晚上2：30，用户相似度需要构建一个6040*6040的矩阵，并且用户与用户之间需要做3952次循环比较，所以时间很长，明显这个例子不适合在我的电脑上做demo。所以自己构建一个demo数据集，结构类似movielen的电影评分。

构造的数据集是这样一种场景，有8个用户对10家公司投递简历，并且有用户对公司投递简历的意愿（数值从1到5，5表示强烈的想去该公司上班）。



推荐思路：

首先根据原始数据集对数据进行预处理，构造一个用户-公司的二维矩阵，二维矩阵对应的值是用户对去该公司工作的意愿，本示例程序采用基于用户的推荐（基于item的推荐和基于用户的推荐思路一样）思路，根据用户-公司二维矩阵，计算用户之间的相似度，以上两个矩阵都可以直接保存成文件（在实际应用中会离线计算然后存数据库或其它存储介质），方便直接调用，根据以上两个矩阵，对用户做推荐。

对用户做推荐的逻辑是，首先找出目标用户没有投递简历的公司，再找出和目标用户相似度最高的5其他用户投简历的公司，并且是目标用户没有投过的，来计算目标公司，我们采用两种方式来实现，一种是返回topn，另外一种是根据工作意愿的评分。

如何判断两个用户相似，我们做如下定义：

A用户投了1，2，3，4

B用户投了2，3，4，5

AB相似度= 用户投了A也投了B/((A投的公司数*B投的公司数据)的平方根)

以上计算的结果AB的相似度为3/4=0.75，如果AB投的公司完全样，AB的相似度为1

相似度并不影响推荐结果。

用户-公司矩阵（横轴代表公司，纵轴代表用户）



用户相似度矩阵



用户相似度矩阵是个8*8的矩阵，行列都代表用户，对角线元素为0，1B表示的意思是第一个用户和第二个用户的相似度

运行结果如下：



调整用户相似度的数量会影响输出结果，并且采用topn和打分返回的结果也有不同。

相关代码：

#用户公司相关矩阵
def get_user_company_mat():
user_job_data = load_demo.load_demo_data()
user_job_mat = np.zeros((8,10))
#logging.info("生成用户和公司相关矩阵开始")
for idx, row in user_job_data.iterrows():
user_id = row["UserID"]
company_id = row["CompanyID"]
rating = row["Rating"]
user_job_mat[user_id-1,company_id-1] = rating
return user_job_mat

#用户与用户相似性矩阵
def get_user_similarity_mat():
user_company_mat = user_company.get_user_company_mat()
user_length, company_length = user_company_mat.shape
user_sim_mat = np.zeros((user_length, user_length))
#logging.info("构建生成用户相似性矩阵，用户和用户比较")
for m in range(0, user_length):
user_m = user_company_mat[m, :]
user_m_job_number = 0;
for item_index in range(0, company_length):
if user_m[item_index] > 0:
user_m_job_number = user_m_job_number + 1
#logging.info("当前用户" + str(m) + "投递的" + str(user_m_job_number) + "份简历")

for n in range(0, user_length):
#logging.info("第" + str(m) + "个用户和第" + str(n) + "个用户比较")
if m == n:
user_sim_mat[m, n] = 0
else:
similarity_item = 0
user_n_job_number = 0
user_n = user_company_mat[n, :]
for i in range(0, company_length):
if user_n[i] > 0:
user_n_job_number = user_n_job_number + 1
if (user_m[i] > 0 and user_n[i] > 0):
similarity_item = similarity_item + 1
#logging.info("当前用户" + str(n) + "投递的" + str(user_n_job_number) + "份简历")
if (user_m_job_number == 0 or user_n_job_number == 0):
user_sim_mat[m, n] = 0
user_sim_mat[n, m] = 0
else:
user_sim_mat[m, n] = similarity_item/math.sqrt(user_m_job_number*user_n_job_number)
user_sim_mat[n, m] = similarity_item/math.sqrt(user_m_job_number*user_n_job_number)
#data_frame = pd.DataFrame(user_sim_mat)
#data_frame.to_csv('user_similarity_mat.csv', index=False, header=False)
#logging.info("构建生成用户相似性矩阵结束")
return user_sim_mat

#返回的topN的结果（打分的代码类似）
def user_recommand_by_topn(user_id):
print("根据TOPN推荐,当前用户ID为"+str(user_id))
user_job_mat = user_company.get_user_company_mat()
current_user_job_record = user_job_mat[user_id - 1, :]
print("当前用户数据",current_user_job_record)
un_rating_company = []
for company_id, company_rating in enumerate(current_user_job_record):
if company_rating == 0:
un_rating_company.append(company_id + 1)
print("未投递简历的公司为",un_rating_company)

user_sim_mat = user_similarity.get_user_similarity_mat()
current_user_sim = user_sim_mat[user_id - 1, :]

user_sim_dic = {}
for user_id, user_sim_value in enumerate(current_user_sim):
user_sim_dic[user_id+1] = user_sim_value

user_sim_dic = sorted(user_sim_dic.items(), key=lambda a: a[1], reverse=True)
print("取和当前用户相似度最高的5个用户"+str(user_sim_dic[0:5]))
#print(user_sim_dic)

result_dic = {}
for un_rating_company_id in un_rating_company:
sim_company_similarity = 0
sim_company_rating_total = 0
sim_company_rating_item_num = 0
for item in user_sim_dic[0:5]:
sim_usr_id = item[0]
sim_usr_val = item[1]
sim_company_rating = user_job_mat[sim_usr_id - 1, un_rating_company_id - 1]
if sim_company_rating > 0:
sim_company_rating_total = sim_company_rating_total + sim_company_rating
sim_company_rating_item_num = sim_company_rating_item_num + 1
if sim_company_rating_item_num > 0:
average_sim = sim_company_rating_total / sim_company_rating_item_num
result_dic[demo_util.get_company_des(un_rating_company_id)] = average_sim

result_dic = sorted(result_dic.items(), key=lambda a: a[1], reverse=True)
print("返回推荐结果",result_dic)