各大平台的推荐系统原来是靠他来完成的,太牛了
2017-11-27 00:00
435 查看
1. 推荐系统概述电子商务网站是个性化推荐系统重要地应用的领域之一,亚马逊就是个性化推荐系统的积极应用者和推广者,亚马逊的推荐系统深入到网站的各类商品,为亚马逊带来了至少30%的销售额。不光是电商类,推荐系统无处不在。QQ,人人网的好友推荐;新浪微博的你可能感觉兴趣的人;优酷,土豆的电影推荐;豆瓣的图书推荐;大从点评的餐饮推荐;世纪佳缘的相亲推荐;天际网的职业推荐等。
![](https://ss.csdn.net/p?http://mmbiz.qpic.cn/mmbiz_jpg/lGlvoKHnRUJLWIIqR76yRH7a8dpBBDBtibZU5qGGxzNKFHJ5J7o23TlvPuXzjvAfWcx4zrmdibeopz4OPhWodb7g/640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1)
推荐算法分类:按数据使用划分:协同过滤算法:UserCF, ItemCF, ModelCF基于内容的推荐: 用户内容属性和物品内容属性社会化过滤:基于用户的社会网络关系按模型划分:最近邻模型:基于距离的协同过滤算法Latent Factor Mode(SVD):基于矩阵分解的模型Graph:图模型,社会网络图模型基于用户的协同过滤算法UserCF基于用户的协同过滤,通过不同用户对物品的评分来评测用户之间的相似性,基于用户之间的相似性做出推荐。简单来讲就是:给用户推荐和他兴趣相似的其他用户喜欢的物品。用例说明:
![](https://ss.csdn.net/p?http://mmbiz.qpic.cn/mmbiz_png/lGlvoKHnRUJLWIIqR76yRH7a8dpBBDBtgc4QobsGI0elO0ZtDUgcR0nLZPH5hkicVicHfWhPOX4GBVHiaP5sebMUQ/0?wx_fmt=gif)
算法实现及使用介绍,请参考文章:Mahout推荐算法API详解基于物品的协同过滤算法ItemCF基于item的协同过滤,通过用户对不同item的评分来评测item之间的相似性,基于item之间的相似性做出推荐。简单来讲就是:给用户推荐和他之前喜欢的物品相似的物品。用例说明:
![](https://ss.csdn.net/p?http://mmbiz.qpic.cn/mmbiz_png/lGlvoKHnRUJLWIIqR76yRH7a8dpBBDBtc8Bnh72Xic29MB1dPTsrDEr0K34Y1ibhKE37s13htiadgn2mibT4MAUuzw/0?wx_fmt=gif)
算法实现及使用介绍,请参考文章:Mahout推荐算法API详解注:基于物品的协同过滤算法,是目前商用最广泛的推荐算法。协同过滤算法实现,分为2个步骤1. 计算物品之间的相似度2. 根据物品的相似度和用户的历史行为给用户生成推荐列表有关协同过滤的另一篇文章,请参考:RHadoop实践系列之三 R实现MapReduce的协同过滤算法2. 需求分析:推荐系统指标设计下面我们将从一个公司案例出发来全面的解释,如何进行推荐系统指标设计。案例介绍Netflix电影推荐百万奖金比赛,http://www.netflixprize.com/Netflix官方网站:www.netflix.comNetflix,2006年组织比赛是的时候,是一家以在线电影租赁为生的公司。他们根据网友对电影的打分来判断用户有可能喜欢什么电影,并结合会员看过的电影以及口味偏好设置做出判断,混搭出各种电影风格的需求。收集会员的一些信息,为他们指定个性化的电影推荐后,有许多冷门电影竟然进入了候租榜单。从公司的电影资源成本方面考量,热门电影的成本一般较高,如果Netflix公司能够在电影租赁中增加冷门电影的比例,自然能够提升自身盈利能力。Netflix公司曾宣称60%左右的会员根据推荐名单定制租赁顺序,如果推荐系统不能准确地猜测会员喜欢的电影类型,容易造成多次租借冷门电影而并不符合个人口味的会员流失。为了更高效地为会员推荐电影,Netflix一直致力于不断改进和完善个性化推荐服务,在2006年推出百万美元大奖,无论是谁能最好地优化Netflix推荐算法就可获奖励100万美元。到2009年,奖金被一个7人开发小组夺得,Netflix随后又立即推出第二个百万美金悬赏。这充分说明一套好的推荐算法系统是多么重要,同时又是多么困难。
![](https://ss.csdn.net/p?http://mmbiz.qpic.cn/mmbiz_jpg/lGlvoKHnRUJLWIIqR76yRH7a8dpBBDBtj6wtTTg2wJPPnW9rmaibe5hJYHLfA5whFiaaAWU9LRg1evDNX5FvnbeQ/0?wx_fmt=jpeg)
上图为比赛的各支队伍的排名!补充说明:1. Netflix的比赛是基于静态数据的,就是给定“训练级”,匹配“结果集”,“结果集”也是提前就做好的,所以这与我们每天运营的系统,其实是不一样的。2. Netflix用于比赛的数据集是小量的,整个全集才666MB,而实际的推荐系统都要基于大量历史数据的,动不动就会上GB,TB等所以,我们在真实的环境中设计推荐的时候,要全面考量数据量,算法性能,结果准确度等的指标。推荐算法选型:基于物品的协同过滤算法ItemCF,并行实现数据量:基于Hadoop架构,支持GB,TB,PB级数据量算法检验:可以通过 准确率,召回率,覆盖率,流行度 等指标评判。结果解读:通过ItemCF的定义,合理给出结果解释
推荐算法分类:按数据使用划分:协同过滤算法:UserCF, ItemCF, ModelCF基于内容的推荐: 用户内容属性和物品内容属性社会化过滤:基于用户的社会网络关系按模型划分:最近邻模型:基于距离的协同过滤算法Latent Factor Mode(SVD):基于矩阵分解的模型Graph:图模型,社会网络图模型基于用户的协同过滤算法UserCF基于用户的协同过滤,通过不同用户对物品的评分来评测用户之间的相似性,基于用户之间的相似性做出推荐。简单来讲就是:给用户推荐和他兴趣相似的其他用户喜欢的物品。用例说明:
算法实现及使用介绍,请参考文章:Mahout推荐算法API详解基于物品的协同过滤算法ItemCF基于item的协同过滤,通过用户对不同item的评分来评测item之间的相似性,基于item之间的相似性做出推荐。简单来讲就是:给用户推荐和他之前喜欢的物品相似的物品。用例说明:
算法实现及使用介绍,请参考文章:Mahout推荐算法API详解注:基于物品的协同过滤算法,是目前商用最广泛的推荐算法。协同过滤算法实现,分为2个步骤1. 计算物品之间的相似度2. 根据物品的相似度和用户的历史行为给用户生成推荐列表有关协同过滤的另一篇文章,请参考:RHadoop实践系列之三 R实现MapReduce的协同过滤算法2. 需求分析:推荐系统指标设计下面我们将从一个公司案例出发来全面的解释,如何进行推荐系统指标设计。案例介绍Netflix电影推荐百万奖金比赛,http://www.netflixprize.com/Netflix官方网站:www.netflix.comNetflix,2006年组织比赛是的时候,是一家以在线电影租赁为生的公司。他们根据网友对电影的打分来判断用户有可能喜欢什么电影,并结合会员看过的电影以及口味偏好设置做出判断,混搭出各种电影风格的需求。收集会员的一些信息,为他们指定个性化的电影推荐后,有许多冷门电影竟然进入了候租榜单。从公司的电影资源成本方面考量,热门电影的成本一般较高,如果Netflix公司能够在电影租赁中增加冷门电影的比例,自然能够提升自身盈利能力。Netflix公司曾宣称60%左右的会员根据推荐名单定制租赁顺序,如果推荐系统不能准确地猜测会员喜欢的电影类型,容易造成多次租借冷门电影而并不符合个人口味的会员流失。为了更高效地为会员推荐电影,Netflix一直致力于不断改进和完善个性化推荐服务,在2006年推出百万美元大奖,无论是谁能最好地优化Netflix推荐算法就可获奖励100万美元。到2009年,奖金被一个7人开发小组夺得,Netflix随后又立即推出第二个百万美金悬赏。这充分说明一套好的推荐算法系统是多么重要,同时又是多么困难。
上图为比赛的各支队伍的排名!补充说明:1. Netflix的比赛是基于静态数据的,就是给定“训练级”,匹配“结果集”,“结果集”也是提前就做好的,所以这与我们每天运营的系统,其实是不一样的。2. Netflix用于比赛的数据集是小量的,整个全集才666MB,而实际的推荐系统都要基于大量历史数据的,动不动就会上GB,TB等所以,我们在真实的环境中设计推荐的时候,要全面考量数据量,算法性能,结果准确度等的指标。推荐算法选型:基于物品的协同过滤算法ItemCF,并行实现数据量:基于Hadoop架构,支持GB,TB,PB级数据量算法检验:可以通过 准确率,召回率,覆盖率,流行度 等指标评判。结果解读:通过ItemCF的定义,合理给出结果解释
相关文章推荐
- 各大平台的推荐系统原来是靠他来完成的,太牛了
- 推荐一个不错的在线Linux学习平台(免安装系统)
- 基于Spark MLlib平台的协同过滤算法---电影推荐系统
- 推荐三款nagios客户端,覆盖所有系统平台
- 【毕业生推荐系统】(3) 实现效果-完成80%
- 基于Spark MLlib平台的协同过滤算法---电影推荐系统
- AgileEAS.NET敏捷开发平台案例-药店系统-项目说明 推荐
- AgileEAS.NET平台开发案例-药店系统-需求分析 推荐
- 基于Spark平台的电影推荐系统实现
- 推荐一个不错的在线Linux学习平台(免安装系统)
- 电商平台需要怎样的推荐系统?
- 日志分析系统和推荐平台的模块组成以及对应的开源技术简介
- 推荐一个不错的在线Linux学习平台(免安装系统)
- SNF快速开发平台MVC-审核流,审核完成后会给下一个审核人发邮件,下一个审核人可以不登录系统,在邮件里进行审核处理
- 【167期推荐】医疗信息系统集成平台能否替代HIS系统?
- 基于Spark MLlib平台的协同过滤算法---电影推荐系统
- 面向业务的系统监控平台产品推荐
- 用华硕服务器搭配FreeNAS构建企业存储系统——华硕服务器IT硬件平台搭建大赛获奖方案 推荐
- 推荐一个不错的在线Linux学习平台(免安装系统)