基于用户投票的排名算法(一):Delicious和Hacker
2015-10-08 16:58
267 查看
作者: 阮一峰
日期: 2012年2月24日
互联网的出现,意味着"信息大爆炸"。
用户担心的,不再是信息太少,而是信息太多。如何从大量信息之中,快速有效地找出最重要的内容,成了互联网的一大核心问题。
各种各样的排名算法,是目前过滤信息的主要手段之一。对信息进行排名,意味着将信息按照重要性依次排列,并且及时进行更新。排列的依据,可以基于信息本身的特征,也可以基于用户的投票,即让用户决定,什么样的信息可以排在第一位。
下面,我将整理和分析一些基于用户投票的排名算法,打算分成六个部分连载,今天是第一篇。
一、Delicious
最直觉、最简单的算法,莫过于按照单位时间内用户的投票数进行排名。得票最多的项目,自然就排在第一位。
旧版的Delicious,有一个"热门书签排行榜",就是这样统计出来的。
它按照"过去60分钟内被收藏的次数"进行排名。每过60分钟,就统计一次。
这个算法的优点是比较简单、容易部署、内容更新相当快;缺点是,一方面,排名变化不够平滑,前一个小时还排名靠前的内容,往往第二个小时就一落千丈,另一方面,缺乏自动淘汰旧项目的机制,某些热门内容可能会长期占据排行榜前列。
二、Hacker News
Hacker News是一个网络社区,可以张贴链接,或者讨论某个主题。
每个帖子前面有一个向上的三角形,如果你觉得这个内容很好,就点击一下,投上一票。根据得票数,系统自动统计出热门文章排行榜。但是,并非得票最多的文章排在第一位,还要考虑时间因素,新文章应该比旧文章更容易得到好的排名。
Hacker News使用Paul Graham开发的Arc语言编写,源码可以从arclanguage.org下载。它的排名算法是这样实现的:
将上面的代码还原为数学公式:
其中,
P表示帖子的得票数,减去1是为了忽略发帖人的投票。
T表示距离发帖的时间(单位为小时),加上2是为了防止最新的帖子导致分母过小(之所以选择2,可能是因为从原始文章出现在其他网站,到转贴至Hacker News,平均需要两个小时)。
G表示"重力因子"(gravityth power),即将帖子排名往下拉的力量,默认值为1.8,后文会详细讨论这个值。
从这个公式来看,决定帖子排名有三个因素:
第一个因素是得票数P。
在其他条件不变的情况下,得票越多,排名越高。
从上图可以看到,有三个同时发表的帖子,得票分别为200票、60票和30票(减1后为199、59和29),分别以黄色、紫色和蓝色表示。在任一个时间点上,都是黄色曲线在最上方,蓝色曲线在最下方。
如果你不想让"高票帖子"与"低票帖子"的差距过大,可以在得票数上加一个小于1的指数,比如(P-1)^0.8。
第二个因素是距离发帖的时间T。
在其他条件不变的情况下,越是新发表的帖子,排名越高。或者说,一个帖子的排名,会随着时间不断下降。
从前一张图可以看到,经过24小时之后,所有帖子的得分基本上都小于1,这意味着它们都将跌到排行榜的末尾,保证了排名前列的都将是较新的内容。
第三个因素是重力因子G。
它的数值大小决定了排名随时间下降的速度。
从上图可以看到,三根曲线的其他参数都一样,G的值分别为1.5、1.8和2.0。G值越大,曲线越陡峭,排名下降得越快,意味着排行榜的更新速度越快。
知道了算法的构成,就可以调整参数的值,以适用你自己的应用程序。
[参考文献]
* How Hacker News ranking algorithm works
* How to Build a Popularity Algorithm
You can be Proud of
(完)
版权声明:自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)
发表日期: 2012年2月24日
更多内容: 档案 » 算法与数学
购买文集: 《如何变得有思想》
社交媒体: twitter, weibo
Feed订阅:
2015.09.01: 理解矩阵乘法
大多数人在高中,或者大学低年级,都上过一门课《线性代数》。这门课其实是教矩阵。
2015.07.27: 蒙特卡罗方法入门
本文通过五个例子,介绍蒙特卡罗方法(Monte Carlo Method)。
2015.06.10: 泊松分布和指数分布:10分钟教程
大学时,我一直觉得统计学很难,还差点挂科。
2013.12.16: 朴素贝叶斯分类器的应用
生活中很多场合需要用到分类,比如新闻分类、病人分类等等。
Alex 说:
后续还会写reddit吧
2012年2月24日 22:44 | ∞ | 引用
evan 说:
简单即美
这么简单的公式放在科研机构里似乎根本“不配”写出论文,但是,简单即美
2012年2月24日 23:13 | ∞ | 引用
Gower 说:
?用chrome打开网页,有警告提示如下。。
警告:此页面包含危险内容!
www.ruanyifeng.com 包含 bamosa.ru 中的内容,后一个网站是已知分发恶意软件的网站。如果您访问该网站,您的计算机可能会中毒。
Google 发现如果您继续操作,您的计算机上可能会安装恶意软件。如果您以前访问过此网站或者您信任此网站,则此网站可能刚刚受到黑客攻击。您不应继续操作,建议您明天重试或者访问其他网站。
2012年2月25日 01:27 | ∞ | 引用
刘永新 说:
支持阮老师,继续学习!
2012年2月25日 08:04 | ∞ | 引用
osirpt 说:
arc? 怎么看怎么像lisp
2012年2月25日 10:06 | ∞ | 引用
阮一峰 说:
@Gower:
我的chrome没有出现警告提示,我检查了一些网页代码,好像也没问题。
我会继续观察的。
2012年2月25日 10:30 | ∞ | 引用
sokoban 说:
“Hacker News使用Paul Graham开发的Arc语言编写,源码可以从arclanguage.org下载。”
这句话前后主语变了,光从句式上容易误解为Hacker News的源码,虽然从域名可以看出应该是Arc语言的源码。
2012年2月25日 10:53 | ∞ | 引用
sokoban 说:
难道我理解错了,但我记得Hacker News不是开源的呀。
2012年2月25日 10:57 | ∞ | 引用
sokoban 说:
arc? 怎么看怎么像lisp
arclanguage.org 网站上说了, arc是lisp的一个方言。
2012年2月25日 10:59 | ∞ | 引用
Magic 说:
很好奇你的这些信息是从哪里来的。
2012年2月25日 11:20 | ∞ | 引用
Brooklyn 说:
很好奇你的这些信息是从哪里来的。
很早以前,国内有人讨论HN还有reddit的算法,这些算法应该是这些网站自己公布的吧,纯粹推测有难度。
2012年2月25日 15:05 | ∞ | 引用
阮一峰 说:
@Gower:
我知道怎么回事了,图床image.beekka.com的.htaccess文件被挂马了。
已经清除了。
2012年2月25日 16:23 | ∞ | 引用
imwaco 说:
重力因子 是反对票吗?
2012年2月25日 16:36 | ∞ | 引用
草榴社区 说:
网站排版看着很舒服
2012年2月25日 18:28 | ∞ | 引用
地瓜哥 说:
这个真是不错!既考虑了时间,又考虑了得票数!顶一!
2012年2月27日 17:34 | ∞ | 引用
IT阅读推荐 说:
学习了,美味书签的算法我之前也考虑过,是一个简单可行的算法;Hacker News的排名算法不知道有没有名字,真是太好了,可以调整。以前也学习过srmeme曾经的一个网站算法,非常不错,国内应该还是缺少这种应用,当然,在国内这种环境必须要严防作弊。
2012年2月28日 17:17 | ∞ | 引用
Nemo 说:
国内有没有一个类似Hacknews的网站呢
2012年3月 1日 16:59 | ∞ | 引用
jennifer.han 说:
关注中~~
2012年3月 2日 15:07 | ∞ | 引用
幽默小笑话 说:
我觉得应该做好信息的分类工作
2012年3月 4日 10:29 | ∞ | 引用
李利芬 说:
阮先生,你的文章值得一读,期待后续,支持
2012年3月 4日 11:02 | ∞ | 引用
o8 说:
dwadwa
2012年3月 4日 23:21 | ∞ | 引用
rchlz 说:
o(∩_∩)o 你的文章太简练了,太美了,比那些科研论文有价值多了.
PS:能不能分享下你的学习方式和每一篇文章背后的故事。
2012年3月 4日 23:36 | ∞ | 引用
Jing 说:
最近博主没更新文章呢,有点小担心~~
2012年3月 5日 18:54 | ∞ | 引用
amoblin 说:
看过您好多文章,今天这里问候一声~
2012年3月 6日 10:55 | ∞ | 引用
kindle.io 说:
很早以前,国内有人讨论HN还有reddit的算法,这些算法应该是这些网站自己公布的吧,纯粹推测有难度。
以前有人在HN上问过: http://news.ycombinator.com/item?id=1781013
不过你也可以根据上面的代码中的comments搜索:
https://www.google.com/search?q=Votes+divided+by+the+age+in+hours+to+the+gravityth+power.&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US:official&client=firefox-a
会得到很多结果,比如这篇 http://amix.dk/blog/post/19574 就是阮一峰参考文献之一
2012年3月 6日 23:02 | ∞ | 引用
phplaber 说:
请问,得票数P减1怎样理解呢?
“P表示帖子的得票数,减去1是为了忽略发帖人的投票。”这句话是理解成:系统规定每个新帖票数初值为1,还是假设每个发帖人都会为自己的帖子投上一票,亦或其它理解?
2012年3月16日 09:48 | ∞ | 引用
wxianfeng 说:
Hacker News 的算法 非常不错啊~!
2012年3月20日 22:07 | ∞ | 引用
agui5208 说:
您的这篇文字,让我茅塞顿开!期待更多简洁实用的文章!
2012年9月28日 15:21 | ∞ | 引用
无名小辈 说:
纠错“一、Delicious
最直觉、最简单的算法,莫过于按照单位时间内用户的投票数进行排名。得票最多的项目,自然就排在第一位。” 按语境猜测,应该是“最直接”,楼主笔误了。不是挑刺,纯粹是个人强迫症,见不得好东西有瑕疵。
2013年1月30日 10:25 | ∞ | 引用
橘子 说:
国内有没有一个类似Hacknews的网站呢
Fenng创建了一个:http://news.dbanotes.net/
2013年2月18日 09:10 | ∞ | 引用
Hang 说:
国内有没有一个类似Hacknews的网站呢
试试这个 http://news.icode.hk/
2013年4月29日 21:00 | ∞ | 引用
李作刚 说:
感谢阮老师的总结。
作为一个还算大型的 BBS ,我们采用了 SF 的算法进行 『本土化改良』
2013年7月22日 11:47 | ∞ | 引用
MSC 说:
您好,看了您的文章受益匪浅,可是也产生了一个疑惑,这些算法如何在网站中具体实现,直接用SQL order 似乎不太可能,希望您能指导一下。。。。谢谢。。。
2014年9月 3日 11:18 | ∞ | 引用
日期: 2012年2月24日
互联网的出现,意味着"信息大爆炸"。
用户担心的,不再是信息太少,而是信息太多。如何从大量信息之中,快速有效地找出最重要的内容,成了互联网的一大核心问题。
各种各样的排名算法,是目前过滤信息的主要手段之一。对信息进行排名,意味着将信息按照重要性依次排列,并且及时进行更新。排列的依据,可以基于信息本身的特征,也可以基于用户的投票,即让用户决定,什么样的信息可以排在第一位。
下面,我将整理和分析一些基于用户投票的排名算法,打算分成六个部分连载,今天是第一篇。
一、Delicious
最直觉、最简单的算法,莫过于按照单位时间内用户的投票数进行排名。得票最多的项目,自然就排在第一位。
旧版的Delicious,有一个"热门书签排行榜",就是这样统计出来的。
它按照"过去60分钟内被收藏的次数"进行排名。每过60分钟,就统计一次。
这个算法的优点是比较简单、容易部署、内容更新相当快;缺点是,一方面,排名变化不够平滑,前一个小时还排名靠前的内容,往往第二个小时就一落千丈,另一方面,缺乏自动淘汰旧项目的机制,某些热门内容可能会长期占据排行榜前列。
二、Hacker News
Hacker News是一个网络社区,可以张贴链接,或者讨论某个主题。
每个帖子前面有一个向上的三角形,如果你觉得这个内容很好,就点击一下,投上一票。根据得票数,系统自动统计出热门文章排行榜。但是,并非得票最多的文章排在第一位,还要考虑时间因素,新文章应该比旧文章更容易得到好的排名。
Hacker News使用Paul Graham开发的Arc语言编写,源码可以从arclanguage.org下载。它的排名算法是这样实现的:
将上面的代码还原为数学公式:
其中,
P表示帖子的得票数,减去1是为了忽略发帖人的投票。
T表示距离发帖的时间(单位为小时),加上2是为了防止最新的帖子导致分母过小(之所以选择2,可能是因为从原始文章出现在其他网站,到转贴至Hacker News,平均需要两个小时)。
G表示"重力因子"(gravityth power),即将帖子排名往下拉的力量,默认值为1.8,后文会详细讨论这个值。
从这个公式来看,决定帖子排名有三个因素:
第一个因素是得票数P。
在其他条件不变的情况下,得票越多,排名越高。
从上图可以看到,有三个同时发表的帖子,得票分别为200票、60票和30票(减1后为199、59和29),分别以黄色、紫色和蓝色表示。在任一个时间点上,都是黄色曲线在最上方,蓝色曲线在最下方。
如果你不想让"高票帖子"与"低票帖子"的差距过大,可以在得票数上加一个小于1的指数,比如(P-1)^0.8。
第二个因素是距离发帖的时间T。
在其他条件不变的情况下,越是新发表的帖子,排名越高。或者说,一个帖子的排名,会随着时间不断下降。
从前一张图可以看到,经过24小时之后,所有帖子的得分基本上都小于1,这意味着它们都将跌到排行榜的末尾,保证了排名前列的都将是较新的内容。
第三个因素是重力因子G。
它的数值大小决定了排名随时间下降的速度。
从上图可以看到,三根曲线的其他参数都一样,G的值分别为1.5、1.8和2.0。G值越大,曲线越陡峭,排名下降得越快,意味着排行榜的更新速度越快。
知道了算法的构成,就可以调整参数的值,以适用你自己的应用程序。
[参考文献]
* How Hacker News ranking algorithm works
* How to Build a Popularity Algorithm
You can be Proud of
(完)
文档信息
版权声明:自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)发表日期: 2012年2月24日
更多内容: 档案 » 算法与数学
购买文集: 《如何变得有思想》
社交媒体: twitter, weibo
Feed订阅:
相关文章
2015.09.01: 理解矩阵乘法大多数人在高中,或者大学低年级,都上过一门课《线性代数》。这门课其实是教矩阵。
2015.07.27: 蒙特卡罗方法入门
本文通过五个例子,介绍蒙特卡罗方法(Monte Carlo Method)。
2015.06.10: 泊松分布和指数分布:10分钟教程
大学时,我一直觉得统计学很难,还差点挂科。
2013.12.16: 朴素贝叶斯分类器的应用
生活中很多场合需要用到分类,比如新闻分类、病人分类等等。
留言(33条)
Alex 说:后续还会写reddit吧
2012年2月24日 22:44 | ∞ | 引用
evan 说:
简单即美
这么简单的公式放在科研机构里似乎根本“不配”写出论文,但是,简单即美
2012年2月24日 23:13 | ∞ | 引用
Gower 说:
?用chrome打开网页,有警告提示如下。。
警告:此页面包含危险内容!
www.ruanyifeng.com 包含 bamosa.ru 中的内容,后一个网站是已知分发恶意软件的网站。如果您访问该网站,您的计算机可能会中毒。
Google 发现如果您继续操作,您的计算机上可能会安装恶意软件。如果您以前访问过此网站或者您信任此网站,则此网站可能刚刚受到黑客攻击。您不应继续操作,建议您明天重试或者访问其他网站。
2012年2月25日 01:27 | ∞ | 引用
刘永新 说:
支持阮老师,继续学习!
2012年2月25日 08:04 | ∞ | 引用
osirpt 说:
arc? 怎么看怎么像lisp
2012年2月25日 10:06 | ∞ | 引用
阮一峰 说:
@Gower:
我的chrome没有出现警告提示,我检查了一些网页代码,好像也没问题。
我会继续观察的。
2012年2月25日 10:30 | ∞ | 引用
sokoban 说:
“Hacker News使用Paul Graham开发的Arc语言编写,源码可以从arclanguage.org下载。”
这句话前后主语变了,光从句式上容易误解为Hacker News的源码,虽然从域名可以看出应该是Arc语言的源码。
2012年2月25日 10:53 | ∞ | 引用
sokoban 说:
难道我理解错了,但我记得Hacker News不是开源的呀。
2012年2月25日 10:57 | ∞ | 引用
sokoban 说:
引用osirpt的发言:
arc? 怎么看怎么像lisp
arclanguage.org 网站上说了, arc是lisp的一个方言。
2012年2月25日 10:59 | ∞ | 引用
Magic 说:
很好奇你的这些信息是从哪里来的。
2012年2月25日 11:20 | ∞ | 引用
Brooklyn 说:
引用Magic的发言:
很好奇你的这些信息是从哪里来的。
很早以前,国内有人讨论HN还有reddit的算法,这些算法应该是这些网站自己公布的吧,纯粹推测有难度。
2012年2月25日 15:05 | ∞ | 引用
阮一峰 说:
@Gower:
我知道怎么回事了,图床image.beekka.com的.htaccess文件被挂马了。
已经清除了。
2012年2月25日 16:23 | ∞ | 引用
imwaco 说:
重力因子 是反对票吗?
2012年2月25日 16:36 | ∞ | 引用
草榴社区 说:
网站排版看着很舒服
2012年2月25日 18:28 | ∞ | 引用
地瓜哥 说:
这个真是不错!既考虑了时间,又考虑了得票数!顶一!
2012年2月27日 17:34 | ∞ | 引用
IT阅读推荐 说:
学习了,美味书签的算法我之前也考虑过,是一个简单可行的算法;Hacker News的排名算法不知道有没有名字,真是太好了,可以调整。以前也学习过srmeme曾经的一个网站算法,非常不错,国内应该还是缺少这种应用,当然,在国内这种环境必须要严防作弊。
2012年2月28日 17:17 | ∞ | 引用
Nemo 说:
国内有没有一个类似Hacknews的网站呢
2012年3月 1日 16:59 | ∞ | 引用
jennifer.han 说:
关注中~~
2012年3月 2日 15:07 | ∞ | 引用
幽默小笑话 说:
我觉得应该做好信息的分类工作
2012年3月 4日 10:29 | ∞ | 引用
李利芬 说:
阮先生,你的文章值得一读,期待后续,支持
2012年3月 4日 11:02 | ∞ | 引用
o8 说:
dwadwa
2012年3月 4日 23:21 | ∞ | 引用
rchlz 说:
o(∩_∩)o 你的文章太简练了,太美了,比那些科研论文有价值多了.
PS:能不能分享下你的学习方式和每一篇文章背后的故事。
2012年3月 4日 23:36 | ∞ | 引用
Jing 说:
最近博主没更新文章呢,有点小担心~~
2012年3月 5日 18:54 | ∞ | 引用
amoblin 说:
看过您好多文章,今天这里问候一声~
2012年3月 6日 10:55 | ∞ | 引用
kindle.io 说:
引用Brooklyn的发言:
很早以前,国内有人讨论HN还有reddit的算法,这些算法应该是这些网站自己公布的吧,纯粹推测有难度。
以前有人在HN上问过: http://news.ycombinator.com/item?id=1781013
不过你也可以根据上面的代码中的comments搜索:
https://www.google.com/search?q=Votes+divided+by+the+age+in+hours+to+the+gravityth+power.&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US:official&client=firefox-a
会得到很多结果,比如这篇 http://amix.dk/blog/post/19574 就是阮一峰参考文献之一
2012年3月 6日 23:02 | ∞ | 引用
phplaber 说:
请问,得票数P减1怎样理解呢?
“P表示帖子的得票数,减去1是为了忽略发帖人的投票。”这句话是理解成:系统规定每个新帖票数初值为1,还是假设每个发帖人都会为自己的帖子投上一票,亦或其它理解?
2012年3月16日 09:48 | ∞ | 引用
wxianfeng 说:
Hacker News 的算法 非常不错啊~!
2012年3月20日 22:07 | ∞ | 引用
agui5208 说:
您的这篇文字,让我茅塞顿开!期待更多简洁实用的文章!
2012年9月28日 15:21 | ∞ | 引用
无名小辈 说:
纠错“一、Delicious
最直觉、最简单的算法,莫过于按照单位时间内用户的投票数进行排名。得票最多的项目,自然就排在第一位。” 按语境猜测,应该是“最直接”,楼主笔误了。不是挑刺,纯粹是个人强迫症,见不得好东西有瑕疵。
2013年1月30日 10:25 | ∞ | 引用
橘子 说:
引用Nemo的发言:
国内有没有一个类似Hacknews的网站呢
Fenng创建了一个:http://news.dbanotes.net/
2013年2月18日 09:10 | ∞ | 引用
Hang 说:
引用Nemo的发言:
国内有没有一个类似Hacknews的网站呢
试试这个 http://news.icode.hk/
2013年4月29日 21:00 | ∞ | 引用
李作刚 说:
感谢阮老师的总结。
作为一个还算大型的 BBS ,我们采用了 SF 的算法进行 『本土化改良』
2013年7月22日 11:47 | ∞ | 引用
MSC 说:
您好,看了您的文章受益匪浅,可是也产生了一个疑惑,这些算法如何在网站中具体实现,直接用SQL order 似乎不太可能,希望您能指导一下。。。。谢谢。。。
2014年9月 3日 11:18 | ∞ | 引用
相关文章推荐
- web dynpro message(备忘用)
- Java基础知识强化之IO流笔记25:FileInputStream / FileOutputStream 复制图片案例
- Jupyter增加内核
- Bug分支
- 2014鞍山站 D - Galaxy(数论+贪心)
- Oracle 12.1.0.1 RAC + DG搭建
- 分支管理策略
- Hadoop学习笔记-随手记
- Linux下C语言的本地化/国际化实现
- JAVA中的反射机制
- Linux rc.d路径下文件执行时候把日志输出到log
- nginx: 模块配置指令
- 适配iOS9笔记
- javascript运动功能-分享到
- 一个类实现多个接口的demo
- ZOJ 3197 Google Book
- 关于Timer写在BaseActivity里面 重复new 报错的问题
- mysql event 学习备注
- Linux(9.28-10.4)学习笔记
- [生成树][Uva1395][Slim Span]