新浪微博数据挖掘食谱之八： 查询篇 (查询最流行的微博元素)

#!/usr/bin/python
# -*- coding: utf-8 -*-

'''
Created on 2015-1-4
@author: beyondzhou
@name: find_popular_entities.py
'''

# Extract entities of sina weibo
def find_popular_entities():

# import
from login import weibo_login
from statuses import get_common_weibo_entities
from prettytable import PrettyTable

# Access to sina api
weibo_api = weibo_login()

# Get public timeline
statuses = weibo_api.statuses.public_timeline.get()['statuses']

# Output the public timeline
# print json.dumps(statuses, indent=1)

# Get common weibo entities
common_entities = get_common_weibo_entities(statuses, entity_threshold=1)

# Output the first 100 record
pt = PrettyTable(field_names=['Count', 'Entity'])
[pt.add_row(kv) for kv in sorted(common_entities, reverse=True)[:100]]
pt.max_width['Entity'] = 1000
pt.align['Count'], pt.align['Entity'] = 'l', 'l'
print pt

if __name__ == '__main__':
find_popular_entities()

# Get common weibo entities
def get_common_weibo_entities(statuses, entity_threshold=0):

from collections import Counter

# Create a flat list  of all weibo entities
weibo_entities = [  e
for status in statuses
for entity_type in extract_weibo_entities([status])
for e in entity_type
]

c = Counter(weibo_entities).most_common()

# Compute frequencies (counter before entities!)
return [(v,k)
for (k,v) in c
if v >= entity_threshold
]

callback_url: https://api.weibo.com/oauth2/authorize?redirect_uri=http%3A//apps.weibo.com/guaguastd&response_type=code&client_id=2925245021 return_redirect_uri: http://weibo.com/login.php?url=http%3A%2F%2Fapps.weibo.com%2Fguaguastd%3Fcode%3De9e21c4065777549b99f240a935fc712 code: ['e9e21c4065777549b99f240a935fc712']
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Count | Entity                                                                                                                                                                                                                                                            |
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 40    | 0                                                                                                                                                                                                                                                                 |
| 4     | 让你从此潮起来！[酷]最近身边的姐妹们都特别潮，死磨硬泡才知道[可怜]原来大家都在工厂店买的，价格实惠，而且品质特别好，我也给大家分享一下[互粉][威武]xin：3104359614不要感谢我，请叫我雷锋[偷笑]                                                                     |
| 2     | 让我爱你可以，但请给我一个爱你的理由。                                                                                                                                                                                                                            |
| 2     | 让你从此潮起来！[酷]最近身边的朋友们都特别潮，死磨硬泡才知道[可怜]原来大家都在工厂店买的，价格实惠，而且品质特别好，我也给大家分享一下[互粉][威武]xin：VIP999_9不要感谢我，请叫我雷锋[偷笑]                                                                       |
| 2     | 没有人是擅长做一切事情，你也是不会例外。因此，正如你对于新员工做的那样，你应该首先评′估自己最有可能成功的地方（你的优势）以及你最有可能需要别人帮助的地方在哪里（你的短处）。                                                                                     |
| 2     | 时间就是答案，它证明了一切，也忘记了一切。                                                                                                                                                                                                                        |
| 2     | 新年穿新鞋啦！！潮人看过来[加油啊]实力老口碑上家，倾诚巨献[给力]玩装潮鞋在脚下[偷乐][喵喵]正品授权，更有百余款颜色供您选择，还有明星同款等你来[心]让你坐在家里逛专柜，省钱穿大牌[互粉][威武]xin：VIP999_9                                                         |
| 2     | 夏天来了，为什么我却是个胖子。。。。胖妞玩♂水上冲浪，结果杯具了                                                                                                                                                                                                   |
| 2     | 同事们都说我最近穿的鞋好潮好时尚呢[偷笑]我才不会告诉他们，我是在一个工厂店买的呢，价格不贵不说，东西质量特别好，款式也多，还会不间断推出新款，简直就是赤裸裸的馅儿饼啊！[心][互粉][威武]xin：VIP999_9                                                             |
| 2     | 【育儿常识】想帮助宝ˋ宝在黄金生长期茁壮成长，可以准备四类食物：1、奶类：含有钙质、维生素Ｄ、蛋白质2、蔬果：含维生素Ａ及C、纤维素3、五谷类：含有碳水化台物，维生素B14、肉类、蛋类、豆类：含有蛋白质、铁质。                                                        |
| 2     | 【番茄奶油虾意面】锅内水烧开，加入1小勺盐，几滴食用油，倒入意面搅拌一下，煮熟捞出↑，过冷水沥干；鲜虾去须洗净，热锅冷油滑炒至断生盛出；锅内留底油，加入2勺番茄酱炒匀，点适量盐，放入一片三明治奶酪，煮至酱汁起稠时，倒入意面和鲜虾炒至均匀裹上蕃茄酱汁；装盘即可。 |
| 1     | 高6瓜仔                                                                                                                                                                                                                                                           |
| 1     | 荷兰瓜中含有丰富的维生素E,可起到延年益寿，抗衰老的作用；荷兰瓜中的黄瓜酶，有很强的生物活性，能有效地促进机体的新陈代谢。用荷兰瓜捣汁涂擦皮肤，有润肤，舒·展皱纹功效。                                                                                             |
| 1     | 用户5318294148                                                                                                                                                                                                                                                    |
| 1     | 玉兰花比萍果漂亮多了//【华为2014年销售收入约460亿美元】  http://http://t.cn/RZ5P2yv                                                                                                                                                                               |
| 1     | 玉兰花比萍果漂亮多了//【华为2014年销售收入约460亿美元】                                                                                                                                                                                                           |
| 1     | 热爱不妥协#大学毕业、坐等上班报到的同学们:你们是不是已经开始幻想成为职业人、摩拳擦掌跃跃欲试、准备大展拳脚改变世界呢？有些工作，其实和你想的不太一样，请做好心理准备……                                                                                            |
| 1     | 灵缇xiao信球                                                                                                                                                                                                                                                      |
| 1     | 时尚护肤师-小宏                                                                                                                                                                                                                                                   |
| 1     | 我参与了@人气攀升榜 发起的投票【2014【人气攀升榜】TOP50（1/5)】，我投给了“@胡夏 《同桌的你》”这个选项。你也快来表态吧：http://t.cn/RZ5qc90                                                                                                                        |
| 1     | 我参与了@人气攀升榜                                                                                                                                                                                                                                               |
| 1     | 愛上芝dG士的怪咖                                                                                                                                                                                                                                                  |
| 1     | 微笑vvvvae                                                                                                                                                                                                                                                        |
| 1     | 开溜摄影O滨印象                                                                                                                                                                                                                                                   |
| 1     | 巩义无名人                                                                                                                                                                                                                                                        |
| 1     | 小鸟爱天空灬wahev                                                                                                                                                                                                                                                 |
| 1     | 大叔你贼帅                                                                                                                                                                                                                                                        |
| 1     | 哇~原来桌面竟然可以酷炫的如此与众不同！还有更多个性化主题尽在魔秀哦，小伙伴们都快来领走自己的专属桌面吧@魔秀桌面 http://t.cn/RzHAe40                                                                                                                              |
| 1     | 哇~原来桌面竟然可以酷炫的如此与众不同！还有更多个性化主题尽在魔秀哦，小伙伴们都快来领走自己的专属桌面吧@魔秀桌面                                                                                                                                                  |
| 1     | 发起的投票【2014【人气攀升榜】TOP50（1/5)】，我投给了“@胡夏                                                                                                                                                                                                       |
| 1     | 再跟一年                                                                                                                                                                                                                                                          |
| 1     | 俩俩1003623241                                                                                                                                                                                                                                                    |
| 1     | 便、快捷、安全地使用电子凭证进行消费。                                                                                                                                                                                                                            |
| 1     | 人，必须经[照相机]历许多坎坷才能到达所去的目的地。心，必须经历许多伤害才能让自己坚强起来。                                                                                                                                                                        |
| 1     | 人，必须经[照相机]历许多坎坷才能到达所去的目的地。心，必须经历许多伤害才能让自己坚强起来。                                                                                                                                                                        |
| 1     | 专家称确实如此】葡萄酒专家梁竟志表示，自酿葡萄酒不仅会产生微量的甲醇，更因家庭自酿葡萄酒不能添加二氧化硫进行杀菌，会导致自酿葡萄酒产生细菌，长期喝会对人体有危害。所以，家庭自酿葡萄酒是不科学的酿酒方式。                                                        |
| 1     | 【蒜香荷兰瓜】做法：炒。口味：蒜香味。菜品特色： 荷兰瓜中含有丰富的维生素E,可起到延年益寿，抗衰老的作用；荷兰瓜中的黄瓜酶，有很强的生物活性，能有效地促进机体的新陈代谢。用荷兰瓜捣汁涂擦皮肤，有润肤，舒·展皱纹功效。                                            |
| 1     | 【蒜香荷兰瓜】做法：炒。口味：蒜香味。菜品特色：                                                                                                                                                                                                                  |
| 1     | 【电子凭证】商户使用扫描打印设备对消费ì者的电子凭证进行扫描、识别，实现电子凭证的消费和应用。通过手机本身的摄像头功能和联网功能，让消费者能方 便、快捷、安全地使用电子凭证进行消费。                                                                              |
| 1     | 【电子凭证】商户使用扫描打印设备对消费ì者的电子凭证进行扫描、识别，实现电子凭证的消费和应用。通过手机本身的摄像头功能和联网功能，让消费者能方                                                                                                                     |
| 1     | 【传自酿葡萄酒含甲醇对身体有害 专家称确实如此】葡萄酒专家梁竟志表示，自酿葡萄酒不仅会产生微量的甲醇，更因家庭自酿葡萄酒不能添加二氧化硫进行杀菌，会导致自酿葡萄酒产生细菌，长期喝会对人体有危害。所以，家庭自酿葡萄酒是不科学的酿酒方式。                         |
| 1     | 【传自酿葡萄酒含甲醇对身体有害                                                                                                                                                                                                                                    |
| 1     | 《秦时明月》破秦兵百万，做秦时霸王！ http://t.cn/Rv7vsvT                                                                                                                                                                                                          |
| 1     | 《秦时明月》破秦兵百万，做秦时霸王！                                                                                                                                                                                                                              |
| 1     | 《同桌的你》”这个选项。你也快来表态吧：http://t.cn/RZ5qc90                                                                                                                                                                                                        |
| 1     | milklalal                                                                                                                                                                                                                                                         |
| 1     | louderc                                                                                                                                                                                                                                                           |
| 1     | kai爷karry王                                                                                                                                                                                                                                                      |
| 1     | http://t.cn/RzHAe40                                                                                                                                                                                                                                               |
| 1     | http://t.cn/Rv7vsvT                                                                                                                                                                                                                                               |
| 1     | http://http://t.cn/RZ5P2yv                                                                                                                                                                                                                                        |
| 1     | M丿江                                                                                                                                                                                                                                                             |
| 1     | Memory痴情丶yakde                                                                                                                                                                                                                                                 |
| 1     | MamlrH                                                                                                                                                                                                                                                            |
| 1     | Angelatao1368                                                                                                                                                                                                                                                     |
| 1     | Aitna旭                                                                                                                                                                                                                                                           |
| 1     | #毕业季 热爱不妥协#大学毕业、坐等上班报到的同学们:你们是不是已经开始幻想成为职业人、摩拳擦掌跃跃欲试、准备大展拳脚改变世界呢？有些工作，其实和你想的不太一样，请做好心理准备……                                                                                    |
| 1     | #毕业季                                                                                                                                                                                                                                                           |
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+