python Elasticsearch 遍历相关数据
2017-11-28 23:12
78 查看
一开始用的是这个
但是拉取的总是同一个分片的数据,尝试用response来替换scrollid,但是没效果,最终弃用,如果有熟悉的好人,希望可以指点一下。
最终用的是
ret = helpers.scan(es, query=query, index=index,preserve_order=True)
需要增加后面的perserver的关键词,不然会报错
res = es.search( index='xxxxx*/', #_source=['localtime', 'request'], body=actor_count_json, search_type="query_then_fetch", scroll="1m" ) scrollId = res["_scroll_id"] page_size = res['hits']['total'] for item in xrange(10): response = es.scroll(scroll_id=scrollId, scroll="1s", ) scrollId = response["_scroll_id"] print scrollId for doc in res["hits"]["hits"]: pass#print doc["_source"]["online_time"]
但是拉取的总是同一个分片的数据,尝试用response来替换scrollid,但是没效果,最终弃用,如果有熟悉的好人,希望可以指点一下。
最终用的是
ret = helpers.scan(es, query=query, index=index,preserve_order=True)
需要增加后面的perserver的关键词,不然会报错
相关文章推荐
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- python数据分析及数据处理相关资料
- Python基本数据类型相关练习题
- 使用Python往Elasticsearch插入数据
- python下用find命令行直接遍历某文件夹下的数据并按顺序写入txt文档中
- Python 打印嵌套list中每个数据(遍历列表)
- 利用Python进行数据分析_python3实现_pandas入门_相关系数与协方差
- 无限遍历,python实现在多维嵌套字典、列表、元组的JSON中获取数据
- Python多维/嵌套字典数据无限遍历
- Python Elasticsearch api,组合过滤器,term过滤器,正则查询 ,match查询,获取最近一小时的数据
- 实践项目十:爬取百度百科Python词条相关1000个页面数据(慕课简单爬虫实战)
- python中for语句简单遍历数据的方法
- Python 实现QC Test Plan 数据遍历
- 使用Java调用ElasticSearch提供的相关API进行数据搜索完整实例演示
- Elasticsearch 全量遍历数据
- 【详解】Python处理大量数据与DICT遍历的优化问题
- Python List数据的遍历
- 使用Java调用ElasticSearch提供的相关API进行数据搜索完整实例演示
- Windows下使用Java调用ElasticSearch提供的相关API进行数据搜索完整实例演示
- Python从阿里云Oss拉数据写入Hive表并进行相关处理