python Elasticsearch 遍历相关数据
来源:互联网 发布:@徐老师淘宝店号是多少 编辑:程序博客网 时间:2024/06/16 21:44
一开始用的是这个
但是拉取的总是同一个分片的数据,尝试用response来替换scrollid,但是没效果,最终弃用,如果有熟悉的好人,希望可以指点一下。
需要增加后面的perserver的关键词,不然会报错
res = es.search( index='xxxxx*/', #_source=['localtime', 'request'], body=actor_count_json, search_type="query_then_fetch", scroll="1m" ) scrollId = res["_scroll_id"] page_size = res['hits']['total'] for item in xrange(10): response = es.scroll(scroll_id=scrollId, scroll="1s", ) scrollId = response["_scroll_id"] print scrollId for doc in res["hits"]["hits"]: pass#print doc["_source"]["online_time"]
但是拉取的总是同一个分片的数据,尝试用response来替换scrollid,但是没效果,最终弃用,如果有熟悉的好人,希望可以指点一下。
最终用的是
ret = helpers.scan(es, query=query, index=index,preserve_order=True)
需要增加后面的perserver的关键词,不然会报错
阅读全文
0 0
- python Elasticsearch 遍历相关数据
- elasticsearch遍历出全部数据
- python连接elasticsearch获取数据
- Elasticsearch使用Scroll-Scan实现数据遍历
- python批量导入数据进Elasticsearch
- 使用Python往Elasticsearch插入数据
- python 抓取数据相关
- 使用scroll实现Elasticsearch数据遍历和深度分页
- python之路-数据相关
- Python数据分析相关资料
- Python数据分析相关库
- 使用python,批量导入数据到elasticsearch中
- 使用python操作elasticsearch实现监控数据及kibana分析
- Python编写Oracle和Elasticsearch数据同步脚本
- elasticsearch 重建索引 使用python迁移索引数据 reindex
- 利用elasticsearch的python模型进行日志数据分析
- 自制搜索(elasticsearch安装,mongo-connector同步数据,python操作)
- 用python简单实现mysql数据同步到ElasticSearch
- 产品经理之产品定位
- *.flo to flow_x and flow_y
- MIT18.06线性代数课程笔记14:正交子空间、A^TA的Null Space
- 临界区算法:Peterson算法与Dekker算法
- Microsoft Visual Studio 2013
- python Elasticsearch 遍历相关数据
- Linux下mysql用sqlyog连接报1042 can not get hostname for your address的问题
- core audio 音频捕获
- C语言链接数据库
- angular解决手机浏览器不兼容问题
- 题目104:最大和
- 数组去重的方法总结
- Microsoft Word 2010
- bzoj1507: [NOI2003]Editor