elasticSearch 批量添加索引的数量 Star.hou
来源:互联网 发布:微博爬虫java 编辑:程序博客网 时间:2024/06/04 23:15
整个批量请求需要被加载到接受我们请求节点的内存里,所以请求越大,给其它请求可用的内存就越小。有一个最佳的 bulk 请求大小。超过这个大小,性能不再提升而且可能降低。
最佳大小,当然并不是一个固定的数字。它完全取决于你的硬件、你文档的大小和复杂度以及索引和搜索的负载。幸运的是,这个最佳点(sweetspot)还是容易找到的:试着批量索引标准的文档,随着大小的增长,当性能开始降低,说明你每个批次的大小太大了。开始的数量可以在1000~5000个文档之间,如果你的文档非常大,可以使用较小的批次。
通常着眼于你请求批次的物理大小是非常有用的。一千个1kB的文档和一千个1MB的文档大不相同。一个好的批次最好保持在5-15MB大小间。
基于硬件 + 每次批量索引的文档个数 + 每个文档的大小
bulk 请求表单:POST /_bulk{ "delete": { "_index": "website", "_type": "blog", "_id": "123" }} <1>{ "create": { "_index": "website", "_type": "blog", "_id": "123" }}{ "title": "My first blog post" }{ "index": { "_index": "website", "_type": "blog" }}{ "title": "My second blog post" }{ "update": { "_index": "website", "_type": "blog", "_id": "123", "_retry_on_conflict" : 3} }{ "doc" : {"title" : "My updated blog post"} } <2>
阅读全文
0 0
- elasticSearch 批量添加索引的数量 Star.hou
- elasticsearch搜索之范围维度 Star.hou原创
- Redis之主从配置的心跳 Star.hou原创
- ElasticSearch批量更新索引的优化
- elasticsearch bulk 批量加载索引的实例
- 批量添加删除指定数量的用户
- redis队列处理在PHP里的使用 star.Hou的红楼一梦
- 全站翻译分享---Localize平台的使用方式整理--Star.hou
- Redis AOF之重写 Star.hou原创
- Mac 忘记root密码解决方法--Star.hou
- ES批量添加索引
- 分布式搜索elasticsearch java API 之(六)------批量添加删除索引
- 分布式搜索elasticsearch java API 之(六)------批量添加删除索引
- 分布式搜索elasticsearch java API 之(六)------批量添加删除索引
- elasticsearch单个索引添加字段
- Elasticsearch Java API 的使用(3)—添加索引
- spark streaming 批量索引数据到 elasticsearch
- Elasticsearch java api(五) Bulk批量索引
- python中的注释
- 单片机模拟pwm调速或调光
- HTTP 接口设计指北
- Java面试题1:synchronized方法调用
- 触发器的增删改(oracle)
- elasticSearch 批量添加索引的数量 Star.hou
- python 处理json文件
- JAVA 反射学习
- (模拟赛)树集
- 2017中国大学生程序设计竞赛
- 十道海量数据处理面试题及解决方法总结
- 文本分析-词性标注对照表
- ORA-01628:max # extents (32765) reached for rollback segment _SYSSMU613$
- Linux Centos6.8 安装配置JDK1.8