使用elasticsearch与kibana来分析nginx日志小结
来源:互联网 发布:大数据和股票有哪些 编辑:程序博客网 时间:2024/05/17 06:49
最近由于项目中有很多业务功能需要借助搜索引擎才能实现(比如有业务是按照User_ID分表,但是又需要在部分地方采用entity_id的维度查询,为了避免同一业务数据需要存储两份导致一序列的问题,这样的问题就用搜索引擎来实现),甚至也想把所有涉及到DB使用like的操作用elasticsearch来实现,借此彻底避免人为或者恶意SQL注入风险的存在,刚好团队中有兄弟熟悉elasticsearch,就这么用起来了,也没有去做什么比较啊,选型啊之类,反正gitbub之类都用elasticsearch来搜索代码了,那我们这个业务实现起来应该也没有什么太大问题。我们的搜索原来是直接用Lucene裸奔的方式来实现的,双机部署,各自独立进行数据索引,以Hessian方式对内部其它应用提供搜索服务,elasticsearch就要用起来了,而我对ES却还是所知甚少,这才有了我去实践ES的苦难历程了。
呵呵,讲了半天的前凑曲,下面ES那些事情就要粉墨登场了。 要折腾ES首要的问题就是要有实际的场景,于我就选择了用elasticsearch + kibana来处理nginx的访问日志这么个命题了。nginx的访问日志采用flume-ng来收集到Kafka,再起一个应用接收kafka的日志来建立索引,索引有了就用kibana来进行各种统计图表来展示结果,这个方案有很多想象力,可以做得事情很多。
为了对ES有个初步掌握,我先在一台2Core CPU、6G RAM、500G STAT盘的win7系统上获得初步体验。
场景1: elasticsearch 一个节点,单线程,单条的数据来建立索引
- 使用elasticsearch与kibana来分析nginx日志小结
- flume + elasticSearch + kibana, 分析nginx日志
- 使用ELK(logstash,elasticsearch,kibana)+redis搭建nginx日志分析平台
- Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统
- Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统
- 使用Elasticsearch + Logstash + Kibana搭建日志集中分析平台实践
- LOGSTASH+ELASTICSEARCH+KIBANA处理NGINX访问日志
- 搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(十二) kibana 界面使用简介
- Logstash+ElasticSearch+Kibana日志分析系统
- 大数据日志分析logstash\elasticsearch\kibana
- ELK(elasticsearch+logstash+kibana) 日志分析
- 大数据日志分析logstash\elasticsearch\kibana
- ELK(ElasticSearch, Logstash, Kibana)搭建日志分析平台-Kibana篇
- ELK(ElasticSearch, Logstash, Kibana)搭建日志分析平台-Elasticsearch篇
- Logstash+Redis+Elasticsearch+Kibana 快速搭建Nginx日志查询系统
- 搭建logstash+kibana+elasticsearch+redis 搜集nginx日志信息
- 用Kibana+Logstash+Elasticsearch快速搭建实时日志查询、收集与分析系统
- 基于Elasticsearch+Fluentd+Kibana的日志收集分析系统搭建与应用
- Jetty
- Linux - 动态(Dynamic)与静态(Static)函数库
- 编写一个函数,删除字符串中出现次数最少的字符,若多个字符出现次数一样,则都删除。
- 线段树 hdu1255 覆盖的面积
- hdu 2006 求奇数的乘积
- 使用elasticsearch与kibana来分析nginx日志小结
- C#定时检测子线程是否已经完成
- Android Camera拍照实现
- 基于QT-widget的电子词典实现
- 黑马程序员——Java基础---常用类--Object类,Scanner类,String类,StringBuffer类,StringBuilder类
- C++输入cin应用详解
- grunt(项目实践01)
- String StringBuffer StringBuilder的区别
- Android学习笔记(四十六):JSTL标签函数库