ELK 4.5——加入机器学习

如果你也是 Elaticsearch 的粉丝，或者机器学习的爱好者，你肯定不会错过这个东西。5 月份 Elaticsearch 推出了新版本 5.4，准确地说是 Elastic Stack 全家桶都更新为 5.4 了，在 X-pack 中的 beta 特性中，加入了 Machine Learning 这个特性，同时也会在 Kibana 中有所体现。

据官方博客报导，他们讲 Prelert Machine Learning 的技术应用到了 Elastic Stack 中，Prelert 是 Elastic 公司去年 9 月份收购的行为分析技术提供商，意图是帮助客户解决网络安全、欺诈检测、IT 运营分析等场景问题。Prelert 和 Elastic 产品的高度契合，最终成就了这个看起来很炫酷的工具。

报导还称，“目前，X-Pack Machine Learning 功能的着眼点是，利用无监督式机器学习，提供 “时间序列异常检测” 功能。以后将计划增加更多 Machine Learning 功能，但是我们目前只专注于为用户存储的时间序列数据（例如日志文件、应用程序和性能指标、网络流量或 Elasticsearch 中的财务/交易数据）提供附加值。” 这就是说，大家可能比较期待的有监督学习或者什么深度学习并没有集成进来，而更多的还是 Elasticsearch 更擅长的时间序列分析。

下面将介绍三种不同的使用用例：

1. 自动提醒关键绩效指标值的异常变化
2. 自动追踪数以千计的指标
3. 高级作业

用例1：自动提醒关键绩效指标值的异常变化

Machine Learning 功能的首个切入点是单一指标作业，如何识别单变量时间序列数据中存在的异常。如果您发现的异常是有意义的，您就可以连续地实时运行这项分析，并在发生异常时发出警报。产品后台包含大量复杂的无监督式机器学习算法和统计模型，因此我们对于任意信号具有鲁棒性，并且能够准确反映。该功能可以在 Elasticsearch 集群中像原生程序一样运行，功能实现进行了优化，几秒钟即可分析数以百万计的事件。

用例2：自动追踪数以千计的指标

Machine Learning 产品可以扩展到数十万指标和日志文件，那么下一步就是要同时分析多个指标。假设我要处理来自一大组应用程序服务的响应时间，我可以直接分析各个服务一段时间以来的响应时间，分别确认各个行为异常的服务，同时展示整体的系统异常情况。

用例3：高级作业

如果您想找出与整体相比行为异常的用户、异常的 DNS 流量，或者伦敦街头的拥堵路段，这时您就可以利用高级作业，灵活地分析 Elasticsearch 中存储的任何时间序列数据。

Elastic Stack 整合

安装 X-Pack 之后，就可以使用 Machine Learning 功能实时分析 Elasticsearch 中的时间序列数据。 Machine Learning 作业与索引和分片基本类似，能够跨 Elasticsearch 集群自动分布和管理。