阿里云日志服务发布历史

发布历史

2017/9

新功能

• 支持JDBC协议：通过SQL92标准语法对日志进行查询分析

2017/8

性能优化

• 对底层存储进行深度优化，分析性能提升1000倍，做到真正实时日志分析。参见场景：Nginx访问日志分析，行车轨迹日志分析，销售营业日志统计
• 同样性能，更强计算能力+存储量，成本为自建ELK 10-13%，对比报告

新功能

• 仪表盘（Dashboard)功能：将查询分析另存为实时图表/报警，参见演示视频

Logtail

• Logtail新增本地状态查询功能:实时掌握Agent运行历史与现状

2017/6

新功能

• 日志服务OSS Shipper支持CSV格式投递：使用说明
  • 支持投递CSV格式数据，可以选择额外压缩。
  • 支持丰富的CSV格式选项，如delimiter、quote、escape、header、null等。
  • 存储于OSS的CSV数据可以通过HybridDB、MaxCompute、EMR或开源工具进行消费。

• 消费进度告警功能：使用说明
  • 在云监控中查看日志库（Logstore）下每个消费组（ConsumerGroup）消费点位与最新数据之间时间差，以衡量当前计算的实时性。
  • 支持对Storm、Spark Streaming、Flink等计算系统消费延迟监控与告警。

• Logtail ：
  • 采集目录支持通配符模式（参见文档）：日志采集目录支持通配符模式，便于用户以更细的粒度、更加灵活的方式指定日志采集目录。
  • 格式新增多字符分隔符模式（参见文档）：日志格式新增多字符分割符模式，相对复杂的单字符分隔符日志，配置方式更加简洁、对日志格式要求更低。
  • 上传支持绑定网卡（参见文档）：日志上传增加绑定指定网卡功能，适用于多网卡服务器中业务数据与日志数据分离、日志采集网络QoS控制等场景。

功能优化

优化上下文查询功能体验。

• 日志查询过程中还原任意一条日志精确上下文。
• 提供线程号字段过滤筛选功能。

2017/5 详情

新渠道

• 支持中信云售卖

新功能

• 支持SQL进行日志实时分析：使用例子、查询语法
  • 聚合查询支持自适应展示图表或原始日志。
  • 新增表格，饼图可视化结果展示。

• 完善Go SDK：增加Example、案例以及说明
• Logtail ：新增环境检查工具

限制调整

• 单用户：可创建Project上限调整为30个。
• 单Project：可创建Shard调整为200个。
• 日志保存天数：上限从90天调整为365天。

2017/4 详情

新地域

新增8个Region（完整Region入口列表），向国内用户提供完整基础设施出海，海外用户也可以直接使用阿里云全球节点进行服务

• 增加香港、迪拜、悉尼、法兰克福、东京、新加坡、美西硅谷
• 新增国内张家口节点
• 国际站/国内站均已对外开放

新功能

OSS投递支持Parquet存储（使用方法）

• 控制台直接配置即可生成开源Parquet格式文件，方便与开源社区对接
• Parquet存储对接E-MapReduce/MaxCompute消费方式（使用方法）

2017/3 详情

新功能

支持数值类（Double/Long）索引与查询，使用说明

• 对于日志中延时、位置和精度等数据提供多维度过滤
• 支持与文本类数据进行多维数据查询（最大30维）

计费调整

通过技术大幅优化降低了成本，启用新计费模式（3月20日生效，费用下降10%-85%），与其他方案成本对比：

• 与开源搭建的日志查询方案对比：是Elastic Search（ELK）成本 20%，Hive成本 50%
• 自定义TTL时长，具备100 PB 级长时间存储能力

2017/1

功能优化

• LogShipper新增投递OSS自定义Partition功能，根据计算需求定义存储格式，参考投递OSS章节
• 控制台新增Logtail错误诊断功能：快速诊断日志采集错误与原因，参考logtail采集错误查询
• 简化报警功能：无需通过RAM授权，具体请参考报警设置
• 优化日志查询页面体验：保存每页条数、排序方式、是否换行等参数后会持续生效

计费预告

计费模式即将调整：提供免费额度；索引费用下降（最大84%），参见计费模式预告

2016/12 详情

查询增强

• 性能提升10+倍：十亿级日志多关键词查询秒级返回（非Cache情况）
• 实时性提升（30S->1S)：99.9%场景写入1秒即可查询，最大3秒
• 新增上下文功能（业界首创）：定位关键日志时，提供严格精确上下文内容（无论是Docker、T4、ECS或物理机），参见上下文功能文档
• 新增模糊查询 (支持：*, ?等语法) ，参见查询语法
• 新增多Topic、全Topic查询（空改为查询Logstore下所有Topic）,参见查询语法
• 新增根据时间段分布聚合功能,参见查询语法
• 成本优化：全文索引+键值索引只计算一份流量

存储增强

• 提供生命周期管理（TTL）：
  • 支持动态调整时长
  • LogHub生命周期与LogSearch统一

• 多拷贝技术/机架级容灾：
  • SLA > 99.95%
  • 数据安全性 > 99.99999999%

• 极为低廉成本（针对索引查询场景，参见对比）：
  • ELK（搜索方案）方案10%
  • Hadoop类方案30%

生态支持

• 对查询提供另存为功能，参见快速开始
• 对查询结果进行短信报警: 参见报警设置
• iOS(Swift/OC)/Android SDK升级：全面支持https

计费预告

计费模式即将调整：提供免费额度；索引费用下降（最大84%），参见计费模式预告

2016/09

产品发布

• 9.1 深圳金融云发布

新功能发布

• Windows版Logtail发布：稳定、高性能、行为与Linux版对齐，更多请参考

2016/07

产品发布

• 7.1 上海Region正式启用

新功能发布

• 发布Log4J Appender支持Java开发用户，使用手册
• 发布LogHub Producer Library支持客户端高并发写，使用手册
• 发布IOS/Android 客户端：iOS, Android
• Logtail支持根据IP等自定义字段，Hash映射Logstore Shard，实现保序功能，请工单联系我们开通
• LogHub与TS（表格存储）打通，使用手册

功能优化

• 控制台支持关闭全文索引、按需配置索引，参考步骤

2016/6

产品发布

• 6.12 日志服务正式商用

新功能发布

• 机器组支持设置用户自定义标示UserDefinedID，支持机器组自动扩容
• 与消息服务（MNS）/ CDN两个云产品日志打通，接入参考
• 发布Unity3D SDK，支持游戏开发用户采集日志
• Logtail支持日志转码/过滤功能

功能优化

• 与MaxCompute投递支持自动授权建表
• 控制台支持子账号操作Project

2016/05

新功能发布

• 支持Tracking Pixel方式接入日志：通过页面嵌入HTTP Tracking方式采集用户的访问行为数据，支持H5页面、以及各种移动端等
• logtail支持根据目录名生成Topic：支持Logtail从路径中提取内容作为Topic字段，区分同类型各种日志
• logtail支持JSON格式日志：Json格式输出日志可以直接被采集，无需进行结构化转化
• logtail支持分隔符(Delimiter)格式日志：支持直接解析分隔符标准的日志

2016/03

新功能发布

• oss shipper支持ram pass role检查，要求oss shipper配置者必须对所配置的role有访问权限，从而加强shipper安全。
• logtail支持接入syslog数据。
• loghub支持根据cursor反查数据时间。
• loghub支持拉指定时间窗口的数据。

2016/02

新功能发布

• 提供数据投递OSS功能，帮助用户在OSS做长期数据存储或通过其它系统（如E-MapReduce）消费OSS数据来发掘日志的更大价值
• 数据投递ODPS功能支持用户自定义ODPS表结构导入，实现日志服务到ODPS的字段级别的映射，用户使用ODPS加工数据更方便
• 支持Shard扩容、缩容、删除，Logstore资源具备弹性伸缩能力
• 发布基于新API的SDK，支持查看、重试错误ODPS/OSS投递任务，包含：Java, Python
• 对LogHub消费者提协同消费模式loghub consumer library，解决多个消费者同时消费logstore时自动分配shard、按序消费等问题，使用户只需专注在自己业务逻辑上，而无需关心shard分配、CheckPoint、Failover等事宜。

2016/01

行为变更

数据模型变更

• 数据模型变更，原API格式依然兼容，推荐用户使用新的API。

1. Category

变更为

1. LogStore

• SLS接口文档

离线投递行为变更

• 离线投递行为变更：由投递到ODPS公共表变更为直接导入用户指定表。在此之前，用户已经设定的投递到公共表配置依然在后台兼容，但不可再增加配置，推荐用户使用新的投递方式。
• 在ODPS中查看导入日志

预留写入吞吐容量变更

• 公测阶段，单个Project预留写入吞吐容量由10MB/s变更为1MB/Min。在此之前，用户已经建立的Project预留数值不变，即600MB/Min。

可创建Project数量变更

• 由允许用户创建1个Project，变更为允许用户创建10个Project。

新功能发布

• 发布基于新API的SDK，包含：Java, .NET, PHP, PythonSLS SDK
• 发布日志采集客户端Logtail的Windows版本Windows Logtail
• 支持key-value对的查询SLS 查询语法
• 提供离线投递任务管理页面，用于查询任务状态及失败重试。

2015/12

行为变更

新增LogHub接口

• 新增Shard（分区）概念，用以日志写入与读取消费，参见数据模型
• 新增数据订阅API，参考日志消费API

新功能发布

• 发布基于新API SDK，包含：Java, Python

客户端Logtail安装方式

• 安骑士远程安装功能已关闭，目前只支持自助安装Logtail客户端
• 具体安装方式请参考安装说明

2015/01 详情

新功能发布

• 发布基于新API的SDK，包含：Java, .NET, PHP, PythonSLS SDK
• 发布日志采集客户端Logtail的Windows版本Windows Logtail
• 支持key-value对的查询SLS 查询语法
• 提供离线投递任务管理页面，用于查询任务状态及失败重试。