历时三个月的反反复复测试,延云YDB版本v1.1.6正式发布

来源:互联网 发布:大话西游2源码 编辑:程序博客网 时间:2024/04/29 03:10

V1.1.6版本在软件功能上的变化较少,更多的改动主要集中在数据准确性、稳定性与持续性上的测试。准确性上我们编写了1000多项用例,几千种测试SQL,进行了数千万次的循环比对。在持续性上我们做了多次300并发,持续20天以上的持续性压测,也解决了不少的BUG以及高并发问题。在稳定性上,我们更是添加了守护进行监控,如果因BUG等导致的关键服务异常,可以由守护进程发现,并自动恢复服务。


本版本release内容如下:
一、修正大量spark内存泄露的BUG,从而提升YDB的稳定性
      修正的内容如下:http://blog.csdn.net/qq_33160722/article/details/54092560
二、优化spark源码,提升spark的响应速度,从而提升YDB的响应速度
      优化点如下:http://blog.csdn.net/qq_33160722/article/details/54693063
三、修改Spark源码,彻底解决由于Spark 的Clean导致的spark不能持续性的进行大并发查询的问题
     解决方法如下:http://blog.csdn.net/qq_33160722/article/details/54893760
四、添加mdrill适配
     默认配置所有的SQL查询均是通过spark SQL进行查询,但是由于SPARK本身的框架很重,每次任务调度都会有200~300毫秒的调度时间,对于简单查询来说,我们可以将简单查询的SQL通过轻量级的mdrill接口进行访问,而不通过SPARK SQL进行调度,从而在调度上节省时间。
     改动后,原先600~800ms的SQL,现在查询时间为60~80ms。
     该功能开启方式,请参考 YDB编程指南第七章的第十一节“通过mdrill提升简单查询的查询速度”。
五、添加守护进程, 监控重要服务,Down掉会自动重启,并记录日志
      driver的jdbc端口,web ui端口,Java进程的 gc 是否长期95%,slave节点是否长期启动不完整。
六、新增block sort排序
      通过block sort排序,可以在秒级内对百亿级别的数据进行排序,对于按照时间的日志检索系统来说,是必备功能。
      具体性能指标与测试演示视频,请参考如下两篇文章
      1.YDB与spark SQL在百亿级数据上的性能对比测试  http://blog.csdn.net/qq_33160722/article/details/54447022
      2.如何只用4台虚拟机搞定500G共300亿条数据的秒级排序 http://blog.csdn.net/qq_33160722/article/details/54834896
七、YDB针对范围查找,我们重写了lucene的查找逻辑,从而提升范围查找的性能
       详细描述,请参考如下地址 http://blog.csdn.net/qq_33160722/article/details/54782969
八、大幅提升YDB易用性
     通过/*ydb.pushdown('->')*/与/*('<-')pushdown.ydb*/ 改进了之前YDB查询需要写数组下标的情况,大幅简化SQL拼写的难度
九、迄今为止,YDB最完善的文档,《YDB编程指南》正式发布
      腾讯微云下载:http://url.cn/42R4CG8
      github下载:https://github.com/ycloudnet/ydb
十、与AMBARI无缝集成
     YDB可以内嵌到AMBARI里面进行图形化页面的部署与维护
十一、其他小功能
        近似文本匹配与近似特征匹配功能的添加
        多值列的支持
       考虑单词顺序的文本匹配功能的添加
        物理删除接口的SQL支持
        基于geohash的地理位置检索的支持
        kafka消费监控添加 消费速度与进度的监控
       添加show tables与show partions 功能
十二,BUG修正
        修正HDFS短暂不可用的情况下的,索引合并的重试BUG
        <=与< 的条件写反了,>=与>的条件写反了
       反复kill发现spark有的时候分配任务有BUG,导致一个已经死掉的execid存在,添加ping功能识别已经死掉的进程。

如何获取1.1.6稳定版本

YDB的1.1.6稳定版包括ydb本身以及YDB提供的spark两部分,可以从腾讯微云下载 http://url.cn/42R4CG8



如何升级到1.1.6版本

      请参考《YDB编程指南》的第九章YDB运维 中的第一节,YDB升级 (180页)


0 0
原创粉丝点击