在streaming process中为什么需要类似sql查询语言
来源:互联网 发布:阿里妈妈淘宝联盟客服 编辑:程序博客网 时间:2024/06/10 13:01
从现有的CEP(Complex Event Processing)框架,像强大得Esper,我们学到很多工作完全可以通过写sql来完成的,不需要编写任何的代码。所以对于流处理我认为也需要这样的类似sql查询语言。目前像Storm这样的流处理平台框架强迫使用者去实现像silding window,一些query pattern的操作。我认为并不是每一个案例开发者都喜欢重写这些东西。
所以我们需要high level的抽象,我可以完全把一些算法封装好,直接拼装调用即可,或者直接支持sql语法。我们可以从Hive for Hadoop,Spark SQL,apache Flink中学习到很多。
下面列举一下为什么需要类似sql查询语言的原因:
1. 实时分析很复杂,业务开发人员很不情愿去实现一些像sliding window,或者时间事件模式的算法;
2. SQL简单,很容易理解和学习,开发成本低;
3. SQL语言简短通用,而且快
4. SQL自身的核心语法可以解决90%的问题
5. 历年来BI专家倾向的语言
6. 实时分析可以更好的优化SQL语言模型的执行计划,大部分的优化操作已经在研究,有些已经研究出来了可以直接拿过来用。
Why We need SQL like Query Language for Realtime Streaming Analytics?
1 0
- 在streaming process中为什么需要类似sql查询语言
- 为什么在sql查询中需要使用xxx is null而不能使用xxx=null详解
- 为什么在sql查询中需要使用xxx is null而不能使用xxx=null 详解
- 为什么在sql查询中需要使用xxx is null而不能使用xxx=null详解
- RPG中实现类似SQL等值查询和模糊查询
- 为什么在C++中需要虚函数
- 在DataSet实现类似sql语句的查询
- 在DataSet实现类似sql语句的查询
- 在oracle数据库中需要查询出前8条记录的sql语句怎么写
- 在SQL Server中为什么不建议使用Not In子查询
- 在SQL Server中为什么不建议使用Not In子查询
- matlab中使用sql语言查询过程中如何在select语句中使用变量
- java语言中为什么需要集合框架这种技术?
- 在SQL中如何实现类似C#的switch语句
- 在DLL编程中,导出函数为什么需要extern "C"
- 为什么需要在应用程序中增加渠道信息?
- 在hadoop2实际生产环境中,为什么还需要SecondeNamenode
- 在DLL编程中,导出函数为什么需要extern "C"
- java annotation
- 自己第一个PCB板(51最小系统)总结
- WordPress中添加自定义参数(setting API)
- DiskLruCache
- a different object with the same identifier value was already associated with the session:
- 在streaming process中为什么需要类似sql查询语言
- HttpServletRequest 各种方法总结
- java实现rabbitmq消息的发送接受
- 手写的qsort快速排序
- 广东省赛B题 Base64
- 第三章第40题 Sn=1+1/1!+1/2!+···+1/n!
- 七大排序算法的研究与总结
- Python使用QRCode模块生成二维码
- MFC学习(一)——ADO数据库编程