中小企业的大数据技术路线选择(二)-Cassandra+Presto方案
来源:互联网 发布:香港华艺 知乎 编辑:程序博客网 时间:2024/05/20 07:38
中小企业的大数据技术路线选择(二)-Cassandra+Presto方案
我前面曾经写过:中小企业的大数据技术路线选择 和 低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI 。
最近用了两个月的时间终于把Cassandra+Presto+SpagoBI方案验证通过了。验证了Presto的JDBC Driver 、Prestogres网关、SHIB三种方式。
一、Presto JDBC驱动方案
Presto JDBC驱动方案,Java动用客户端,如dbeaver可以使用Presto JDBC驱动访问,执行SQL语句。这其中要注意的问题是:需要添加“user.timezone=Shanghai/ASIA”参数。
在自己写程序调用Presto JDBC驱动时,需要注意现在的版本已经是独立版本,不再需要调用引用Jar包。此外,也需要设置“user.timezone=Shanghai/ASIA”.。我在这个问题纠结了很久。
此外,需注意SpagoBI无法使用Presto JDBC驱动程序,只能使用Prestogres网关方案。
二、Prestogres网关方案
使用Prestogres网关方案时,需注意protocolVersion=2。这一步,我也是摸索了很久才找到连接一直无法测试成功的原因。SpagoBI测试成功后,PostgreSQL客户端也可以访问Presto了。
三、SHIB方案
SHIB方案安装配置简单,很容易成功。但使用SHIB后,发现界面粗糙,功能太简单,难以在实际生产中使用。
四、总结
以上几种方案中,Prestogres网关方案,可以使用PostgreSQL 客户端和JDBC驱动,支持SpagoBI等BI工具。但这种方式架构复杂,可能有性能瓶颈,无法发挥该方案的优势。SHIB现在代码量较小,在Team中有报表开发经验的成员即可上手。如果时间和人力允许,开发一个轻量级的Bigdata BI也是可能的。我更推荐使用SHIB+定制开发的模式。
我已经在准备在实际项目中使用,希望有兴趣的朋友可以一起研究下。
- 中小企业的大数据技术路线选择(二)-Cassandra+Presto方案
- 中小企业的大数据技术路线选择
- 低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI
- 低调奢华有内涵的敏捷式大数据方案:Cassandra+Presto(结合SpagoBI+Flume)
- 融合了大数据、搜索引擎及SQL的敏捷大数据方案bigdata 3.0:Presto+Elasticsearch
- 大数据系统发展的技术路线
- 大数据存储技术路线
- 大数据技术学习路线
- 大数据技术学习路线
- Facebook大数据技术架构的演进路线
- 三种最典型的大数据存储技术路线
- 三种最典型的大数据存储技术路线
- 大数据技术学习路线指南
- Presto Facebook 开源的大数据查询引擎
- 中小企业如何选择DDoS防御方案?
- 大数据技术平台的分类与选择指南
- 大数据下的中小企业借势之道
- 数据保护的选择方案
- linux 串口console注册
- 经典SQL语句大全
- 让 height:100%; 起作用
- orcal语法
- 互联网的女性主义思维
- 中小企业的大数据技术路线选择(二)-Cassandra+Presto方案
- poj 3349 && 南阳oj 130 Snowflake Snow Snowflakes(相同的雪花)
- 推荐十五款APP原型设计工具
- Ubuntu 配置NFS
- spring 结合redis的例子
- 如何使用adb命令查看android中的数据库
- Web自启一个线程
- Intel modem 监听modem状态变化的分析
- 杭电acm分类