研究spark的源起

来源:互联网 发布:通联数据校招 编辑:程序博客网 时间:2024/04/28 13:49

公司统计的数据越来越多,现在各个系统还是用mysql、oracle来存储分析据的。根据长远考虑,关系型数据的问题总是要来的,我们还得为未来做准备。于是,着手开始用hadoop了.一边开始招人,一边积攒服务器(等着到时候多些节点,哈哈,公司很穷呀!)终于来了个同事,他有两年hadoop的经历,听他说最后的项目没有真正上线,我不免有些纳闷:是啥问题呢,是hadoop不靠谱,还是技术不靠谱呀...。我想,我们只有要多实践才能出真知

经过几个月体验后总结如下:

1.hadoop到底能做什么,一定要非常清楚,绝不可能代替关系型数据库。

2.离线计算和实时计算的目前的技术体系是不一样的

3.hbase也不能像玩关系型数据库那样玩,使用也是有有限制条件的

4.技术人要对统计的业务需求要非常清楚,钻研技术不能忽视业务

5失望和希望总会并存,要学会发现


0 0
原创粉丝点击