如何学习大数据 以及大数据解决的问题
来源:互联网 发布:java的volatile 编辑:程序博客网 时间:2024/04/30 01:55
1.数据的来源多样性。例如关系数据库+文本+excel等
2.数据量大。TB级别的数据。
3.业务应用领域。实时性高与实时性不高的应用。
学习大数据应该就是要解决上述三个技术问题。
针对第一个问题,就是ETL技术-数据的抽取,清洗,加载。传统数据抽取、清洗、加载是无法做到的。例如一个1TB的数据,需要抽取一些客户的基本信息。上万的文件,多种数据库,每个数据库有很多节点等,这些问题如何解决。第二是时间问题,如果这个ETL过长需要半个月时间,那么就没有意义的。
针对第二个问题,数据如何存储,如何查询。TB级的数据如何存储,如何查询,面对亿级别的数据集合,如何提升查询速度。
针对第三个问题,实时分析系统和非实时分析系统。实时分析系统我们如何解决在海量的数据中,及时根据数据分析模型,得出分析报告。非实时系统我们技术要求可能会低些。
2.数据量大。TB级别的数据。
3.业务应用领域。实时性高与实时性不高的应用。
学习大数据应该就是要解决上述三个技术问题。
针对第一个问题,就是ETL技术-数据的抽取,清洗,加载。传统数据抽取、清洗、加载是无法做到的。例如一个1TB的数据,需要抽取一些客户的基本信息。上万的文件,多种数据库,每个数据库有很多节点等,这些问题如何解决。第二是时间问题,如果这个ETL过长需要半个月时间,那么就没有意义的。
针对第二个问题,数据如何存储,如何查询。TB级的数据如何存储,如何查询,面对亿级别的数据集合,如何提升查询速度。
针对第三个问题,实时分析系统和非实时分析系统。实时分析系统我们如何解决在海量的数据中,及时根据数据分析模型,得出分析报告。非实时系统我们技术要求可能会低些。
0 0
- 如何学习大数据 以及大数据解决的问题
- 如何学习大数据?
- Linux+大数据学习记录之Ping问题的解决
- 解决大数据方面的问题
- 大数据如何解决大问题
- 迈阿密是如何通过大数据解决大难题的?
- 如何学习大数据技术
- 如何学习大数据技术?
- 如何高效学习大数据?
- 大数据开发如何规避细节问题,换一个角度来解决常见的细节问题
- 大数据学习遇到的问题,大数据薪资多高岗位空缺大
- 大数据学习要知道的十大发展趋势,以及学习大数据的几点建议
- Hadoop不是解决大数据问题的唯一方案
- 解决MySQL读取大数据慢的问题
- java解决大数据读写问题
- bloomfitler 解决大数据查询问题
- 大数据相关的问题
- 几个大数据的问题
- Linux命令学习之路---虚拟内存统计(vmstat)命令
- Scala入门到精通——第三节 Array、List
- /
- Android基础入门教程——1.8 工程相关解析(各种文件,资源访问)
- Android基础入门教程——1.9 Android程序签名打包
- 如何学习大数据 以及大数据解决的问题
- 跟我一起写 Makefile 陈皓
- linux安装ftp
- HashMap的工作原理总结
- 新装GI的ASM无法直接restore/11g以前RDBMS无法直接访问11gASM
- HDU oj wod sticks
- C++ STL学习之stack
- 学习锐捷交换机的个人心得
- 不积跬步无以至千里(五)