大数据起步
来源:互联网 发布:hp1510清零软件 编辑:程序博客网 时间:2024/06/08 01:16
大数据处理的共同特征:
1)数据分布在多个节点 2)计算程序靠近离数据更近 3)数据处理尽量在本地完成 4)顺序读取的I/O代替随机读取的I/O
大数据编程模型:
1)大规模并行处理数据库系统(Massively Parallel Processing , MMP):EMC公司的Greenmlum系统和IBM 公司的Netezza系统
2)内存数据库系统:Oracle的Exalytics和SAP公司的HANA系统
3)MapReduce系统,Hadoop
4)整体同步并行系统(Bulk srnchronous parallel ,BSP)系统:Apache HAMA 和Apache Giraph
Hadoop系统组成(基于Hadoop 1.x)
守护进程:
1)名称节点(构建大型计算集群系统的瓶颈) 2)辅助名称节点 3)作业跟踪器 (构建大型计算集群系统的瓶颈) 4)任务跟踪器
主要的两种类型的节点:主节点和次节点
主节点负责执行的守护进程:名称节点进程,辅助名称节点进程,作业跟踪器进程
次节点负责执行的守护进程:数据节点进程,任务跟踪器进程
未完待续。。。。。。
阅读全文
0 0
- 大数据起步
- 大数据之起步搭开发环境
- 企业大数据如何起步:先做好小数据分析
- 数据分析起步
- 大数据IMF传奇行动绝密课程第55课:60分钟从零起步驾驭Hive实战
- 起步即突发大情况 740
- 起步即突发大情况 260
- 起步
- 起步
- 起步
- 起步
- 起步
- 起步
- 起步
- 起步
- 起步
- 起步!!!
- 起步
- git提交远程代码库
- Android 开发之旅:深入分析布局文件&又是“Hello World!”
- redis audit内存分析工具在redis cluster中的应用
- 函数素数
- 关于UML学习的总结
- 大数据起步
- SPICE简史
- HTTP协议及其POST与GET操作差异 & C#中如何使用POST、GET等
- 函数完数
- .NET(C#) Internals: as a developer, .net framework in my eyes
- 随谈
- 百度判断手机访问还是PC访问
- .NET(C#) Internals: 以一个数组填充的例子初步了解.NET 4.0中的并行(二)
- 矩阵相乘