hadoop总结总结吧
来源:互联网 发布:武汉理工大学网络平台 编辑:程序博客网 时间:2024/05/22 14:48
好早之前开始学习hadoop但是都没有系统的学习过,我一向的思维方式是只要没有系统的深入的学习过,就算是不会。。。。。
先说HDFS。
HDFS的设计目标;
1,硬件的容错设计;
2,流式数据访问;
3,支持一个文件几个G甚至是上T
4,简单的数据一致性模型;
5,移动计算比移动数据更划算;
6,master/salve模式;
一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间,用户能够以文件的形式在上面存储数据。从内部看,一个文件其实被分成一个或多个数据块,这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。
0 0
- hadoop总结总结吧
- hadoop总结
- hadoop总结
- hadoop总结
- hadoop总结
- Hadoop总结
- hadoop实践总结:
- Hadoop安装总结
- hadoop总结2
- Hadoop学习总结
- hadoop学习总结一
- hadoop学习问题总结
- Hadoop RPC 分析总结
- hadoop操作命令总结
- hadoop启动错误总结
- hadoop 配置问题总结
- Hadoop常用配置总结
- hadoop配置(个人总结)
- 系统去掉 Android 4.4.2 的StatusBar和NavigationBar
- [leetcode]Valid Parentheses
- CTS测试与GTS测试区别
- mongodb 常用API
- 【整理】用html和javascript实现类似百度地图的画布
- hadoop总结总结吧
- canvas
- 递归实现数字转换成字符串
- Android文件的读写
- IOS UIImage类方法总结
- java基础之对象与引用
- 码了5年代码,积累了些东西
- IMAGE_EXPORT_DIRECTORY
- HDoj-1709-The Balance-母函数