搭建Hadoop分布式集群------测试Hadoop分布式集群环境
来源:互联网 发布:数据可视化实战pdf下载 编辑:程序博客网 时间:2024/05/29 17:48
验证hadoop集群构建成功
Step_1:通过Master节点格式化集群的文件系统:
Step_2:启动hadoop集群:
Step_3:停止Hadoop集群:
此时出现"no datanode to stop"的错误。出现这个错误的原因是:每次使用“hadoop namenode -format”命令格式化文件系统的时候会出现一个新的namenodeId,而在搭建hadoop单机伪分布式版本的时候,创建的tmp目录下存放了数据,只需要把各台机器上的"/usr/local/hadoop/hadoop-1.2.1/"下面的tmp及其子目录的内容,以及该目录下hsfs文件夹中的data和name文件夹中的内容清空即可!
删除/tmp目录操作截图:
删除/hdfs目录下data和name文件夹操作截图:
Step_4:再次通过Master节点格式化集群的文件系统并启动Hadoop服务
Step_5:服务启动成功,进入Master的Web控制台:
如上图所示,Live Nodes只有三个,这个和预期一致,因为Master、Slave1、Slave2都设置成为DataNode,Master本身同时也是NameNode。
Step_6:通过jps命令查看三台机器进程,截图如下:
如果上述操作都成功的话,说明Hadoop集群构建完毕!
基于上述步骤,不要关闭hadoop服务,执行如下步骤!
在集群行运行wordcount实例:
Step_1:在dfs上创建input目录:
Step_2:把本地目录中的内容复制到dfs目录中:
Step_3:运行wordcount程序:
Step_4:运行成功后,打开Slave2的文本控制台,查看生产的文件目录中包含的文件:
Step_5:查看生成的output的文件信息:
通过上诉操作,证明hadoop集群环境构建成功,且能成功运行程序!
至此关于搭建hadoop分布式集群的讲解在这也结束了!如果有什么问题,可以私信!
阅读全文
0 0
- 搭建Hadoop分布式集群------测试Hadoop分布式集群环境
- Hadoop分布式集群环境搭建
- hadoop分布式集群搭建
- hadoop分布式集群搭建
- 搭建Hadoop分布式集群
- hadoop分布式集群搭建
- hadoop分布式集群搭建
- Hadoop分布式集群搭建
- Hadoop分布式集群搭建
- Hadoop分布式集群搭建
- Hadoop分布式集群搭建
- Hadoop分布式集群搭建
- Hadoop分布式集群搭建
- hadoop分布式集群搭建
- Hadoop分布式集群搭建
- hadoop 分布式集群搭建
- 搭建hadoop分布式集群
- Hadoop完全分布式集群环境搭建及测试
- readfile 返回true,且其读取的大小为0
- redmine的安装、配置、使用
- 前端H5初学笔记(三)
- Android--UI
- 一款轻量级的文件选择器,支持多种文件类型
- 搭建Hadoop分布式集群------测试Hadoop分布式集群环境
- 面试OR笔试21——两个链表的第一个公共节点
- TypeScript的书写规范(TSLint)配置修改
- 看ETL工具调度PK有感
- sql防注入校验
- Linux新内核将会更新,你有更好的建议吗?
- 美团点评2018提前批笔试题1 最长子序列 -- JAVA 进阶
- Source引擎多人模式网络同步模型
- JAVA Hibernate工作原理及为什么要用