hadoop 2.7.3多节点集群
来源:互联网 发布:知乎帖子怎么删除 编辑:程序博客网 时间:2024/06/06 08:43
hadoop 2.7.3多节点集群
我在前面的单机的基础上,拷贝了一份虚拟机:修改了主机名和IP
前提安装和配置hadoop_env.sh与java
sudo apt-get install ssh
sudo apt-get install rsync
发现不用拷贝ssh的公匙也能链接上另一台虚拟机,如果不能,参照SSH 无密码登录,配置公匙文件,记得确定安装了:
确认ssh 两台虚拟机能互相链接
注意一定要设置好hadoop.tmp.dir目录,并确认存在;不然不能启动nomanode
由于使用了2.7.3版本,感觉比较新,在网上搜索的答案,都比较旧版本,照着搭建总是有些问题;还是根据官方自带的文档搭建;我决定照官网文档折腾,虽然累点,但是还顺利运行起来;我也是刚开始自学,近端时间金蝶的项目,老崔都没时间学习了;一起学习的朋友有问题可以一起探讨学习:QQ522688670;建议照官方文档学习;或者先学习旧版本的,旧版本中文资料比较多,容易上手;
开始配置core-site.xml配置
这是指定文件系统主机
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>
hdfs-site.xml 路劲根据自己实际
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>格式化namenodehdfs namenode -formathdfs 在hadoop/bin下;我喜欢直接输入命令;我bin目录页添加到了环境变量中
启动分布式文件系统
start-dfs.sh一般会有5个java进程;输入jps可查看给(jps除外)
NameNodeDataNoderesourceManagerSecondaryManagerDataNodeMangerweb管理界面地址 NameNode
http://主机ip:50070/
如果能访问到,说明没问题了
阅读全文
0 0
- hadoop 2.7.3多节点集群
- Hadoop多节点集群配置
- Hadoop多节点集群安装配置
- Hadoop多节点集群安装配置
- Hadoop多节点集群安装配置
- Hadoop多节点集群安装配置
- Hadoop多节点集群的构建
- hadoop多节点集群安装配置
- Hadoop集群下线节点
- hadoop集群添加节点
- Hadoop集群节点扩展
- hadoop集群删除节点
- Hadoop集群新增节点
- Hadoop问题集锦:Hadoop 2.7.0 集群添加新节点
- hadoop 集群搭建 三个节点
- CDH3 Hadoop集群摘除节点
- 部署Hadoop集群,三个节点
- hadoop集群增加删除节点
- Dubbo之——消费端直连服务提供者(开发调试)
- 美丽的高精度计算
- 阿里云推出幸运券买ECS更加实惠
- [UVA](11461)Square Numbers ---完全平方数
- RDD,DataFrame与DataSet区别
- hadoop 2.7.3多节点集群
- 遥感图像存储格式
- 也谈创新
- PhotoView无法显示大图片问题
- mysql 命令完全总结
- 【LeetCode】57. Insert Interval
- 骑士精神 (迭代加深)
- Python 边做边学 4 源码分析
- Sql Server数据库 实验3 数据的更新