Ubuntu14(64位) 集群环境下安装Hadoop2.4
来源:互联网 发布:国产发票软件 编辑:程序博客网 时间:2024/04/19 11:37
- 经过前边的积累,今天终于实现了集群环境下部署Hadoop,并成功运行了官方的例子。
工作如下:
- 两台机器:
- NameNode:上网小本,3G内存,机器名:YP-X100e,IP:192.168.101.130。
- DataNode:虚拟机,Win7下载VMWare10中虚拟Ubuntu14,虚拟机器名:ph-v370,IP:192.168.101.110
- 确保可互相ping通,按照机器名和IP配置各自机器的/etc/hosts文件和/etc/hostname文件,我的hosts配置内容如下
127.0.0.1 localhost192.168.101.130 YP-X100e192.168.101.110 ph-v370
- 安装环境,请参考
- Ubuntu14下Hadoop开发<1> 基础环境安装
- Ubuntu14下Hadoop开发<2> 编译64位Hadoop2.4
- 配置各种配置信息,请参考
- Hadoop 2.4.0完全分布式平台搭建、配置、安装
- Setting up a Single Node Cluster.
- 注意事项:
A:主从机的ssh设置,主机中在终端中输入
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys拷贝文件到从节点
scp authorized_keys ph-v370:~/.ssh/刚开始我一直失败的原因是用户不一致,导致一直无法登陆ssh,后来我新建了hadoop用户,并授予hadoop文件夹的权限
useradd -m hadooppasswd hadoopchown hadoop:hadoop hadoop-2.4.0重新用hadoop的用户进行操作就可以了(包括启动hadoop服务等,最好都是用这个用户)
B:执行start-dfs.sh,子节点报异常“WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server:YP-X100e/192.168.101.130:9000”
这里有一个卡点,需要修改主节点的hosts文件,注释掉127.0.1.1这行,你可以在注释之前执行
netstat -an | grep 9000你会看到9000端口被127.0.1.1占用,所以会出现异常
C:格式化文件系统的命令应该是
hdfs namenode -formatD:Hadoop的服务和Yarn的服务需要单独启动
start-dfs.shstart-yarn.shE:在主节点配置好所有的配置文件,直接都拷贝到从节点即可
F:跟做单节点例子的时候不同,我在拷贝文件的时候需要制定确切的路径,如这个:
原来直接执行$ bin/hdfs dfs -put etc/hadoop input现在需要执行$ bin/hdfs dfs -put etc/hadoop /user/chenph/inputG:查进程使用命令是:PS -ef | grep ‘搜索内容’,杀进程是:kill -s 9 进程号,查看防火墙是:sudo ufw status
H:可访问主节点查看Hadoop的状态http://YP-X100e:50070,下图可看到,有一个活动的从节点,也就是我的虚拟机中的那个Ubuntu
0 0
- Ubuntu14(64位) 集群环境下安装Hadoop2.4
- ubuntu14.04下hadoop2.2.0集群安装
- Ubuntu14.04下hadoop2.6.0集群安装
- Ubuntu14下Hadoop开发<2> 编译64位Hadoop2.4
- 在hadoop2.4集群环境下安装spark
- centos6.4 32/64位机 hadoop2.2.0集群安装
- 64位Ubuntu14.04下安装hadoop2.6单机配置和伪分布配置详解
- Ubuntu14.04 64位+Python3.4环境下安装matplotlib的方法
- Ubuntu14.04 64位+Python3.4环境下安装opencv3.0的方法
- Ubuntu14.04 64位+Python3.4环境下安装Opencv3.0的方法
- Ubuntu14.04 64位+Python3.4环境下安装opencv3.0的方法
- ubuntu14 64位安装LAMP环境
- 安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5
- 安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5
- CentOS 64位系统环境下Hadoop2.6伪分布式安装笔记
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- 进程的三种状态以及转换
- 破解校园网“一人一号” 高校学子必备秘籍
- 关于java运行python脚本
- 常用函数记录
- BDS之栈与队列
- Ubuntu14(64位) 集群环境下安装Hadoop2.4
- 5.Android平台下利用zxing实现二维码开发
- Html5结合百度地图获取当前位置
- ubuntu 挂载u盘
- Linux环境编程之进程(三):函数间跳转
- Laptop Chargers
- Memcached安装和使用详解
- 有一种爱叫妻管严
- 第五章 会修电脑不会修收音机?---依赖倒转原则(设计模式六大原则(3):依赖倒置原则)