在ubuntu14.04环境下搭建伪分布式hadoop-2.2.0 64位系统
来源:互联网 发布:虚拟商品网站源码 编辑:程序博客网 时间:2024/05/21 08:03
1.创建新用户
1)创建用户名是hadoop
sudo useradd -m hadoop -s /bin/bash2)修改密码,输入两次
sudo passwd hadoop3)添加管理员权限
方法1--
sudo adduser hadoop sudo
方法2--
sudo vi /etc/sudoers
# User privilege specification
root ALL=(ALL:ALL) ALL
hadoop ALL=(ALL:ALL) ALL
2.设置SSH
1)安装sshsudo apt-get update
sudo apt-get install openssh-server
2)登录本机
ssh localhost
3)设置无密码登录
exit(如果没有退出ssh可以多打几次exit或者打logout)
cd ~/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
4)再次登陆时就不需要输入密码了
3.安装jdk和配置环境
1)安装jdksudo apt-get install openjdk-7-jre openjdk-7-jdk
2)安装完成后进行检查
java -version
3)配置JAVA_HOME环境变量配置
vi ~/.bashrc
如果不能保存就在前面加上sudo
在第一行加入
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
查看java目录命令:
dpkg -L openjdk-7-jdk
4)让命令生效
source ~/.bashrc
echo $JAVA_HOME
4.hadoop伪分布式和yarn的配置
1)解压下载好的hadooptar -zxvf hadoop-2.2.0.tar.gz
2)配置hadoop
cd hadoop-2.2.0
cd etc
cd hadoop
1--配置core-site.xml
vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/dfs/tmp</value>
</property>
2--配置hdfs-site.xml
vi hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
在配置hive的时候可能会遇到验证问题,所以在这里直接配置验证未false
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
3)配置JAVA_HOME
vi ./etc/hadoop/hadoop-env.sh
# The java implementation to use.
# export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
4)配置Hadoop环境变量
vi ~/.bashrc
export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
在hadoop-2.2.0下
pwd
直接输出位置复制即可
5)修改链接文件
cd ~
rm -rf dfs
mkdir dfs
cd dfs
mkdir logs
mkdir tmp
6)配置yarn文件
cd hadoop-2.2.0/etc/hadoop/
配置yarn-site.xml
vi yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.resoucemanager.webapp.address</name>
<value>localhost:8088</value>
</property>
配置yarn-env.sh
vi yarn-env.sh
JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
vi hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
7)namenode格式化
cd ../..
在hadoop-2.2.0目录下
bin/hdfs namenode -format
成功:Exitting with status 0
失败:Exitting with status 1
如果失败可以sudo bin/hdfs namenode -format
8)启动hadoop
sbin/start-all.sh
(分部启动1:hdfs
sbin/start-dfs.sh
分部启动2:yarn
sbin/start-yarn.sh)
9)关闭hadoop
将start改为stop即可
1 0
- 在ubuntu14.04环境下搭建伪分布式hadoop-2.2.0 64位系统
- Hadoop2.2.0伪分布式环境搭建(附:64位下编译Hadoop-2.2.0过程)
- 在ubuntu14.04环境下搭建hive-0.12.0 64位系统
- linux(ubuntu14.04)下hadoop 单机及伪分布式搭建
- 在linux环境下搭建hadoop平台(伪分布式)
- 在腾讯云下搭建hadoop伪分布式系统
- mac下搭建hadoop伪分布式环境
- ubuntu14.04搭建hadoop伪集群环境
- Hadoop 2.4.0 伪分布式环境搭建
- hadoop学习系列1之在ubuntu12.04下搭建伪分布式Hadoop-1.1.1环境并安装eclipse
- _00014 hadoop-2.2.0 伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- 伪分布式hadoop环境搭建
- 51单片机头文件reg51.h详解
- px像素单位与IOS像素单位的换算
- 第3周 项目2-“顺序表”算法库
- 转义HTML标签
- velocity
- 在ubuntu14.04环境下搭建伪分布式hadoop-2.2.0 64位系统
- IOS 屏幕尺寸、分辨率、点之间的相互关系
- first time
- 第二周:项目二—程序的多文件组织
- 第三周【项目1 - 顺序表的基本运算】
- 第3周项目4顺序表的应用1
- 在iOS9中,苹果将原http协议改成了https协议,使用 TLS1.2 SSL加密请求数据。如何解决报错
- CentOS7安装nagios并配置出图详解
- 项目4--顺序表应用 问题二