Hadoop 2.2.0 单节点安装
来源:互联网 发布:mysql select into 表 编辑:程序博客网 时间:2024/04/30 00:26
Hadoop 2.2.0已经发布,网上有很多教程说明安装的过程,不过总有些问题存在……这里把我安装的过程分享一下。
建议采用Ubuntu 12.04.3 LTS Server x64版本或者其他长期支持版本。
另外,如果是虚拟机环境,使用32位版本的Ubuntu即可。建议在安装前,将系统升级到最新:
- $sudo apt-get update
- $sudo apt-get upgrade
准备工作
java
建议采用Oracle Java JDK6以上版本。
- $chmod 755 jdk-7u45-linux-x64.bin
- ./jdk-7u45-linux-x64.bin
- mv jdk1.7.0_45 /opt
则JAVA_HOME地址可以如下配置,在/etc/profile中修改:
- $ sudo vim /etc/profile
- export JAVA_HOME=/opt/jdk1.7.0_45
- export JRE_HOME=$JAVA_HOME/jre
- export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
- export PATH=$PATH:$JAVA_HOME/bin
hadoop 2.2.0
- http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
Hadoop路径配置
- $sudo chown cloud:cloud /opt
- $ tar xzvf hadoop-2.2.0.tar.gz
- $ mv hadoop-2.2.0 /opt
- $ ln -s /opt/hadoop-2.2.0 /opt/hadoop
ssh本地互通
配置公钥,使用默认配置即可:
- $ sshgen
- $ cd ~/.ssh
- $ cat id_rsa.pub >> authorized_keys
然后执行以下命令:
- $ ssh localhost
全局变量
在/etc/profile的末尾加入:
- export HADOOP_HOME=/opt/hadoop
- export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
确保可以在任意位置执行hadoop命令。
然后将配置文件启用:
- $ source /etc/profile
目录配置
创建Hadoop的数据存储目录,并修改属主权限:
- $ sudo mkdir /hadoop
- $ sudo chown cloud:cloud /hadoop
- $ mkdir -p /hadoop/dfs/data
- $ mkdir -p /hadoop/dfs/name
- $ mkdir -p /hadoop/tmp
配置Hadoop
配置hadoop-env.sh
- $ cd /opt/hadoop/etc/hadoop
- $ vim hadoop-env.sh
将默认的JAVA_HOME修改为:
- export JAVA_HOME=/opt/jdk1.7.0_45
配置core-site.xml
修改core-site.xml文件:
- $cd /opt/hadoop/etc/hadoop
- $vim core-site.xml
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/hadoop/tmp</value>
- <description>temporary directories.</description>
- </property>
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://192.168.1.100:9000</value>
- <description>The name of the defaultfile system. Either the literal string "local" or a host:port forNDFS.
- </description>
- <final>true</final>
- </property>
更多配置信息,参考:
http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/core-default.xml
配置hdfs-site.xml
修改hdfs-site.xml:
- $ vim hdfs-site.xml
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
- <property>
- <name>dfs.namenode.name.dir</name>
- <value>file:/hadoop/dfs/name</value>
- <description>Determineswhere on the local filesystem the DFS name node should store the name table.</description>
- <final>true</final>
- </property>
- <property>
- <name>dfs.datanode.data.dir</name>
- <value>file:/hadoop/dfs/data</value>
- <description>Determineswhere on the local filesystem an DFS data node should store its blocks.
- </description>
- <final>true</final>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.permissions</name>
- <value>false</value>
- </property>
更多hdfs-site.xml的配置信息,参考:
http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml配置mapred-site.xml
默认不存在此文件,需要创建:
- $ cp mapred-site.xml.template mapred-site.xml
- $ vim mapred-site.xml
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
- <property>
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
- </property>
- <property>
- <name>mapred.system.dir</name>
- <value>file:/hadoop/mapred/system</value>
- <final>true</final>
- </property>
- <property>
- <name>mapred.local.dir</name>
- <value>file:/hadoop/mapred/local</value>
- <final>true</final>
- </property>
配置yarn-site.xml
执行以下命令:
- $ vim yarn-site.xml
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
- <property>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce_shuffle</value>
- <description>shuffle service that needsto be set for Map Reduce to run </description>
- </property>
- <property>
- <name>yarn.resourcemanager.hostname</name>
- <value>192.168.1.100</value>
- <description>hostanem of RM</description>
- </property>
yarn.resourcemanager.hostname配置后,其他端口号将使用默认。详见:
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml初始化
格式化NameNode:
- $ hdfs namenode -format
启动DFS
- $ hadoop-daemon.sh start namenode
- $ hadoop-daemon.sh start datanode
使用jps查看进程是否启动:
- $ jps
并在以下网页检查:
- http://202.117.16.170:50070/dfshealth.jsp
启动Yarn
- $ yarn-daemon.sh start resourcemanager
- $ yarn-daemon.sh start nodemanager
异常处理
- $ rm -rf /hadoop/dfs/*/*
- $ rm -rf /hadoop/tmp/*
- $ hdfs namenode -format
- Hadoop 2.2.0 单节点安装
- Hadoop 2.2.0 单节点安装
- Hadoop 2.2.0 单节点安装
- Hadoop 2.2.0 单节点安装
- Hadoop 2.2.0 单节点安装
- HADOOP单节点安装
- hadoop单节点安装
- hadoop单节点安装
- hadoop单节点安装
- 单节点hadoop安装
- CentOS 6.5单节点编译安装hadoop-2.2.0
- Hadoop 2.6.0单节点安装参考
- 单节点Hadoop安装过程
- Ubuntu安装Hadoop (单节点)
- windows安装hadoop-单节点
- hadoop 2.6.0单节点-伪分布式模式安装
- hadoop 2.6.0单节点-伪分布式模式安装
- hadoop 2.6.0单节点-伪分布式模式安装
- MySQL命令行导出数据库
- 用汇编写个字符型的flappy bird
- Latex排版关于EPS格式图片的问题,解决visio ppi 裁剪等各种问题
- vmstat
- OpenCV实现好玩的实用的小程序
- Hadoop 2.2.0 单节点安装
- linux命令之uniq sort cut
- mac 命令
- MTK功能机一些问题修改
- Python3.x和Python2.x的区别
- <转>如何在Mac OS X中开启VIM语法高亮
- Android 4.2 原生系统有哪些方法实现全屏下隐藏导航栏?
- WCF详细配置方法
- Opencv矩阵保存与读取xml