hadoop2.x单机环境安装
来源:互联网 发布:iphone关闭数据漫游 编辑:程序博客网 时间:2024/05/23 10:25
环境准备
新建hadoop用户adduser hadoop
下载hadoop(下载binary文件,source文件是源码,需要重新编译)wget http://apache.claz.org/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
解压tar -xzf hadoop-2.8.0-src.tar.gz
修改配置
2.1 修改hadoop-env.sh
默认JAVA_HOME是${JAVA_HOME},如果未指定环境变量,这里需要替换成Jdk路径
2.2 修改core-site.xml
<!– 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 –>
<property> <name>fs.defaultFS</name> <value>hdfs://10.\**.**.1:9000</value> </property>
<!– 指定hadoop运行时产生文件的存储目录 –>
<property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/app/hadoop/tmp</value> </property>
2.3 修改hdfs-site.xml
<!– 指定HDFS副本的数量 –>
<property> <name>dfs.replication</name> <value>1</value> </property>
2.4 修改yarn-site.xml
<!– Site specific YARN configuration properties ResourceManager的地址 –>
<property> <name>yarn.resourcemanager.hostname</name> <value>10.\**.**.1</value> </property>
<!– reducer获取数据的方式 –>
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
2.5 将mapred-site.xml.template重命名为mapred-site.xml
<!– 指定mr运行在yarn上 –>
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
- 格式化NameNode
./bin/hadoop namenode -format 启动Hadoop两大核心功能:HDFS与YARN
首先编辑slaves配置文件(这里我们的主节点既是DataNode又是NameNode):vi slaves -> add 10.**.**.1
启动HDFS:./sbin/start-dfs.sh
启动YARN:./sbin/start-yarn.sh
验证是否启动:jps
启动之后访问管理界面:
http://10.**.**.1:50070/注意:hadoop启动时会发送ssh指令,指向hadoop机器的ssh端口,默认是22端口,若机器设置了ssh端口,则更改端口配置:
hadoop-env.sh中新增
export HADOOP_SSH_OPTS=”-p 21987”
- hadoop2.x单机环境安装
- Centos6.X安装单机Hadoop2.6
- Hadoop2.0单机环境安装部署
- Hadoop2.X配置管理1-HDFS安装配置单机版
- cdh hadoop2单机安装
- Hadoop2安装-单机模式
- 单机安装hadoop2.6.4
- hadoop2.4单机环境搭建
- centos单机安装Hadoop2.6
- centos单机安装Hadoop2.6
- centos单机安装Hadoop2.6
- centos单机安装Hadoop2.6
- centos单机安装Hadoop2.6
- ubuntu1404_64单机安装Hadoop2.7.3
- hadoop2.x 环境配置
- Hadoop2环境搭建(单机伪分布)
- 基于hadoop2.7.3搭建单机hadoop环境
- Hadoop2.7.3搭建单机、伪分布环境
- C#中字符串的一些常见函数,比如string.Compare()
- 字符对应的ASCII码
- 【每日一学】负载均衡
- 归并排序及排序算法的总结
- 3. JavaScript 设计模式(模板模式,建造者模式)
- hadoop2.x单机环境安装
- MySql优化
- Kotlin 创建 main 函数
- 000047:输出1~20之间的奇数,使用continue跳出循环
- Android APP优化
- 各类网站部署SSL证书
- MyBatis与Spring整合细节的优化
- c#中的接口
- 解决jsp页面路径访问图片的乱码问题