hadoop在Linux上的安装
来源:互联网 发布:51单片机40个引脚功能 编辑:程序博客网 时间:2024/06/05 00:50
注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
下载地址: http://archive.apache.org/dist/hadoop/core/current/
2.2解压hadoop包一般解压到/usr/local
tar -zxvf hadoop-3.0.0-beta1.tar.gz
2.3配置hadoop伪分布式(要修改4个文件)
cd /usr/local/hadoop-3.0.0-beta1/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop
第一个:hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_65
第二个:core-site.xml
vim core-site.xml
<configuration>
<!-- 指定HDFS的namenode的通信地址 -->
<property>
<name>fs.default</name>
<value>hdfs://192.168.174.131:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-3.0.0-beta1/tmp</value>
</property>
</configuration>
第三个:hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.174.131</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
3.2将hadoop添加到环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_65
export HADOOP_HOME= /hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
3.3格式化namenode(是对namenode进行初始化)
hdfs namenode -format (hadoop namenode -format)
3.4启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
3.5验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
我的启动之后只有3个,参见一下链接才修改好:
http://erhuo.org/a_606.html
http://192.168.174.131:50070 (HDFS管理界面)
http://192.168.174.131:8088 (MR管理界面)
4.配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys
#测试成功效果
ssh 127.0.0.1
阅读全文
0 0
- hadoop在Linux上的安装
- 在Linux上安装Hadoop
- Hadoop的安装---在真实的linux集群上安装
- Hadoop 在linux 单机上伪分布式 的安装
- Hadoop 在Linux 单机上伪分布式 的安装过程
- 在Ubuntu Linux上安装Apache Hadoop
- 在Linux上安装与配置Hadoop
- 在Linux上安装与配置Hadoop
- 在Linux上安装与配置hadoop
- 在Linux上安装hadoop教程
- Hadoop的学习前奏(一)——在Linux上安装与配置Hadoop
- hadoop在CentOS上的安装部署
- hadoop在eclipse上的安装
- Hadoop在Ubuntu上的安装
- hadoop在linux上的配置
- cygwin及linux上的hadoop安装
- Linux上的伪分布式hadoop安装
- [Hadoop]Hadoop 在windows 上伪分布式的安装过程
- 初学opencv遇到的问题及解决办法(3)
- JavaScript的深拷贝
- [DP] HHHOJ #115. 我们爱数数
- tomcat 一闪而过
- 1001. 害死人不偿命的(3n+1)猜想
- hadoop在Linux上的安装
- python 文件操作总结
- Trafodion odbc driver安装配置(Linux)
- Netty:Handler的执行顺序
- 【洛谷】P2168荷马史诗
- 罐子和硬币 51Nod
- java数据类型
- MySQL的安装步骤及详细图解
- 强化学习(一) ----- 基本概念