hodoop集群环境搭建----伪分布模式(Pseudodistributed mode)
来源:互联网 发布:java商城分销系统源码 编辑:程序博客网 时间:2024/06/06 02:15
三种模式共存
1.创建三个配置目录,内容等同于hadoop目录
${hadoop_home}/etc/local
${hadoop_home}/etc/pesudo
${hadoop_home}/etc/full
2.创建符号连接
$>ln -s pesudo hadoop
b)编辑core-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
c)编辑hdfs-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
d)编辑mapred-site.xml
注意:cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
e)编辑yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置:core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml
f)配置SSH
1)检查是否安装了ssh相关软件包(openssh-server + openssh- clients + openssh)
$yum list installed | grep ssh
2)检查是否启动了sshd进程
$>ps -Af | grep sshd
3)在client侧生成公私秘钥对。
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
4)生成~/.ssh文件夹,里面有id_rsa(私钥) + id_rsa.pub(公钥)
5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)
$>cd ~/.ssh
$>cat id_rsa.pub >> authorized_keys
6)修改authorized_keys的权限为644.
$>chmod 644 authorized_keys
其他不能有w这个不能权限
7)测试
$>ssh localhost
开启伪分布式
1.对hdfs进行格式化
$>hadoop namenode -format =hdfs namenode -format
2修改hadoop配置文件,手动指定JAVA_HOME环境变量
[${hadoop_home}/etc/hadoop/hadoop-env.sh]
...
export JAVA_HOME=/soft/jdk
...
3.启动hadoop的所有进程
$>start-all.sh
4.启动完成后,出现以下进程
$>jps
33702 NameNode
33792 DataNode
33954 SecondaryNameNode
29041 ResourceManager
34191 NodeManager
5查看hdfs文件系统
$>hdfs dfs -ls /
6.创建目录
$>hdfs dfs -mkdir -p /user/centos/hadoop
7.通过webui查看hadoop的文件系统
http://IP地址:50070/
8.停止hadoop所有进程
$>stop-all.sh
- hodoop集群环境搭建----伪分布模式(Pseudodistributed mode)
- zookeeper手把手搭建伪分布集群环境
- Linux环境搭建Hadoop伪分布模式
- hadoop环境搭建之伪分布集群环境搭建(单节点)
- hodoop 伪分布式环境配置
- hodoop伪分布配置详细步骤
- Hadoop2环境搭建(单机伪分布)
- Hadoop伪分布环境搭建(Ubuntu)
- hadoop 伪分布模式搭建(上)
- hadoop伪分布模式搭建(下)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- 24.职责链模式
- c++类模板的声明与定义
- 考试题/(ㄒoㄒ)/~~
- 25.中介模式
- 19. Remove Nth Node From End of List-python
- hodoop集群环境搭建----伪分布模式(Pseudodistributed mode)
- 计算机网络--概述
- cannot load oci dll,193/87-navicate连接oracle的解决方法
- 26.享元模式
- [LeetCode 解题报告]013. Roman to Integer
- 解决mybatis在xml映射文件里面写sql时候没有提示
- 基于Bmob的在线群聊之功能概述和注册登录功能
- Leetcode 8. String to Integer (atoi)
- HTML5 简介与安装