Hadoop伪分布式搭建过程详解
来源:互联网 发布:淘宝店怎样用手机经营 编辑:程序博客网 时间:2024/05/17 01:48
Hadoop伪分布式搭建过程详解
**使用虚拟机搭建(博主使用的是Ubuntu系统)**
一、准备Linux环境
1、配置ip与子网掩码等等
点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.144.0 子网掩码:255.255.255.0回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP:192.168.144.100 子网掩码:255.255.255.0 -> 点击确定在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok
####注意:保证虚拟机与主机在同一网段下!!!**
2、修改主机名
vim /etc/hostname 按i进入insert模式,写上你的主机名hostname 按esc退出insert模式,再按:wq保存退出即可
3、修改IP
通过Linux图形界面进行修改(强烈推荐,简单易操作)进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 ->添加IP:192.168.144.88 子网掩码:255.255.255.0 网关:192.168.144.1 -> apply
4、修改主机名和IP的映射关系
vim /etc/hosts 192.168.8.118 hostname
5、关闭防火墙
#查看防火墙状态 sudo ufw status #关闭防火墙 sudo ufw disable #防火墙版本 sudo ufw version
6、重启Linux
输入reboot命令
二.安装JDK
1、上传
2、解压jdk
#创建文件夹 mkdir /usr/java #解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/
3、将java添加到环境变量中
vim /etc/profile #在文件最后添加 export JAVA_HOME=/usr/java/jdk1.7.0_55 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile
三.安装hadoop2.4.1
注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件!!!!
1、配置hadoop
第一个:hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_65第二个:core-site.xml <!-- 制定HDFS的NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hostname:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/*你的文件地址*/hadoop-2.4.1/tmp</value> </property>第三个:hdfs-site.xml <!-- 指定HDFS副本的数量,因为是伪分布式,所以设置为1--> <property> <name>dfs.replication</name> <value>1</value> </property>第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)(默认有一个模板,当前文件夹mv即相当于重命名操作) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>第五个:yarn-site.xml <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
2、将hadoop添加到环境变量
vim /etc/proflie export JAVA_HOME=/usr/java/jdk1.7.0_65 export HADOOP_HOME=/*你的文件地址*/hadoop-2.4.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin#刷新配置source /etc/profile
3、格式化namenode(是对namenode进行初始化,第一次必须进行!)
hdfs namenode -format (hadoop namenode -format)
4、启动hadoop
先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh
5、验证是否启动成功
使用jps命令验证(Java进程快照) 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode
在浏览器上输入如下网址,ip可用localhost代替,进入到HDFS和Yarn的管理界面
http://192.168.144.88:50070 (HDFS管理界面)
http://192.168.144.88:8088 (MR管理界面)
四、配置ssh免登陆
#生成ssh免登陆密钥#进入到我的home目录cd ~/.sshssh-keygen -t rsa (四个回车)执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)将公钥拷贝到要免登陆的机器上ssh-copy-id localhost
博主才疏学浅,希望各位批评指正,一起进步!如有任何疑问或错误之处,还请各位指出,以防博主误人子弟!谢谢!
2 0
- Hadoop伪分布式搭建过程详解
- Hadoop2.7.3伪分布式搭建过程详解
- hadoop伪分布式搭建
- hadoop伪分布式搭建
- hadoop 伪分布式搭建
- hadoop伪分布式搭建
- hadoop伪分布式搭建
- Hadoop伪分布式搭建
- Hadoop伪分布式搭建
- hadoop伪分布式搭建
- Hadoop伪分布式搭建
- hadoop伪分布式搭建
- hadoop伪分布式搭建
- Hadoop伪分布式搭建
- 搭建hadoop伪分布式
- hadoop伪分布式搭建
- hadoop伪分布式搭建
- 搭建hadoop伪分布式
- tomcat的端口修改后在eclipse中自动恢复
- HDU——1042N!(大数阶乘乘法)
- Java NIO ServerSocketChannel
- 客户端检测技术
- mysql数据类型
- Hadoop伪分布式搭建过程详解
- chart.js绘图,如何显示图例?
- 软件测试笔试和面试
- Java NIO: Non-blocking Server
- 细说HTML<head>内标签之<meta>
- Java基础练习
- 基因数据处理9之BWA小数据集测试(成功)
- ftp<三>项目需求
- LinkIt Assist 2502开发笔记3: 运行样例程序