hadoop伪分布环境搭建
来源:互联网 发布:软件开发与设计 编辑:程序博客网 时间:2024/05/29 08:29
hadoop的伪分布(单节点)
1、设置ip地址,可以在centos系统桌面中有个电脑图标,右击edit connections进行IP设置
使用命令ifconfig验证,如果验证不过使用命令service network restart网络重启(或者重启系统)
2、关闭防火墙chkconfig iptables off ,用chkconfig --list iptables验证
service iptables stop 只是临时关闭防火墙,在重启系统后无效
3、设置主机名 vi /etc/sysconfig/network文件中 ,设置hostname=xxxx
4、设置主机名与ip映射关系,vi /etc/hosts文件中
加上 ip 主机名(主机名和ip之间有个空格)
5、进行免密码登录,执行ssh-keygen -t rsa ,连续按下enter键3次
然后执行ssh-copy-i -i 主机名,使用ssh命令ping 本机
6、安装Java环境
使用文件上传工具,把jdk-6u24-linux-i586.bin文件上传到Linux服务器上/usr/local/目录下
执行tar -zxvf jdk-6u24-linux-i586.bin进行解压,如果没有执行权限,用chmod u+x jdk-6u24-linux-i586.bin赋予执行权限
配置环境变量,执行vi /etc/profile ,添加export JAVA_HOME=/usr/local/jdk ,export PATH=.:$JAVA_HOME/bin:$PATH
然后执行 source /etc/profile 命令,java -version命令验证
7、安装hadoop环境
使用文件上传工具,把hadoop-1.1.2.tar.gz文件上传到Linux服务器上 /usr/local/目录下
执行tar -zxvf hadoop-1.1.2.tar.gz进行解压,如果没有执行权限,用chmod u+x hadoop-1.1.2.tar.gz赋予执行权限
配置环境变量,执行 vi /etc/profile,添加export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
然后执行 source /etc/profile命令,
然后修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件
7.1 修改hadoop-env.sh文件
添加 export JAVA_HOME=/usr/local/jdk/
7.2 修改core-site.xm文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://cluster11:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
7.3 修改hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
7.4 修改4.mapred-site.xml文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>cluster11:9001</value>
</property>
</configuration>
8、格式化hadoop
bin/hdfs namenode -format
9、执行start-all.sh启动脚本
10、执行jps命令,可以看到5个进程
jobtracker
datanode
tasktracker
secondarynameNode
nameNode
1、设置ip地址,可以在centos系统桌面中有个电脑图标,右击edit connections进行IP设置
使用命令ifconfig验证,如果验证不过使用命令service network restart网络重启(或者重启系统)
2、关闭防火墙chkconfig iptables off ,用chkconfig --list iptables验证
service iptables stop 只是临时关闭防火墙,在重启系统后无效
3、设置主机名 vi /etc/sysconfig/network文件中 ,设置hostname=xxxx
4、设置主机名与ip映射关系,vi /etc/hosts文件中
加上 ip 主机名(主机名和ip之间有个空格)
5、进行免密码登录,执行ssh-keygen -t rsa ,连续按下enter键3次
然后执行ssh-copy-i -i 主机名,使用ssh命令ping 本机
6、安装Java环境
使用文件上传工具,把jdk-6u24-linux-i586.bin文件上传到Linux服务器上/usr/local/目录下
执行tar -zxvf jdk-6u24-linux-i586.bin进行解压,如果没有执行权限,用chmod u+x jdk-6u24-linux-i586.bin赋予执行权限
配置环境变量,执行vi /etc/profile ,添加export JAVA_HOME=/usr/local/jdk ,export PATH=.:$JAVA_HOME/bin:$PATH
然后执行 source /etc/profile 命令,java -version命令验证
7、安装hadoop环境
使用文件上传工具,把hadoop-1.1.2.tar.gz文件上传到Linux服务器上 /usr/local/目录下
执行tar -zxvf hadoop-1.1.2.tar.gz进行解压,如果没有执行权限,用chmod u+x hadoop-1.1.2.tar.gz赋予执行权限
配置环境变量,执行 vi /etc/profile,添加export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
然后执行 source /etc/profile命令,
然后修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件
7.1 修改hadoop-env.sh文件
添加 export JAVA_HOME=/usr/local/jdk/
7.2 修改core-site.xm文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://cluster11:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
7.3 修改hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
7.4 修改4.mapred-site.xml文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>cluster11:9001</value>
</property>
</configuration>
8、格式化hadoop
bin/hdfs namenode -format
9、执行start-all.sh启动脚本
10、执行jps命令,可以看到5个进程
jobtracker
datanode
tasktracker
secondarynameNode
nameNode
0 0
- hadoop伪分布环境搭建
- hadoop伪分布环境搭建
- hadoop伪分布环境搭建
- hadoop伪分布环境搭建
- hadoop 伪分布的环境搭建
- hadoop介绍以及伪分布环境搭建
- Hadoop 2.2.0 伪分布环境搭建
- hadoop-2.5.2伪分布环境搭建
- hadoop-2.4.1伪分布环境搭建
- Hadoop伪分布环境搭建(Ubuntu)
- Linux环境搭建Hadoop伪分布模式
- hadoop 伪分布 搭建
- hadoop伪分布搭建
- hadoop入门:2.Hadoop-1.12伪分布环境搭建
- Hadoop伪分布环境搭建——Linux环境配置
- Ubuntu搭建hadoop单机版伪分布环境
- Hadoop环境的搭建过程中的问题(伪分布)
- hadoop 2.2.0 伪分布环境搭建(草稿)
- Day-9 用js实现数据结构中的排序
- python 多线程简介
- 如何在Tableview中使用UiTextFiled
- 2015-ctf-32C3-blobberry(PiOS)
- LeetCode: 007-Excel Sheet Column Number
- hadoop伪分布环境搭建
- mysql索引总结----mysql 索引类型以及创建
- win10 jdk配置环境变量时的注意事项
- C#实现将程序运行信息写入日志的方法
- 学习spark:四、Spark MLlib1.51功能一览
- LeetCode 116:Populating Next Right Pointers in Each Node
- 第六届河南省赛 zzulioj 1481: 异 形 卵 (DP)水 nyoj 709
- 点击tablecell中的一个按钮,确定cell所在的行
- 在SQL语句中使用正则表达式