hadoop环境配置之配置hadoop文件

来源:互联网 发布:option键是哪个 mac 编辑:程序博客网 时间:2024/06/14 06:48
下来进行Hadoop的安装和配置。
下载hadoop-0.20.2.tar.gz到/home/hadoop目录,并解压:
tar -vxzf hadoop-0.20.2.tar.gz     //解压hadoop到当前目录
解压完后进入/home/hadoop/hadoop-0.20.2/conf目录进行配置。
cd /home/hadoop/hadoop-0.20.2/conf
文件配置,conf:
1、masters文件        sist08
2、slaves 文件      sist10
3、core-site.xml中:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.130.63:9000 </value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-0.20.2/tmpvalue>
</property>
</configuration>
4、修改hadoop-env.sh配置文件如下:
export JAVA_HOME=/usr/java/jdk1.6.0——01
5修改hdfs-site.xml文件如下:
=====line 1 col 0 lines from top 1 ============================================

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

6、修改mapred-site.xml文件如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>sist08:9001</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/tmp/hadoop/mapred/system</value>
</property>
</configuration>
配置文件修改完毕后格式化Namenode(运行Hadoop之前必须先进行格式化),进入/home/hadoop/hadoop-0.20.2/目录,命令如下:
./bin/hadoop namenode -format
格式化完毕后就可以运行Hadoop了,命令如下:
./bin/start-all.sh      //在/home/hadoop/hadoop-0.20.2/目录下运行
如果要停止运行如下命令:
./bin/stop-all.sh       //在/home/hadoop/hadoop-0.20.2/目录下运行
到此,Hadoop的配置已经完成了.