hadoop 配置实战

#桌面上新建文件夹 environment
#1.进入文件夹
#1.1
cd /home/xwh/桌面/environment
#1.2
tar -zxvf jdk-7u7-linux-x64.tar.gz
#1.3 编辑 profile,在 JDK 路径改为自己安装路径
sudo gedit /etc/profile
#在 profile 里面写(添加在后面)
export JAVA_HOME=/home/xwh/桌面/environment/jdk1.7.0_07
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
#end
#1.4
terminal 中输入“# ./etc/profile”
#1.5 测试 如果不行 重启
java -version
#结束时候显示
java version "1.7.0_07"
Java(TM) SE Runtime Environment (build 1.7.0_07-b10)
Java HotSpot(TM) 64-Bit Server VM (build 23.3-b01, mixed mode)
2.安装 eclipse
#2.1eclipe 配置
sudo gedit /etc/profile
export PATH=$PATH:$/home/xwh/桌面/environment/eclipse
#2.2 如果是拷贝而不是解压的话
cd /home/xwh/桌面/environment/eclipse
sudo chmod 777 ./*
#2.3 如果是解压 environment 中的 eclipse
cd /home/xwh/桌面/environment/
tar -zxvf eclipse-jee-juno-SR1-linux-gtk-x86_64.tar.gz
3.安装 haoop
3.0 准备
在桌面上建立 res 文件夹
在 res 文件夹下建立/hadooptmp 文件夹
在 res 文件夹下建立/hdfs 文件夹
在 hdfs 文件夹下建立 name 文件夹-namenode 上存储 hdfs 名字空间元数据
在 hdfs 文件夹下建立 data 文件夹-namenode 上数据块到物理存储位置
在 hdfs 文件夹下建立/mapred/local 文件夹-tasktracker 上执行 maprededuce 程序
时的本地目录
在/media/xwh/新加卷/下建立 temp/hadoop/mapred/system 文件夹-这个是 hdfs 中的
目录,存储执行程序时到共享文件
3.1
拷贝 hadoop-1.0.4.tar.gz 到文件夹后打开
cd /home/xwh/桌面/environment
tar -zxvf hadoop-1.0.4.tar.gz
3.2 配置 hadoop-env.sh(/hadoop-1.0.4/conf 下)
在 HADOOP_HOME=/home/xwh/桌面/environment/hadoop-1.0.4/conf 里面到 hadoop-env.sh(最
后一行)
export JAVA_HOME=/home/xwh/桌面/environment/jdk1.7.0_07
在 terminal 中输入 hadoop-1.0.4/bin/hadoop 有以下等内容
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:3.3 配置 core-site.xml
---------------原文件---------------------
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
</configuration>
---------------更改为-----------------------
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<decription>HDFS's URI, file system://namenode ID:Port</decription>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/xwh/桌面/res/hadooptmp</value>
<decription>namehode 上本地到 hadoop 临时文件夹</decription>
</property>
</configuration>
-------------END------------------------------
3.配置 hdfs-site.xml
---------------原文件---------------------
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
</configuration>
---------------更改为-----------------------
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/xwh/桌面/res/hdfs/name</value>
<decription>namenode 上存储 hdfs 名字空间元数据</decription>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/xwh/桌面/res/hdfs/data</value>
<decription>namenode 上数据块到物理存储位置</decription>
</property>
<property>
<name>dfs.replication</name><value>1</value>
<decription>replicaton 的个数</decription>
</property>
</configuration>
-------------END------------------------------
4.配置 mapred-site.xml
位置:/home/xwh/桌面/environment/hadoop-1.0.4/conf
---------------原文件---------------------
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
</configuration>
---------------更改为-----------------------
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
<decription>jobtracker ID:Port, not URI</decription>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/xwh/桌面/res/hdfs/mapred/local</value>
<decription>tasktracker 上执行 maprededuce 程序时的本地目录</decription>
</property>
<property>
<name>mapred.system.dir</name>
<value>/media/xwh/新加卷/temp/hadoop/mapred/system</value>
<decription>这个是 hdfs 中的目录,存储执行程序时到共享文件</decription>
</property>
</configuration>

-------------END------------------------------

安装ssh

sudo apt-get install openssh-server

无密码登陆ssh

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh localhost

安装后要重启动，否则在后面发现start hadoop后没有namenode 和 datanode

初始化hadoop节点

1.找到hadoop安装路径

    cd /home/xwh/桌面/environment/hadoop-1.0.4

    bin/hadoop namenode -format

2.启动hadoop

    bin/start-all.sh

3.关闭hadoop

    bin/stop-all.sh

天津大学 Ubuntu源 未成功
deb http://jx.tju.zyrj.org/ubuntu/ precise main restricted
deb-src http://jx.tju.zyrj.org/ubuntu/ precise main restricted