hadoop单机部署 伪分布

安装环境 ubuntu server 12.04
              hadoop-1.0.2

1）创建hadoop用户和ssh-key

点击(此处)折叠或打开

1. #创建hadoop用户
   
2. leslie@Notebook:~$ sudo useradd-m -s /bin/bash -G sudo hadoop 
   
3. leslie@Notebook:~$ sudo su- hadoop
4. #生成key
   
5. hadoop@Notebook:~$ ssh-keygen-t rsa
6. #本地ssh 认证。
   
7. hadoop@Notebook:~$ ssh-copy-id-i .ssh/id_rsa.pub localhost
   
8. hadoop@Notebook:~$ ssh localhost

2）安装jdk

点击(此处)折叠或打开

1. hadoop@Notebook:~$ sudo apt-get install default-jdk

3) 安装hadoop
下载hadoop解压到/home/hadoop/目录下

点击(此处)折叠或打开

1. #下载hadoop-1.0.2
   
2. hadoop@Notebook:~$ wget-c http://archive.apache.org/dist/hadoop/core/stable/hadoop-1.0.2.tar.gz
3. #解压到/home/hadoop目录下
   
4. hadoop@Notebook:~$ tar xvzf http://archive.apache.org/dist/hadoop/core/stable/hadoop-1.0.2.tar.gz
5. #建立软链接
   
6. hadoop@Notebook:~$ ln-s hadoop-1.0.2 hadoop
7. #添加/etc/profile
8. 
   
9. export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
   export HADOOP_HOME=/home/hadoop/hadoop-1.0.2
   export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin
   export HADOOP_HOME_WARN_SUPPRESS=1   #忽略hadoop的警告。
   

4）配置hadoop

1.修改conf/hadoop-env.sh，添加jdk支持

点击(此处)折叠或打开

1. export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386

如果ssh端口不是默认的22，在conf/hadoop-env.sh里改下。如：

点击(此处)折叠或打开

1. export HADOOP_SSH_OPTS="-p 1234"

2 修改conf/core-site.xml，增加下面内容

点击(此处)折叠或打开

1. <property>
   
2.         <name>fs.default.name</name>
   
3.         <value>hdfs://localhost:9000</value>//决定namenode
   
4. </property>
   
5. <property>
   
6.         <name>hadoop.tmp.dir</name>
   
7.         <value>/home/hadoop/tmp</value>//临时文件，有问题的时候，可以删除
   
8.         <description>A basefor other temporary directories.</description>
   
9. </property>

3.修改conf/hdfs-site.xml，增加下面内容

点击(此处)折叠或打开

1. <property>
   
2.         <name>dfs.name.dir</name>
   
3.         <value>/home/hadoop/name</value>//namenode持久存储名字空间，事务日志的本地路径
   
4. </property>
   
5. <property>
   
6.         <name>dfs.data.dir</name>
   
7.         <value>/home/hadoop/data</value>//datanode存放数据的路径
   
8. </property>
   
9. <property>
   
10.         <name>dfs.datanode.max.xcievers</name>
    
11.         <value>4096</value>
    
12. </property>
    
13. <property>
    
14.         <name>dfs.replication</name>
    
15.         <value>1</value>//数据备份的个数，默认是3
    
16. </property>

4.修改conf/mapred-site.xml，增加下面内容

点击(此处)折叠或打开

1. <property>
   
2.         <name>mapred.job.tracker</name>//jobTracker的主机
   
3.         <value>localhost:9001</value>
   
4. </property>

5修改conf/masters，这个决定那个是secondarynamenode

点击(此处)折叠或打开

1. localhost
   

6 .修改conf/slaves，这个是所有datanode的机器

点击(此处)折叠或打开

1. localhost

5) 格式化hdfs文件系统的namenode

点击(此处)折叠或打开

1. hadoop@Notebook:~$ hadoop namenode-format
   

6 ) 启动hadoop集群

点击(此处)折叠或打开

1. hadoop@Notebook:~$ hadoop/bin/start-all.sh

7) Hdfs操作 
建立目录

点击(此处)折叠或打开

1. hadoop@Notebook:~$ hadoop dfs-mkdir zed

查看现有文件

点击(此处)折叠或打开

1. hadoop@Notebook:~$ hadoop dfs-ls

8) 关闭Hdfs

点击(此处)折叠或打开

1. hadoop@Notebook:~$ hadoop/bin/stop-all.sh