hadoop单机模式配置

hadoop单机模式配置
一、SSH（secure shell）的免密码登陆
a、执行命令，产生秘钥
产生的秘钥位于 ~/.ssh文件夹中 用户目录下
cd ~ 
cd .ssh
ssh-keygen -t rsa
b、cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

ubuntu可能要手动开启ssh服务：

sudo apt-get install openssh-server
然后确认sshserver是否启动了：
ps -e |grep ssh

验证：ssh localhost
使用pieTTY的SSH登陆


二、安装hadoop
tar -zvxf hadoop-1.1.2.tar.gz 


三、配置环境变量
/etc/profile添加
export JAVA_HOME=/root/local/jdk
export HADOOP_HOME=/root/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
source /etc/profile
修改hadoop配置文件进行单机模式配置
参考教程ppt
配置文件主要位于$HADOOP_HOME/config目录下


1.hadoop-env.sh
export JAVA_HOME=/root/tool/jdk #按个人jdk安装位置自行修改
export HADOOP_PID_DIR=/var/hadoop/pids
export HADOOP_HOME_WARN_SUPPRESS=1
2、core-site.xml
<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop-${user.name}</value>
  </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>
3、hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.block.size</name>
    <value>134217728</value>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>${hadoop.tmp.dir}/dfs/data</value>
  </property>
</configuration>
4、mapred-site.xml
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
  <property>
    <name>mapred.child.tmp</name>
    <value>${hadoop.tmp.dir}</value>
  </property>
  <property>
    <name>mapred.jobtracker.completeuserjobs.maximum</name>
    <value>25</value>
  </property>
  <property>
    <name>mapred.child.java.opts</name>
    <value>-Dfile.encoding=utf-8 -Duser.language=zh -Xmx512m</value>
  </property>
  <property>
    <name>io.sort.mb</name>
    <value>256</value>
  </property>
  <property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>4</value>
  </property>
  <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>4</value>
  </property>
</configuration>


四、启动单机版hadoop

格式化hadoop：hadoop namenode -format

删除原来的Hadoop数据:rm -rf /data/hadoop/tmp

启动：start-all.sh
命令jps查看启动了5个进程 NameNode JobTracker TaskTracker DataNode SecondaryNameNode


web查看：http://192.168.1.100:50070/dfshealth.jsp
http://hadoop:50070/dfshealth.jsp


http://192.168.1.100:50030/jobtracker.jsp
http://hadoop:50030/jobtracker.jsp
然后hadoop配置和启动成功了！
其他的请参考我另外一篇配置文章