hadoop起步之环境安装2

来源：互联网发布：笑气淘宝下架编辑：程序博客网时间：2024/06/05 00:21

平台：window7

由于环境安装1 中介绍的cygwin安装遇到很多坑，所以更换了方案，使用虚拟机来配置hadoop，简单描述下流程

1、使用vmware

2、虚拟机为centos

3、现在vmware上安装centos

4、yum upgrade，更新下软件包

5、使用vmware共享文件夹

(1)、首先选择vmware菜单中的虚拟机-->安装vmware tools

(2)、vmware会将tools的安装包放置在/dev/cdrom中，在centos中mount该目录： mount /dev/cdrom /mnt/cdrom

(3)、解压 /mnt/cdrom 中的 /mnt/cdrom/VMwareTools-x.x.x-yyyy.tar.gz 到某个临时目录：tar xzfv /mnt/cdrom/VMwareTools-x.x.x-yyyy.tar.gz

(4)、执行vmware-install.pl，安装vmware tools，如果在安装中遇到无法找到某个包或依赖项，使用yum进行相应安装即可

(5)、关机，在vmware中配置共享文件夹

(6)、重启centos，共享文件夹会出现在/mnt/hgfs目录下

(7)、如果没有，尝试：mount –t vmhgfs .host:/share-name /mnt/share-name

(8)、可以在 /etc/fstab 中添加如下条目，实现开机就 mount 共享目录：.host:/share-name /mnt/share-name vmhgfs defaults 0 0

6、下载jdk和hadoop的压缩包，并放置在共享文件夹中

7、在centos中解压

8、配置jdk和hadoop环境变量(/etc/profile)：

(1)、export JAVA_HOME=/jdk路径

(2)、export PATH=${JAVA_HOME}/bin:$PATH

(3)、export CLASSPATH=.:${JAVA_HOME}/lib

(4)、export HADOOP_INSTALL=/hadoop路径

(5)、export PATH=${HADOOP_INSTALL}/bin:$PATH

9、配置hadoop文件（使用的是伪分布模式）

(1)、hadoop2.6.2/etc/hadoop/hadoop-env.sh，添加JAVA_HOME导出（按理profile配置完应该能找到，但是运行hadoop时告诉我还是找不到JAVA_HOME，所以在这再export了一次）

(2)、修改core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration>

(3)、修改hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

10、配置ssh免密码登录

(1)、ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

(2)、cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized.keys

(3)、ssh localhost，第一次输yes

11、初始化namenode：hadoop namenode -format

12、启动dfs：./start-dfs.sh

13、关闭dfs：./stop-dfs.sh

0 0