win7下安装hadoop

先前已经通过cygwin使用总结和cygwin安装sshd服务并实现无密码登录搞定了cygwin，接下来就是正式安装hadoop了（注意这里是单节点的伪分布式）。

环境及软件准备：

win7（64位）

cygwin 1.7.9-1

jdk-6u25-windows-x64.zip

hadoop-0.20.2.tar.gz

 

1.安装jdk，并置java环境变量包括：JAVA_HOME，PATH，CLASSPATH

 

2.安装Hadoop，版本为0.20.2，我是直接放到/home目录下，并解压
tar –zxvf hadoop-0.20.2.tar.gz

 

3.配置Hadoop，需要修改hadoop的配置文件，它们位于conf子目录下，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml 和mapred-site.xml

(1) 修改hadoop-env.sh：

只需要将JAVA_HOME 修改成JDK 的安装目录即可

export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25

（注意：路径不能是windows 风格的目录d:\java\jdk1.6.0_25，而是LINUX 风格/cygdrive/d/java/jdk1.6.0_25）

(2) 修改core-site.xml：（指定namenode）

<configuration><property>  <name>fs.default.name</name>  <value>hdfs://localhost:9000</value></property></configuration>

(3)修改hdfs-site.xml（指定副本为1）

<configuration><property>  <name>dfs.replication</name>  <value>1</value></property></configuration>

(4) 修改mapred-site.xml （指定jobtracker）

<configuration><property>  <name>mapred.job.tracker</name>  <value>localhost:9001</value></property></configuration>

 

4.验证安装是否成功，并运行Hadoop

(1) 验证安装

$ bin/hadoopUsage: hadoop [--config confdir] COMMANDwhere COMMAND is one of:  namenode -format     format the DFS filesystem  secondarynamenode    run the DFS secondary namenode  namenode             run the DFS namenode  datanode             run a DFS datanode  dfsadmin             run a DFS admin client  mradmin              run a Map-Reduce admin client  fsck                 run a DFS filesystem checking utility  fs                   run a generic filesystem user client  balancer             run a cluster balancing utility  jobtracker           run the MapReduce job Tracker node  pipes                run a Pipes job  tasktracker          run a MapReduce task Tracker node  job                  manipulate MapReduce jobs  queue                get information regarding JobQueues  version              print the version  jar <jar>            run a jar file  distcp <srcurl> <desturl> copy file or directories recursively  archive -archiveName NAME <src>* <dest> create a hadoop archive  daemonlog            get/set the log level for each daemon or  CLASSNAME            run the class named CLASSNAMEMost commands print help when invoked w/o parameters.

(2) 格式化并启动Hadoop

bin/hadoop namenode –format

bin/start-all.sh

(3) 查看Hadoop

命令行查看：

$ jps1608 NameNode6572 Jps6528 JobTracker

（注意：win7下cygwin中DateNode和TaskTracker进程是无法显示的，好像是cygwin的问题）

网页查看：

http://localhost:50030

http://localhost:50070

(4) 关闭Hadoop

bin/stop-all.sh

 

嘿嘿，轻松搞定~_~