hadoop入门级配置笔记(v1.2.1,win7 64位系统)
来源:互联网 发布:淘宝关联账户能开店吗 编辑:程序博客网 时间:2024/05/15 02:50
1、安装JDK,配置环境变量,这个没商量,不会的自己百度;
2、下载并安装cygwin,这样就可以在windows下使用命令行了,具体可以参考 http://jingyan.baidu.com/article/6b97984d83dfe51ca2b0bf0e.html,注意同时安装Net分类下面的openssh;
3、下载hadoop发行版本,解压到你想要的目录,修改conf/hadoop-env.sh将JAVA_HOME设置为Java安装根路径;
4、配置conf/hadoop-site.xml:
<span style="font-family:SimSun;font-size:14px;"><configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property><property><name>mapred.job.tracker</name><value>localhost:9001</value></property><property><name>dfs.replication</name><value>1</value></property></configuration></span>
5、配置ssh,打开cygwin,执行ssh-host-config,一路yes,执行到Enter the value of CYGWIN for the daemon: [] ,输入ntsec,继续yes,然后输入两次相同的密码;
6、启动sshd,在cygwin中执行cygrunsrv --start sshd(停止cygrunsrv --stop sshd);
7、生成密钥文件,在cygwin中执行ssh-keygen,输入保存的路径,建议放在{当前用户}/.ssh/id_rsa,cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
8、测试ssh是否能够使用,在cygwin中执行ssh localhost、yes、输入当前系统用户登录密码(如果有登录密码),出现类似Last login: Mon Apr 6 21:04:32 2015 from 127.0.0.1信息,则表明ssh可以正常使用;
9、替换jar包,由于在windows下面,官方包存在BUG,可以下载 http://dl2.iteye.com/upload/attachment/0089/3020/f0eb1170-bd77-31d6-bd76-49098c411cc3.jar,修改jar包名为hadoop-core-1.2.1,替换原有的jar包即可;
10、启动hadoop,在cygwin中进入${HADOOP_HOME}(hadoop解压后的目录,下面不再累述),执行bin/hadoop namenode -format格式化一个新的分布式文件系统,执行bin/start-all.sh启动hadoop守护进程;
11、创建输入环境,在cygwin中分别执行mkdir input、cp conf/*.xml input;
12、执行示例,在cygwin中执行 bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+';
13、将分布式文件系统上的文件copy到本地,在cygwin中执行 bin/hadoop fs -get output output。
==================我是华丽丽的分割线======================
写在最后:
此文档是参考官方入门教程 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html 补充和改正的,本人也是初步接触hadoop,以上是我在搭建hadoop环境时,遇到大量问题后总结出来的,其中肯定存在不足,希望能给刚入门的带来指导作用,若有不足,请指正。如果在搭建的过程中出现什么问题,欢迎回复本帖或者发邮件 zhipingcai@qq.com,我们一同学习。
- hadoop入门级配置笔记(v1.2.1,win7 64位系统)
- 64位win7系统下cocos2d-x3.x的环境配置(自学笔记)
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (三) 在Eclipse中配置Hadoop
- 在win7 64位系统下配置IIS
- 在VS2010配置MPI--win7下64位系统
- Win7 64位系统+vs2010+vs2013+Opencv2.4.7配置总结
- WIN7 64位系统安装JDK并配置环境变量
- Win7 64位系统下VS2010配置OpenCV2.4.4
- win7 64位系统中mysql免安装版配置
- 在VS2010配置MPI--win7下64位系统
- win7 64位系统,vs2010下配置OpenGL开发环境
- win7 64位系统,vs2010下配置OpenGL开发环境
- OpenCV2.4.10+visual studio2013环境配置+win7 64位系统
- WIN7 64位系统安装JDK并配置环境变量
- win7 64位系统,vs2010下配置OpenGL开发环境
- 64位Win7系统中配置Apache+Mysql+PHP环境
- WIN7 64位系统安装JDK并配置环境变量
- win7 64位系统下VS 2010 opencv2.4.9配置
- 每日一得--数字证书
- 终于懂得孤独是躲不开的单行道
- Git学习笔记(八) Git基本操作
- windows程序设计 GDI简介
- OC学习之道:关于数组的集中经典遍历方法
- hadoop入门级配置笔记(v1.2.1,win7 64位系统)
- Android Metro风格的Launcher开发系列第三篇
- 高级碰撞检测技术
- android input系统
- new和malloc的区别(一)
- Git学习笔记(九) 历史穿梭
- Git学习笔记(十) 改变历史
- 步步为营_Android开发课[12]_Json学习
- Java 关于paintComponent函数问题