hadoop 1.x 伪分布式部署及windows开发环境搭建
来源:互联网 发布:360淘宝装修平台 编辑:程序博客网 时间:2024/05/20 03:08
1、hadoop 1.x伪分布式部署
关于hadoop的部署,网上能搜到的帖子一大推,部署起来也比较简单,这里我简要介绍一下部署过程中的重难点
1.1、环境介绍
1、linux机器:centos 6.0 Linux version 2.6.32-71.el6.x86_64
2、hadoop安装包:这里选0.20.2,hadoop权威指南第2版是用的这个hadoop版本。
这里提供一个镜像下载地址:(突然找不到了...暂时先不写了)
3、jdk 必须采用1.6及以上版本 我用的是jdk-6u45-linux-x64.bin 在oracle官网上下的
1.2、 jdk安装
1、将jdk-6u45-linux-x64.bin 拷贝到任意目录,我拷贝到/opt下
2、用"./jdk-6u45-linux-x64.bin"运行jdk安装文件,运行完后在当前目录下会生成一个“jdk1.6.0_45”目录
3、配置JAVA_HOME
vim /etc/profile
在文件末尾加上以下配置,wq保存。注意JAVA_HOME的值根据jdk实际安装路径确定。
export JAVA_HOME=/opt/jdk1.6.0_45export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
4、用“java -version”命令查看jdk安装情况,如下则表示安装成功
[root@jiaoshou opt]# java -versionjava version "1.6.0_45"Java(TM) SE Runtime Environment (build 1.6.0_45-b06)Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)
1、3 hadoop伪分布式部署
这里先不写了,写了前面那些,感觉边回忆边写不可靠,下次有时间重新搭一个环境,边搭建边写
2、windows 开发环境配置
1、jdk版本1.6以上
2、将hadoop安装包解压到windows机器上
3、安装hadoop插件到Eclipse,注意:很多文章说必须要用hadoop安装包中的hadoop-0.20.2-eclipse-plugin.jar 这个jar包,但实际上不行,用这个jar包访问hdfs没有问题,但是运行MapReduce程序时,点“run on hadoop” 不起作用,在http://www.cnblogs.com/end/archive/2012/11/22/2782903.html网页上找到了解决办法,应该是这个jar包有问题。
- hadoop 1.x 伪分布式部署及windows开发环境搭建
- Hadoop 2.x 伪分布式环境部署
- Hadoop 2.x伪分布式环境搭建
- Hadoop 2X伪分布式环境搭建
- Mac下搭建hadoop伪分布式及eclipse开发环境
- 伪分布式Hadoop及开发环境搭建(一)
- 伪分布式Hadoop及开发环境搭建(二)
- 伪分布式Hadoop及开发环境搭建(三)
- Hadoop 1.x 伪分布式安装部署
- Hadoop 1.x 伪分布式安装部署
- hadoop 1.x 伪分布式搭建
- Hadoop 1.x 伪分布式环境测试
- Hadoop 2.X伪分布式环境搭建和测试
- Hadoop 2.x伪分布式环境搭建测试
- 05hadoop的安装部署及伪分布式搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Read 系统调用在用户空间中的处理过程
- FPGA之基于FPGA的SPARK多核处理器设计(六)
- ADMM求解各种优化函数及Matalb例子
- 【C++ Primer备忘录】习题10.18
- Java代码中使用response.redirect(url)方法,无法获取到中文的解决方法
- hadoop 1.x 伪分布式部署及windows开发环境搭建
- Can not perform this action after onSaveInstanceState
- 给刚入校大学生的一封信
- How to Convert CER to DER
- php的一种hashCode方法
- 12.sleep() 和 wait() 有什么区别?
- 最短路算法(Floyd)
- 高端人脉圈子里的10项法则和10大相处秘诀
- Flex 学习资源