Hadoop开发周期(一):基础环境安装
来源:互联网 发布:玩客币交易网站源码 编辑:程序博客网 时间:2024/06/07 15:27
Goole论文
在学习Hadoop之前,强烈建议先阅读goole的2大论文:The Google File System,MapReduce。
Hadoop的开发周期一般是:
1)开发和部署环境准备
2)编写mapper和reducer
2)单元测试
3)编译、打包
4)提交作业和结果检索
在用Hadoop处理大数据之间,需要首先将运行和开发环境部署好,下面是基础环境的安装过程,所有软件都安装在Linux系统上。下面先介绍在一台机器上的部署,该机器信息如下:
1 JDK安装
1)下载最新的JDK并减压 jdk-7u17-linux-x64.gz
2) 设置Java环境变量
切换到root用户的根目录, 编辑/etc/profile文件, 在该文件的最下方添加如下语句:
export JAVA_HOME=/opt/jdk1.7(可以改变)
export CLASSPATH=$CLASSPATH:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:
export PATH=$JAVA_HOME/bin:$PATH
重新执行修改过的文件
# source /root/.bashrc3) 测试是否安装成功
在终端执行:java –version, 如果显示的版本号和安装的版本号一致,则表明java设置安装成功。
2 Eclipse安装
后期需要在Eclipse中进行mapper和reducer函数的编程,现在这里搭建好IDE环境。
1)下载最新版本Eclipse
eclipse-jee-juno-SR2-linux-gtk-x86_64.tar.gz
2) 减压 tar.gz 文件
3) 在Windows系统上使用 VNC 启动 Eclipse
进入减压后的文件,点击eclipse图标或者在终端执行如下命令
./eclipse
设置工作目录
4) 常见问题解决
如果出现以下问题,但是安装的JDK在1.5以上
需要在启动Eclipse时指定它使用的JVM,为了方便我们这里写了一个脚本(startEclipse.sh)来启动eclipse,脚本如下:
使该脚本可以执行: chmod 777 startEclipse.sh
执行该脚本,eclipse即可正常启动
3 Hadoop安装
Hadoop有3种安装模式单机模式、伪分布模式和全分布模式。
3.1 安装
1)下载最新版本的Hadoop,并减压
% tar xzf hadoop-x.y.z.tar.gz
2) Hadoop路径配置
切换到root用户的根目录, 编辑/etc/profile文件, 在该文件的最下方添加如下语句:
(如果只在终端输入输入exoprt,只在当前shell下生效,以后重启就不生效了,所有一劳永逸在.bashrc文件中配置)
#hadoop path(hadoop安装主目录)
export HADOOP_HOME=/home/hadoop/hadoop-1.0.4
export PATH=$PATH:$HADOO_HOME/bin
# log dir(日志文件路径)
export HADOOP_LOG_DIR=$HADOOP_HOME/log
重新执行修改过的文件(如果没有这一步,有时输入hadoop命令会出现:Hadoop commondnot found)
# . /root/profile3.2 配置
core-site.xml用于配置Common组件的属性,hdfs-site.xml用于配置HDFS属性,mapred-sit.xml用于配置MapReduce实现。这些配置文件都放在conf子目录下。
单机模式(Standalone or local mode)
单台机器、单线程运行、不需要启动hadoop进程,所有程序都在单个JVM上执行。该模式适合在开发阶段测试和调试MapReduce程序。
伪分布模式(Pseudo-distributed mode)单台机器,启动hadoop所有进程(如NameNode, DataNode, TaskTracker, JobTracker, SecondaryNameNode),较好的模拟hadoop集群情况。
全分布模式
需要利用多台机器,实现hadoop的分布式集群,通过高仿真环境进行集成测试。
在特定模式下运行hadoop需要做2件事:正确设置属性和启动hadoop进程。下图是配置不同模式所需要的最小属性集合。
- Hadoop开发周期(一):基础环境安装
- ubuntu开发环境搭建(一)hadoop的安装
- hadoop运行环境安装与配置+hadoop开发环境配置(一)
- hadoop入门一(基础搭建环境)
- hadoop基础----hadoop实战(一)-----hadoop环境安装---手动安装官方1.0版本
- Hadoop开发周期(三):单元测试
- 搭建Hadoop分布式开发环境(一)
- Hadoop环境搭建安装(一)
- Ubuntu14下Hadoop开发<1> 基础环境安装
- HADOOP入门-基础环境安装
- Hadoop 2.6 在MAC YOSEMITE 上安装配置 以及开发环境eclipse搭建(一)
- hadoop(一) - 环境安装准备
- hadoop基础学习-环境及实践(一)
- Android基础开发环境搭建(一)
- SpringMVC基础(一)开发环境搭建
- Hadoop基础(一)
- Hadoop开发周期(二):编写mapper和reducer程序
- Hadoop开发周期(四):发布和运行MapReduce
- css样式表编码和HTML文档编码不一致导致样式出现异常
- 黑马程序员——java编程那些事儿____jdk1.5新特性 枚举
- 自定义HTML5 audio 播放器
- 异常CLR 无法从COM 上下文0x1a0e50 转换为COM 上下文0x1a0fc0,这种状态已持续60 秒(解决)
- java.lang.UnsupportedClassVersionError: Bad version number in .class file (unable to load class
- Hadoop开发周期(一):基础环境安装
- 动态规划--最大子段和升级 最大矩阵和 hd1081
- 一些网络术语缩写
- GDB protocol manual有錯誤
- QT错误:collect2:ld returned 1 exit status
- "Could not find default endpoint element that references contract "的解决
- hdu 1754
- Android 自动添加桌面图标
- Hdu 4503 湫湫系列故事——植树节