Hadoop2安装——单机模式
来源:互联网 发布:6878游戏源码 编辑:程序博客网 时间:2024/06/05 04:42
Hadoop有三种模式 单机模式、伪分布模式和完全分布模式
这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。
Hadoop 网址http://hadoop.apache.org/ OSC地址 http://www.oschina.net/p/hadoop
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz
下载的版本是hadoop-2.0.2-alpha
安装前确定java安装 略
一、拷贝到/usr/local 解压 hadoop
1
cp hadoop-
2.0
.
2
-alpha.tar.gz /usr/local
2
cd /usr/local
3
tar -zxvf hadoop-
2.0
.
2
-alpha.tar.gz
目录结构和配置文件这里就 省略()
二、修改配置文件 hadoop-env.sh
Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下,由于默认情况下是单机模式,一般不用做修改就可以直接做第三步测试实例,下面只是安装实际情况修改。
1、在hadoop中配置JAVA_HOME
默认的是export JAVA_HOME=${JAVA_HOME} 如果原来在环境变量中配置过,就可用使用默认的,不需修改
1
export JAVA_HOME=/opt/java
2、修改java虚拟机的类存
原来启动JVM时配置的最大内存是128m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小
如果不需要也不必修改。
export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS"
1
export HADOOP_CLIENT_OPTS=
"-Xmx512m $HADOOP_CLIENT_OPTS"
三、运行实例 Hello Hadoop
切换到该安装目录下,建立要上传到hadoop的两个文件 test1.txt、test2.txt
1
mkdir input
2
cd input
3
echo
"hello world"
> test1.txt
4
echo
"hello hadoop"
> test2.txt
5
cd ..
1
$bin/hadoop jar /usr/local/hadoop-
2.0
.
2
-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.0
.
2
-alpha.jar wordcount input output
bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output
查看结果
1
$cat output/*
hello 2
world 1
- Hadoop2安装——单机模式
- Hadoop2安装-单机模式
- CentOS7上安装Hadoop2.0——单机模式/伪分布式模式 暨任务二
- hadoop2.5.1单机模式简易安装教程
- Ubuntu14.04安装Hadoop2.5.2(单机模式)
- Ubuntu 14.04安装Hadoop2.5.2(单机模式)
- ubuntu下安装Hadoop2.6.0单机模式
- 新手上路——hadoop2.7.3单机模式环境搭建
- cdh hadoop2单机安装
- 单机安装hadoop2.6.4
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 --- 单机模式
- Ubuntu12.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- 【源码】斗地主人机对战程序算法2012完整版
- DCIM
- Centos 挂载U盘 只读
- IOS 将UIView转成UIImage
- 歼10B颠覆性进展令俄震惊:DSI进气道和中国风洞秘密
- Hadoop2安装——单机模式
- js-addEventListener+attachEvent
- 如何在joomla 2.5模板中查看模块位置
- DCOM揭秘之一
- 详解如何配置Qt使用VS2010进行开发
- MFC90条技巧-带目录
- 简悦创始人云风谈程序员的职业素养
- 图片-云图
- gridView中嵌套gridview 如何获得里面gridview的点击事件