hadoop学习(一)------------搭建单机本地运行环境
来源:互联网 发布:数据库原理与应用的ppt 编辑:程序博客网 时间:2024/06/11 02:34
软件准备:
1.操作系统为ubuntu kylin 14.04 LTS http://www.ubuntu.com/download/desktop
2.java SDK为jdk1.7.0_15 http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u72-oth-JPR
3.hadoop版本为1.2.1 http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/
软件安装:
1.首先在vmware中安装ubuntu操作系统
2.ubuntu默认没有设置root用户密码,所以我们先设置其密码,再使用root用户进行操作."sudo passwd root"设置root密码
3.安装java
mkdir /usr/lib/java
tar -xvf jdk-xxx.tar.gz
然后修改.bashrc文件加入java的环境变量
export JAVA_HOME=/usr/lib/java/jdk1.7.0_15
export JRE_HOME=${JAVA_HOME}/jre
export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${PATH}
3.1.source .bashrc使设置生效
3.2.java -version确认安装成功
4.安装SSH
hadoop采用SSH进行通信,此时要设置密码为空,即不需要密码登录,这样免去每次都输入密码。
一般默认都安装了SSH,如果没有安装,用apt-get install ssh命令下载安装即可。
4.1.启动SSH
service ssh start
4.2.确认SSH启动
ps -e | grep ssh
4.3.设置免密码登录,生成私钥和公钥:
ssh-keygen -t rsa -P ""
在/root/.ssh/中生成id_rsa和id_rsa.pub分别为私钥和公钥。
将公钥追加到authorized_keys中,这个文件保存的所有允许以当前用户身份登录到SSH客户端用户的公钥内容。
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
4.4 ssh localhost确认现在可以不用密码登录.
5.安装rsync
apt-get install rsync
6.安装hadoop
mkdir /usr/local/hadoop
tar -xvf hadoop-1.2.1-bin.tar.gz
6.1配置java
cd /usr/local/hadoop/hadoop-1.2.1/conf
vi hadoop-env.sh
export JAVA_HOME=/usr/lib/java/jdk1.7.0_15
source hadoop-env.sh使配置生效
6.2在root环境变量PATH中加入hadoop
vi /root/.bashrc
export JAVA_HOME=/usr/lib/java/jdk1.7.0_15
export JRE_HOME=${JAVA_HOME}/jre
export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${PATH}:/usr/local/hadoop/hadoop-1.2.1/bin
source .bashrc
6.3.hadoop version确认安装配置成功
7.运行自带的WordCount例子
cd /usr/local/hadoop/hadoop-1.2.1
mkdir input
hadoop jar hadoop-examples-1.2.1.jar wordcount input output
这个例子会运行自带的wordcount并把结果输出到output中.这个例子是统计文件中单词出现的个数。
查看运行结果 cat output/*
至此,单机模式安装配置完成。
- hadoop学习(一)------------搭建单机本地运行环境
- hadoop学习(一)------------搭建单机本地运行环境
- ubuntu12.04下安装hadoop-1.0.3 并搭建单机伪分布式运行环境(一)
- Hadoop系列~环境搭建,单机/伪分布式配置(一)
- hadoop学习之单机环境搭建
- hadoop平台搭建(3)--hadoop安装、环境配置、单机运行
- hadoop单机环境搭建
- hadoop单机环境搭建
- hadoop单机环境搭建
- Hadoop单机环境搭建笔记(ubuntu)
- Ubuntu上搭建单机版Hadoop运行环境
- Hadoop 2.x环境搭建之单机运行模式配置
- Hadoop学习笔记(一)环境搭建
- hadoop 学习之(一)搭建环境
- Hadoop单机模式环境搭建
- hadoop的单机环境搭建
- hadoop单机开发环境搭建
- 本地Hadoop学习环境搭建(win10 Linux子系统)
- Linux文件操作---随手记
- android.app.ANRAppManager.dumpMessageHistory记录
- awk
- 结构体中得函数指针,让我们更加方便~
- Quartz配置1.6&2.2
- hadoop学习(一)------------搭建单机本地运行环境
- 备考等级C++
- canvas背景填充、缩放、变换、文本
- Android MIC 口的音频采集
- POJ 3461 解题报告
- 如何配置HeidiSql SSH Tunnel访问远端Mysql数据库
- 关于conversion to dalvik format failed with error
- Linux分区,磁盘扩容缩容,磁盘限额
- spring 主要涉及类类图