ubuntu14上hadoop的搭建(1)
来源:互联网 发布:bms soc算法 编辑:程序博客网 时间:2024/05/22 17:26
在windows上搭建运行hadoop遇到了各种小问题,后来装了虚拟机,但是cpu被占到了90%,电脑奇热,于是索性安装了双系统。
ubuntu14上用terminal搭建hadoop会简单许多。
开始先进行hadoop单机模式的搭建,这种模式大多运用在学习和测试,之后的为分布模式和分布模式才能真正体现hadoop的HDFS优势。
配置:ubuntu14 64位
hadoop1.0.3
首先去hadoop官网下载相应版本,解压到相应文件,我解压到了/urs/local/hadoop
- ~$ sudo tar xzf hadoop-1.0.3.tar.gz
- ~$ sudo mv hadoop-1.0.3 /usr/local/hadoop
ssh安装
hadoop用无口令的ssh协议,ssh采用公钥加密声称一个公钥,一个私钥。公钥被储存在本地集群的每个节点上,私钥则由节点访问远端节点发送过来。相当于一个主节点与节点之间的验证通道。
以下便是流程化的安装配置ssh
打开ubuntu的terminal
1. 安装; ~$ sudo apt-get install openssh-server
2.启动ssh服务:~$ sudo /etc/init.d/ssh start
3.检验是否启动:~$ ps -e | grep ssh
设置免密码登录,生成私钥和公钥,(一定不要设置密码)
~$ ssh-keygen -t rsa -P ""
会出现提示设置密码,直接enter就会跳过
~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
尝试登录ssh
~$ ssh localhost
登出
~$ exit
ssh安装配置完成
安装jdk
java -version 进行检查
~$ sudo apt-get install openjdk-6-jdk
~$ java -version
hadoop安装配置
前面我们应该已经利用配置ssh的时间下载完成了hadoop
现在进入hadoop目录,打开conf目录下到hadoop-env.sh,添加以下信息:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk (视你机器的java安装路径而定)
export HADOOP_HOME=/usr/local/hadoop(hadoop的文件路径)
export PATH=$PATH:/usr/local/hadoop/bin(hadoop里bin文件的路径)
是环境变量生效:~$ source /usr/local/hadoop/conf/hadoop-env.sh
输入 hadoop -version:检测完成配置
WordCount实现简单mapreduce过程
如果不喜欢用终端,一些建立文件也可以在图形界面完成
在hadoop目录下新建input文件夹
~$ mkdir input
将conf中的所有文件拷贝到input文件夹中
view~$cp conf/* input<span style="font-family: Arial, Helvetica, sans-serif; white-space: normal; background-color: rgb(255, 255, 255); "> </span>
运行WordCount程序,并将结果保存到output中
~$ bin/hadoop jar hadoop-xxx-examples.jar wordcount input output (bin中有一个hadoop example文件,自己找路径)
运行,所有conf文件的词频就被count出来了
~$ cat output/*
- ubuntu14上hadoop的搭建(1)
- ubuntu14.04 hadoop在两台电脑上的搭建
- ubuntu14.04的hadoop环境搭建(全分布模式)
- UBUNTU14.04 hadoop搭建的注意事项
- 在ubuntu14.04上使用ambari搭建hadoop集群
- Hadoop集群搭建(hadoop+zookeeper+hbase)Ubuntu14.04
- ubuntu14.04搭建hadoop集群
- Ubuntu14.04上配置hadoop
- VMWare10下基于Ubuntu14搭建Hadoop-1.2.1集群
- ubuntu14.4(虚拟机)搭建hadoop 2.7.2
- ubuntu14.04上搭建weblogic
- ubuntu14.04 i686搭建hadoop-2.5.2
- ubuntu14.01.1 搭建eclipse Hadoop开发环境
- ubuntu14.04搭建hadoop伪集群环境
- 在ubuntu上搭建hadoop(一)
- 在ubuntu上搭建hadoop(二)
- hadoop 伪分布模式搭建(上)
- centos7上搭建hadoop(基础篇)
- Makefile之Linux内核模块的Makefile写法分析
- Java回调函数
- VS2010中“工具>选项中的VC++目录编辑功能已被否决”解决方法
- nginx配置拒绝异常请求uri
- 学习笔记:boost lock-free queue
- ubuntu14上hadoop的搭建(1)
- MySQL修改表-防止SQL重复执行
- chinese
- 使用ccache大幅度加速gcc编译速度
- android开发步步为营之39:NotificationManager发通知
- chrome浏览器使用uploadify插件频繁崩溃的原因及解决办法
- 最近公共祖先LCA:Tarjan算法(介绍2)
- 结构模式之代理模式 静态代理
- C#中 Oracle实用随笔