Hadoop-2.5.0在ubuntu12.04上的搭建
来源:互联网 发布:阿里云备案 编辑:程序博客网 时间:2024/05/22 12:35
Hadoop搭建
——Pseudo-Distribution Operation
初学hadoop,结合官方文档给出在ubuntu12.04上的搭建方法。
1. Java环境搭建
可参见http://blog.csdn.net/ydd326/article/details/6860304
2. 安装ssh与rsync
$sudo apt-get install ssh rsync
根据hadoop需要ssh免密码登录的要求,对ssh进行设置
$ssh-keygen -t dsa -f ''
它会默认生成公钥到"~/.ssh" 其中‘’表示生成空密码
写入公钥
$cat ~./ssh/id_dsa.pub >> ~/.ssh/authorized_keys
启动localhost
$ssh localhost
第一次执行时需要输入“yes”。
3. 安装hadoop
1) 下载hadoop镜像
从官网下载hadoop最新版本(http://www.apache.org/dyn/closer.cgi/hadoop/common/),下载hadoop-2.5.0.tar.gz到你的安装目录。
如安装目录在~/hadoop
cd hadoop
tar -xvzf hadoop-2.5.0.tar.gz
解压后进入hadoop-2.5.0目录
2)设置环境变量
在etc/hadoop/hadoop-env.sh 中添加环境变量
# set to the root of your Java installation export JAVA_HOME=/usr/local/lib/jdk1.7.0_67# Assuming your installation directory is /home/i/hadoop/hadoop-2.5.0export HADOOP_PREFIX=/home/i/hadoop/hadoop-2.5.0
在etc/hadoop/core-site.xml 中添加信息
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>
在etc/hadoop/hdfs-site.xml中添加信息
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>
3)测试hadoop
1. 格式化文件系统
$ ./bin/hdfs namenode -format
2. 创建NameNode 和DataNode
$ ./sbin/start-dfs.sh
3. 访问NadeNode节点(default site)
http://localhost:50070/
4.生存MapReduce所需要的HDFS子文件系统
$ ./bin/hdfs dfs -mkdir /user
$ ./bin/hdfs dfs -mkdir /user/<username>
5.复制input 文件到子文件系统
$ ./bin/hdfs dfs -put etc/hadoop input
6. 运行测试程序
$ ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output 'dfs[a-z.]+'
7. 检测输出
$ ./bin/hdfs dfs -get output output
$ cat output/*
8dfs.audit.logger4dfs.class3dfs.server.namenode.2dfs.replication2dfs.period2dfs.audit.log.maxfilesize2dfs.audit.log.maxbackupindex1dfsmetrics.log1dfsadmin1dfs.servers1dfs.file
应该会出现上面的结果。
8. 关闭节点
$ ./sbin/stop-dfs.sh.
- Hadoop-2.5.0在ubuntu12.04上的搭建
- Ubuntu12.04搭建Hadoop环境
- 在 Ubuntu12.04 上安装Hadoop-1.2.1 (讲解的非常详细)
- 在ubuntu12.04LTS上编译64位hadoop-2.3.0并安装测试 单节点
- ubuntu14.04 hadoop在两台电脑上的搭建
- 在ubuntu12.04上搭建android 4.2编译环境
- 我自己在Ubuntu12.04 Desktop 上搭建Ruby on Rails 的过程记录
- Git 服务器在Ubuntu12.04上的搭建与使用体验第一篇
- Git 服务器在Ubuntu12.04上的搭建与使用体验第二篇
- ecos在Ubuntu12.04上的安装
- ffmpeg 在ubuntu12.04上的编译
- 基于Ubuntu12.04+hadoop1.2.0 的hadoop集群搭建
- 利用ubuntu12.04搭建高可用的hadoop集群
- ubuntu12.04上搭建redmine
- 在ubuntu12.04下搭建hadoop 环境(hadoop 2.0以上按此方法均可)
- Ubuntu12.04 64bit搭建Hadoop-2.2.0
- Ubuntu12.04搭建hadoop集群版环境
- Ubuntu12.04 上搭建qemu-1.4.0环境详解
- 三个三分得手
- 中国ERP市场的发展
- 关于内存溢出
- FileOutputStream实现追加功能
- Windows系统证书在注册表中的位置
- Hadoop-2.5.0在ubuntu12.04上的搭建
- 如何让struts2和servlet的共存
- linux学习 建立静态库,动态库,写简单的makefile
- 其实我一直都想对你说
- 如何在ActiveRecord自动化记录时间戳
- [HDOJ 4948] Kingdom [图论+乱搞]
- 使用事务时应该避免的陷井
- test
- opencv在fl2440上的移植