hadoop探索-Setting up a Single Node Cluster
来源:互联网 发布:可变数据打印 编辑:程序博客网 时间:2024/06/06 04:40
目的:安装和配置一个单点的hadoop,简单的操作MapReduce和hadoop分布式文件系统(HDFS Hadoop Distributed File System)。
需要的环境:java(版本要求点此)参考此博客
ssh必须被配置(hadoop节点间的通讯方式为免密码形式,所以必须被配置为ssh)暂时先不管
hadoop (我安的是2.5)
到此步骤,官网文档提示我们有三种安装方式,本地模式,伪分布模式,完全分布模式注:安装java和hadoop我都是先将压缩包拷贝到/usr/local中,再将其解压
hadoop:从官网下载完后放到/usr/local中,再解压 tar -zxvf hadoop-2.5.2.tar.gz,可以在当前目录中找到解压的hadoop-2.5.2,进入hadoop-2.5.2,
编辑配置文件 vi etc/hadoop/hadoop-env.sh,修改如下两条属性,若没有找到则添加进去
# set to the root of your Java installation export JAVA_HOME=/usr/java/latest(此处为刚才安装的jdk的JAVA_HOME的值)# Assuming your installation directory is /usr/local/hadoop export HADOOP_PREFIX=/usr/local/hadoop然后 cd usr/local/hadoop-2.5.2中执行 bin/hadoop,如果有hadoop的帮助提示,则安装成功
本地模式:
hadoop默认被配置为非分布式模式,作为一个单一的java进程,这对调试有好处
操作很简单,如果上面的步骤都配置完成后,直接执行下面几个操作即可看到结果
① cd usr/local/hadoop-2.5.2
② mkdir input
③ cp etc/hadoop/*.xml input
④ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
第四步如果想执行第二次必须删除output目录 ,rm -rf output,否则会报错
⑤ cat output/*
可以看到如下结果,成功[root@localhost hadoop-2.5.2]# cat output/*
1 dfsadmin
- hadoop探索-Setting up a Single Node Cluster
- Hadoop: Setting up a Single Node Cluster
- Setting up a Single Node Cluster on hadoop-0.23.9
- hadoop 第二节 单节点集群配置 Setting up a Single Node Cluster
- Setting up SSH for a Hadoop cluster
- 《Hadoop The Definitive Guide》ch09 Setting Up a Hadoop Cluster
- Setting up a Storm Cluster
- Setting Up Redis Cluster
- Running Hadoop On Ubuntu Linux (Single-Node Cluster)
- Running Hadoop on Ubuntu Linux (Single-Node Cluster)
- Hadoop 2.6 single node cluster安装中的几个问题
- 第4章 Hadoop 2.6 Single Node Cluster 安装指令
- Setting Up a RequestQueue
- MongoDB Cluster Setting up [replSet + Sharding]
- experience of setup a 3-node hadoop cluster environment
- Hadoop single node安装
- Hadoop - single node setup
- Setting up Neutron-dhcp-agent & Dnsmasq on Two Node Neutron GRE+OVS F20 Cluster to launch VMs with M
- AMBA、AHB、APB、ASB总线简介
- iOS应用启动时状态栏修改为白色
- Swift最酷炫的七大功能
- 第十三周项目5-字符串操作3
- Codeforces Round #279 (Div. 2)
- hadoop探索-Setting up a Single Node Cluster
- javaScript由来
- “毒瘤”并不永远是“毒瘤”(世界的平衡)
- 微商如何做销售(二)
- LeetCode 43 Wildcard Matching
- 理解矩阵
- 第十三周项目5-字符串操作4
- 黑马程序员——OC---面向对象之类和对象
- 【八十一题题目合集 微软面试100题 第八十一题】