Mac环境下配置Hadoop-2.6.2版本
来源:互联网 发布:hugo这家淘宝店正吗 编辑:程序博客网 时间:2024/04/20 16:11
我的安装目录:/Users/Dery/Hadoop/hadoop-2.6.2
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_60.jdk/Contents /Home
2. 伪分布模式
<name>hadoop.tmp.dir</name>
<value>/Users/Dery/Hadoop/hadoop-2.6.2/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
(2) 配置yarn-site.xml
<configuration></configuration>之间增加如下内容:
<property>
<name>yarn.noCHdemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
(3) 创建和配置mapred-site.xml
默认/etc/hadoop文件夹下有mapred.xml.template文件,复制更改用户名mapred.xml
<configuration></configuration>之间增加如下内容:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
(4) 配置hdfs-site.xml
指定主机上作为namenode和datanode的目录:
/Users/Dery/Hadoop/hadoop-2.6.2/hdfs/name
/Users/Dery/Hadoop/hadoop-2.6.2/hdfs/data
<configuration></configuration>之间增加如下内容:
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/Users/Dery/Hadoop/hadoop-2.6.2/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/Users/Dery/Hadoop/hadoop-2.6.2/hdfs/data</value>
</property>
(5) 格式化hdfs
hdfs namenode -format
(6) 启动hadoop
cd /Users/Dery/Hadoop/hadoop-2.6.2/sbin
./start-dfs.sh
./start-yarn.sh
浏览器打开 http://localhost:50070/,会看到hdfs管理页面
浏览器打开 http://localhost:8088/,会看到hadoop进程管理页面
(7) WordCount验证
创建input目录
hadooop fs -mkdir input
fs:hadoop下的文件命令,和普通命令基本一致
拷贝文件
hadooop fs -copyFromLocal README.txt input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
cat output/*
注:成功看到结果
- Mac环境下配置Hadoop-2.6.2版本
- mac下配置eclipse的hadoop环境
- MAC下Hadoop环境配置(模拟分布式模式)
- Mac系统下, hadoop 2.6.2 完全分布式 配置
- Hadoop 0.20.2 在mac os 10.9 环境下 pseudo distributed 配置
- MAC下 JDK环境配置、版本切换以及ADB环境配置
- 【hadoop学习】在Mac OS上配置hadoop伪分布式环境【下】
- Hadoop 2.7.2 开发环境配置(Mac 10.11.5)
- Mac系统下,Hadoop 2.6.2 + ZooKeeper 3.4.6 + HBase 1.1.5 完全分布式环境搭建
- Eclipse下配置hadoop环境
- Ubuntu下配置Hadoop环境
- Ubuntu下配置hadoop环境
- Ubuntu下配置Hadoop环境
- Ubuntu下配置hadoop环境
- Windows下配置Hadoop环境
- 在mac上配置LightGBM以及不同python版本在anaconda下环境配置
- Mac环境下搭建Hadoop开发框架
- mac下搭建hadoop伪分布式环境
- Android HttpURLConnection及HttpClient选择
- jmockit 使用MockUp卡死解决方法
- 使用苹果自带的UIVideoEditController进行视频编辑
- 高性能服务器程序框架--不断补充,欢迎交流
- Android Studio 快捷键
- Mac环境下配置Hadoop-2.6.2版本
- 2016年新鲜出炉的20款网页开发工具推荐
- golang语法总结(十):关于++和--
- iOS UIImage渲染模式 imageWithRenderingMode:
- 重用convertView时防止图片不断刷新
- TextView跑马灯效果-自定义控件
- Java中float的取值范围为什么是那么大?
- 抽象类的概述和讲解
- 向量叉积的几何意义