Hadoop学习全程记录(1)-hadoop入门
来源:互联网 发布:淘宝外卖就是饿了么 编辑:程序博客网 时间:2024/05/22 06:11
几天前开始学习hadoop,从今天起,想把我学习hadoop全过程记录一下。我会记录在学习过程中碰到的问题、困难以及解决方法等等,如果你也是刚学hadoop,我们可以一起讨论。
学了几天,好像入门了,在这里和大家分享,就当全程笔记的第一篇吧。
新说明一下我的开发环境
操作系统:在windows下使用wubi安装了ubuntu 10.10
hadoop版本:hadoop-0.20
Hadoop 快速入门文档:http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html
上面这个地址是最新hadoop快速入门,基本上按照里面步骤能快速入门hadoop,但这篇文档是针对hadoop 0.18写的,有些地方还是和hadoop 0.20不同。在文档“伪分布式模式的操作方法”中有下面配置说明:
在这里,你会发现在hadoop 0.20中并不存在conf/hadoop-site.xml文件,所以,如果你使用高版本的hadoop就要修改为下面的配置:
学了几天,好像入门了,在这里和大家分享,就当全程笔记的第一篇吧。
新说明一下我的开发环境
操作系统:在windows下使用wubi安装了ubuntu 10.10
hadoop版本:hadoop-0.20
Hadoop 快速入门文档:http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html
上面这个地址是最新hadoop快速入门,基本上按照里面步骤能快速入门hadoop,但这篇文档是针对hadoop 0.18写的,有些地方还是和hadoop 0.20不同。在文档“伪分布式模式的操作方法”中有下面配置说明:
- 配置
- 使用如下的 conf/hadoop-site.xml:
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>localhost:9000</value>
- </property>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
在这里,你会发现在hadoop 0.20中并不存在conf/hadoop-site.xml文件,所以,如果你使用高版本的hadoop就要修改为下面的配置:
- 配置
- 使用如下的 conf/core-site.xml:
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- </configuration>
- 配置
- 使用如下的 conf/hdfs-site.xml:
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
- 配置
- 使用如下的 conf/mapred-site.xml:
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- </configuration>
阅读全文
0 0
- Hadoop学习全程记录(1)-hadoop入门
- Hadoop学习全程记录——hadoop 入门
- Hadoop学习全程记录——ubuntu14.04下配置Hadoop(1)(修改)
- Hadoop学习全程记录——eclipse hadoop开发环境配置(2)(修改)
- Hadoop学习记录-1
- Hadoop学习全程记录——hadoop读取hdfs文件系统里的内容
- Hadoop入门学习(1)
- Hadoop 深入浅出学习记录1
- hadoop学习记录(零)
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- [转载]Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序(3)
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- PCA 处理 几十万维 数据?
- 短信防刷的一个小方案
- Exception类
- 全面的算法和数据结构知识(含代码实现)
- windows10 mxnet cuda9 安装
- Hadoop学习全程记录(1)-hadoop入门
- 数组线性表ArrayList类(运用与API实现)
- Java算法实现之桶排序
- hibernate中使用oracle的序列作为主键问题
- Linux如何查看进程、杀死进程、启动进程等常用命令
- Tensorflow实战学习(四十七)【PlayGround,TensorBoard】
- 基于DFA敏感词查询的算法简析
- 徘徊:逃离局部最优点
- Java % (取模)运算