Hadoop 学习1
来源:互联网 发布:淘宝代销怎么没有了 编辑:程序博客网 时间:2024/06/01 18:55
好久没有写博客了……!
这里总结一下Hadoop安装过程中的一些问题,像如何安装JDK、ssh、下载Hadoop这里我就不提了,网上已经烂大街了。
伪分布式的相关配置
hadoop-env.sh
# The java implementation to use.export JAVA_HOME=/usr/java/jdk1.8.0_131
yarn-env.sh
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/export JAVA_HOME=/usr/java/jdk1.8.0_131
配置文件:core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> <description>HDFS的URI,文件系统://namenode标识:端口号</description></property><property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> <description>namenode上本地的hadoop临时文件夹</description></property></configuration>
配置文件:hdfs-site.xml
<configuration><property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/hdfs/name</value> <description>namenode上存储hdfs名字空间元数据 </description> </property><property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/hdfs/data</value> <description>datanode上数据块的物理存储位置</description></property><property> <name>dfs.replication</name> <value>1</value> <description>副本个数,配置默认是3,应小于datanode机器数量</description></property></configuration>
配置文件:mapred-site.xml
<configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value></property></configuration>
配置文件:yarn-site.xml
<configuration><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property></configuration>
配置完成之后执行:
./bin/hdfs namenode –format (首次执行 不需要多次执行)
然后启动 ./sbin/start-dfs.sh
这个时候 使用jps查看进程(如果没有按照提示安装)
此时应该有四个:
SecondaryNameNode
Jps
DataNode
NameNode
如果此时没有NameNode,可以这样解决:
首先执行 ./sbin/stop-all.sh
然后根据core-site.xml中的hadoop.tmp.dir 的值,这里我的是/usr/local/hadoop/tmp,将目录底下的文件夹删掉,然后重新执行./bin/hdfs namenode –format 然后启动 ./sbin/start-dfs.sh
正常之后,可以执行./sbin/start-yarn.sh
这个时候 使用jps可以看到两个新的进程名:
NodeManager 和ResourceManager 如果没有ResourceManager ,可以重新启动(反正我是这样解决的)。
上面弄好之后,可以运行个代码试试,这里使用Hadoop自带的wordcount,就是单词计数
首先创建
因为是伪分布式,跑代码的时候Hadoop是从HDFS中读取文件数据的,所以需要将创建的两个文件上传到HDFS中,(参考:http://daixuan.blog.51cto.com/5426657/1745781
http://blog.csdn.net/wang_zhenwei/article/details/47444335)
这样就可以啦!
可以登录localhost:50070查看HDFS的web页面!
OK了!
- Hadoop学习1:Hadoop概述
- Hadoop 学习小结(1)
- hadoop学习系列1
- hadoop 学习总结1
- Hadoop学习记录-1
- hadoop学习笔记1
- hadoop学习笔记1
- Hadoop学习笔记1
- 学习Hadoop(1)mapreduce
- Hadoop学习(1)
- Hadoop学习笔记1
- 1、深入学习hadoop
- Hadoop学习笔记1
- hadoop基础学习1
- hadoop学习笔记(1)
- Hadoop 学习笔记1
- HADOOP学习笔记----------------------(1)
- Hadoop学习笔记1
- Android自动化测试uiautomator入门
- bzoj 3622: 已经没有什么好害怕的了 dp+容斥原理
- SVM代码实现非线性分类
- VideoFrame的编码,发送流(一)
- 棋盘 (省队集训 网(du)络(liu)流(ti))
- Hadoop 学习1
- 日常训练 20160601 B君的关系 羊毛 (Wolle) Burnside
- 欢迎使用CSDN-markdown编辑器
- leetcode136题解
- 动态加载表格数据,自动增加tr td
- 2017浙工大之江学院校赛D-数学||矩阵快速幂
- Python学习笔记02-列表与操作列表
- Android应用开发之所有动画使用详解
- H