Hadoop伪分布式安装体验
来源:互联网 发布:mysql恢复数据库 命令 编辑:程序博客网 时间:2024/06/07 20:46
这段时间有空想研究MapReduce,于是选择安装Hadoop。只有一台机器,就选择了伪分布式安装。
如果在安装java时没设置JAVA_HOME,那在hadoop-env.sh文件添加如下内容:
正常输出如下:
输出如下:
可以看到,jps命令列出素有守护进程。安装成功。
1、从官网下载Hadoop2.2
2、把安装包解压到当前用户名的主目录下。(也可以把Hadoop解压放置到其他地方,但是请确保该文件夹的所有者是执行hadoop操作的用户)
3、设置ssh的无密码访问,详情请移步这里
4、安装JAVA环境,详情请移步这里
5、对Hadoop的设置:
下面四个文件在hadoop/etc/hadoop文件夹下:
5.1 设置core-site.xml
添加如下内容:
<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property></configuration>5.2设置mapred-site.xml
安装包里没有该文件,只有mapred-site.xml.template,拷贝一份为mapred-site.xml即可,在mapred-site.xml中添加如下内容 :
<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property></configuration>5.2 设置hdfs-site.xml
添加如下内容:
<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>5.3 设置hadoop-env.sh
如果在安装java时没设置JAVA_HOME,那在hadoop-env.sh文件添加如下内容:
# The java implementation to use.export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/opt/jdk1.7.0_45
在core-site.xml和mapred-site.xml中分别指定了NameNode和JobTracker的主机名与端口。在hdfs-site.xml只能指定了HDFS的默认副本数,因为仅仅运行在一个节点上,这里副本为1.
如果把上述5步都设置完了,安装伪分布式安装基本完成。执行以下操作看效果:
1. hadoop@node1:~/hadoop$ bin/hadoop namenode -format
正常输出如下:
......(一大堆省略)
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at node1/127.0.1.1
************************************************************/
2. hadoop@node1:~/hadoop$ sbin/start-all.sh
输出如下:
hadoop@node1:~/hadoop$ sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.shStarting namenodes on [localhost]localhost: starting namenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-namenode-node1.outlocalhost: starting datanode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-datanode-node1.outStarting secondary namenodes [0.0.0.0]0.0.0.0: starting secondarynamenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-secondarynamenode-node1.outstarting yarn daemonsstarting resourcemanager, logging to /home/hadoop/hadoop/logs/yarn-hadoop-resourcemanager-node1.outlocalhost: starting nodemanager, logging to /home/hadoop/hadoop/logs/yarn-hadoop-nodemanager-node1.out
3. hadoop@node1:~/hadoop$ jps输出如下:
hadoop@node1:~/hadoop$ jps 2035 NameNode2933 Jps2248 DataNode2888 NodeManager2664 ResourceManager2513 SecondaryNameNodehadoop@node1:~/hadoop$
可以看到,jps命令列出素有守护进程。安装成功。
- Hadoop伪分布式安装体验
- Hadoop 伪分布式安装
- hadoop 伪分布式安装
- Hadoop 伪分布式安装
- HADOOP伪分布式安装
- hadoop伪分布式安装
- Hadoop伪分布式安装
- Hadoop伪分布式安装
- hadoop伪分布式安装
- hadoop伪分布式安装
- 伪分布式Hadoop安装
- hadoop伪分布式安装
- hadoop伪分布式安装
- Hadoop 伪分布式安装
- 伪分布式安装Hadoop
- 伪分布式安装hadoop
- Hadoop伪分布式安装
- Hadoop伪分布式安装
- vs2012 无法启动此程序,因为计算机中丢失glut.dll
- hadoop通过JNI调用cuda程序
- 1126 看电视
- 可怜的小家伙们哪,连暑假都不得舒心 [好文,赞]
- 停止定时器
- Hadoop伪分布式安装体验
- Eclipse使用EGit插件 把本地代码提交到远程仓库
- cocos2d-x 2.2.1异步加载图片
- 监视网卡状态
- FMDatabase 的使用方法
- 深入理解计算机系统--读书笔记
- 面向过程的程序设计
- worldwind学习笔记-11-下一步咋办?
- 剑指Offer试题总结(二)