如何在Centos6.5下部署hadoop2.2单机伪分布式(二)
来源:互联网 发布:数据库营销 培训 编辑:程序博客网 时间:2024/05/21 15:00
hadoop2.x的稳定版本,已经发布多时了,散仙一直都用的hadoop1.x的版本,最近有项目用到hadoop2.x,所以就开始折腾hadoop2.x了,在hadoop2.x的版本里,目前最新版本已经到hadoop2.4了,但散仙在这里用的是hadoop2.2.0的版本,为什么用它? 因为这是一个稳定的版本,所以相对来说,问题比较少。
散仙在上篇博客,已经讲了如何在编译hadoop2.2.0的64位的版本,如果有不清楚怎么编译,可以参考散仙上篇博文,在这里就不涉及了。
下面,散仙以表格的形式描述下伪分布式安装
系统环境如下:
序号名称描述1系统环境Centos6.52JAVA环境JDK1.73Haoop版本hadoop2.2.0
安装步骤如下:
序号步骤1解压hadoop,并配置环境变量2使用which hadoop命令,测试是否成功3配置core-site.xml4配置hdfs-site.xml5配置yarn-site.xml(非必须,使用默认也可)6配置mapred-site.xml7配置mapred-env.sh里面的JAVA路径8如上的配置完成后,需要新建几个文件夹,来提供HDFS的格式化底层一个是hadoop的tmp文件夹,另外的是namenode和datanode的文件夹,来分别存储各自的信息9上面一切完成后,即可执行hadoop namenode -format 进行格式化10然后启动伪分布式集群,执行命令sbin/start-all.sh 最后使用JPS查看JAVA进程11配置本机的hosts文件,映射主机名信息
下面来详细说下,各个步骤的具体操作:
在这之前,最好配置好本机的SSH无密码登陆操作,避免hadoop进程之间通信时,需要验证。
下面是各个xml文件的配置
mapred-env.sh里面的配置
然后,建对应的几个文件夹即可,路径都在hadoop2.2的根目录下即可,
然后执行格式化命令bin/hadoop namenode -format即可;
最后使用jps命令,查看进程,如果有以下几个进程名称,就代表部署伪分布式成功
然后,访问界面端口,注意与之前的配置文件里一致,namenode的端口号仍为50070,原来1.x的50030端口,已经没有了,可以访问8088的yarn的端口,来查看,具体的截图如下:
OK,此时,我们已经成功的完成伪分布式的部署,下一步我们要做的,就是跑一个经典的MR程序Hellow World,来测试我们的集群了。
散仙在上篇博客,已经讲了如何在编译hadoop2.2.0的64位的版本,如果有不清楚怎么编译,可以参考散仙上篇博文,在这里就不涉及了。
下面,散仙以表格的形式描述下伪分布式安装
系统环境如下:
序号名称描述1系统环境Centos6.52JAVA环境JDK1.73Haoop版本hadoop2.2.0
安装步骤如下:
序号步骤1解压hadoop,并配置环境变量2使用which hadoop命令,测试是否成功3配置core-site.xml4配置hdfs-site.xml5配置yarn-site.xml(非必须,使用默认也可)6配置mapred-site.xml7配置mapred-env.sh里面的JAVA路径8如上的配置完成后,需要新建几个文件夹,来提供HDFS的格式化底层一个是hadoop的tmp文件夹,另外的是namenode和datanode的文件夹,来分别存储各自的信息9上面一切完成后,即可执行hadoop namenode -format 进行格式化10然后启动伪分布式集群,执行命令sbin/start-all.sh 最后使用JPS查看JAVA进程11配置本机的hosts文件,映射主机名信息
下面来详细说下,各个步骤的具体操作:
在这之前,最好配置好本机的SSH无密码登陆操作,避免hadoop进程之间通信时,需要验证。
下面是各个xml文件的配置
- <!-- core-site.xml配置 -->
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://192.168.46.28:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/root/hadoop/tmp</value>
- </property>
- </configuration>
- <!-- hdfs-site.xml配置 -->
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.namenode.name.dir</name>
- <value>/root/hadoop/nddir</value>
- </property>
- <property>
- <name>dfs.datanode.data.dir</name>
- <value>/root/hadoop/dddir</value>
- </property>
- <property>
- <name>dfs.permissions</name>
- <value>false</value>
- </property>
- </configuration>
- <!-- yarn-site.xml 不用配置,使用默认属性即可 -->
- <configuration>
- </configuration>
- <!-- mapred-site.xml的配置 -->
- <configuration>
- <property>
- <name>mapreduce.cluster.temp.dir</name>
- <value></value>
- <description>No description</description>
- <final>true</final>
- </property>
- <property>
- <name>mapreduce.cluster.local.dir</name>
- <value></value>
- <description>No description</description>
- <final>true</final>
- </property>
- </configuration>
mapred-env.sh里面的配置
- # Licensed to the Apache Software Foundation (ASF) under one or more
- # contributor license agreements. See the NOTICE file distributed with
- # this work for additional information regarding copyright ownership.
- # The ASF licenses this file to You under the Apache License, Version 2.0
- # (the "License"); you may not use this file except in compliance with
- # the License. You may obtain a copy of the License at
- #
- # http://www.apache.org/licenses/LICENSE-2.0
- #
- # Unless required by applicable law or agreed to in writing, software
- # distributed under the License is distributed on an "AS IS" BASIS,
- # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
- # See the License for the specific language governing permissions and
- # limitations under the License.
- export JAVA_HOME=/usr/local/jdk
- export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
- export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA
- #export HADOOP_JOB_HISTORYSERVER_OPTS=
- #export HADOOP_MAPRED_LOG_DIR="" # Where log files are stored. $HADOOP_MAPRED_HOME/logs by default.
- #export HADOOP_JHS_LOGGER=INFO,RFA # Hadoop JobSummary logger.
- #export HADOOP_MAPRED_PID_DIR= # The pid files are stored. /tmp by default.
- #export HADOOP_MAPRED_IDENT_STRING= #A string representing this instance of hadoop. $USER by default
- #export HADOOP_MAPRED_NICENESS= #The scheduling priority for daemons. Defaults to 0.
然后,建对应的几个文件夹即可,路径都在hadoop2.2的根目录下即可,
然后执行格式化命令bin/hadoop namenode -format即可;
最后使用jps命令,查看进程,如果有以下几个进程名称,就代表部署伪分布式成功
- 4887 NodeManager
- 4796 ResourceManager
- 4661 SecondaryNameNode
- 4524 DataNode
- 4418 NameNode
- 6122 Jps
然后,访问界面端口,注意与之前的配置文件里一致,namenode的端口号仍为50070,原来1.x的50030端口,已经没有了,可以访问8088的yarn的端口,来查看,具体的截图如下:
OK,此时,我们已经成功的完成伪分布式的部署,下一步我们要做的,就是跑一个经典的MR程序Hellow World,来测试我们的集群了。
0 0
- 如何在Centos6.5下部署hadoop2.2单机伪分布式(二)
- 如何在Centos6.5下部署Hadoop2.2的完全分布式集群(三)
- CentOS6.7 下搭建 Hadoop2.7.1 单机伪分布式环境
- 在CentOS6.4 下以单机伪分布式模式安装hadoop2.7.1
- 在Linux环境下部署Hadoop2.4.1伪分布式
- hadoop2.2 在centos6.4上建立伪分布式集群
- hadoop2.6单机运行及伪分布式部署运行
- Hadoop2 伪分布式部署
- 小白在windows7下安装hadoop2.6.4(单机模式和伪分布式)
- Ubuntu14.04下单机、伪分布式配置Hadoop2.7.2
- hadoop2.2 在伪分布式环境下安装hbase
- ubuntu server 12 上搭建 hadoop2.2 单机伪分布式
- Hadoop安装教程 单机和伪分布式 Centos6.8 Hadoop2.8.0
- Hadoop单机伪分布式部署
- Hadoop2.2.0单机伪分布式安装配置
- 单机/伪分布式Hadoop2.4.1安装文档
- Hadoop2.6单机伪分布式搭建
- 单机/伪分布式Hadoop2.4.1安装文档
- CUDA安装
- 继承中构造方法的注意事项——父类没有给出显式无参构造方法的情况
- Java程序员应该知道的10个调试技巧
- Android RecyclerView添加Header头部
- iOS UIWebView键盘处理
- 如何在Centos6.5下部署hadoop2.2单机伪分布式(二)
- 记录学习的点滴(Spring事务注解方式)
- GearVR Input
- jquery对ajax的支持
- js实时获取窗口大小变化
- 【文智背后的奥秘】系列篇——基于CRF的人名识别
- Android:Fail to connect to camera service
- R-CNN,SSP-Net,fast-RCNN,faster-RCNN论文读后笔记
- 学习scala