关于Hadoop2.2.0在虚拟机centOS6.5下的安装配置
来源:互联网 发布:校园网络设计方案ppt 编辑:程序博客网 时间:2024/06/05 06:21
1、安装虚拟机和centOS6.5
这个比较容易我直接上截图,centOS为64位的。有的虚拟机如果装不了64位的,请自行到BIOS开启VT(虚拟化技术)。
下一步
找到ISO的位置,然后点下一步
输入各项,然后点下一步。
下一步
下一步
完成。
JDK的安装与环境变量的设置
下载jdk
点击打开链接
选择一个文件夹下面解压就行,如果是bin的就在该位置运行就行。
[root@localhost java]# jdk-6u45-linux-x64-rpm.bin
配置环境变量。
[root@localhost ~]# vi /etc/profile在最后面添加
export JAVA_HOME=/usr/java/jdk1.6.0_45export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar然后按 :wq 保存。
执行 source /etc/profile 让其生效。
验证一下
[root@localhost ~]# java -versionjava version "1.6.0_45"Java(TM) SE Runtime Environment (build 1.6.0_45-b06)Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)
3、设置ssh免密码登录
首先我们建立一个名为hadoop的用户。
useradd hadoop passwd hadoop
再在根目录下建立一个名为hadoop的文件夹。
[root@localhost ~]# mkdir /hadoop
将文件夹授权给hadoop用户
chown -R hadoop /hadoop
设置Hadoop用户使之可以免密码ssh到localhost
- su - hadoop
- ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
- cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys
- cd /home/hadoop/.ssh
- chmod 600 authorized_keys
验证:
- [hadoop@localhost .ssh]$ ssh localhost
- Last login: Sun Nov 17 22:11:55 2013
4、安装和配置hadoop2.2.0
我将hadoop解压到
再把opt文件的权限授权给用户hadoop
chown -R hadoop /opt/hadoop
接着就是配各种文件。
这些文件都在
首先修改core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> </property> </configuration>
接着修改hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/hadoop/nddir</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/hadoop/dddir</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
接着修改mapred-site.xml
<configuration> <property> <name>mapreduce.cluster.temp.dir</name> <value></value> <description>No description</description> <final>true</final> </property> <property> <name>mapreduce.cluster.local.dir</name> <value></value> <description>No description</description> <final>true</final> </property> </configuration>
接着修改mapred-env.sh
添加
export JAVA_HOME=/usr/java/jdk1.6.0_45接着修改
yarn-site.xml
默认情况下不用修改
<configuration><!-- Site specific YARN configuration properties --></configuration>最后修改hadoop-env.sh
export HADOOP_IDENT_STRING=$USERexport JAVA_HOME=/usr/java/jdk1.6.0_45 export HADOOP_HOME_WARN_SUPPRESS="TRUE"
最最后修改/etc/profile
最终如下
执行(在root下)执行source /etc/profile 让其生效。
export JAVA_HOME=/usr/java/jdk1.6.0_45export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport HADOOP_HOME=/opt/hadoop/hadoop-2.2.0export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
执行(在root下)执行source /etc/profile 让其生效。
验证一下
[hadoop@localhost ~]$ hadoop versionHadoop 2.2.0Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768Compiled by hortonmu on 2013-10-07T06:28ZCompiled with protoc 2.5.0From source with checksum 79e53ce7994d1628b240f09af91e1af4This command was run using /opt/hadoop/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar启动hadoop
启动前先格式化各个节点
[hadoop@localhost ~]$ hadoop namenode -format
最终出现
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
************************************************************/
说明配置已经成功。
启动所有服务。
[hadoop@localhost ~]$ start-all.sh然后启动.
完成!
0 0
- 关于Hadoop2.2.0在虚拟机centOS6.5下的安装配置
- hadoop2.7.1在centos6.5下集群安装配置
- Centos6.5下虚拟机Linux 关于g++,gdb,ctags安装以及vim的配置
- CentOS6.5下>>hadoop2.6.2版本的>>Mysql数据库的安装与配置
- VMware虚拟机、centos6下安装部署hadoop2.2
- cloudstack在centos6.5下的安装与配置
- keepalived在Centos6.5下安装配置
- centos6.5下hadoop2.2.0的8节点配置兼动态添加节点测试
- MAC下安装及配置CentOs6.5虚拟机
- KVM 虚拟机安装配置在CentOS6.2
- 在centos6.4下安装虚拟机软件
- centos6.5安装hadoop2
- hadoop2.1.0在ubuntu下的安装配置
- 虚拟机 CentOS6.6 hadoop2.6.0 集群安装
- 关于centos6.5下的saltstack安装
- 在Hadoop2.2下安装配置Hive
- Centos6.5 x64 安装hadoop2.2.0
- Centos6.5下redmine的安装配置
- Oracle:Authid Current_User的使用
- Uninstall Samsung Kies 3 with WindowsUninstaller.Org Removal Tips
- poj 1125 Stockbroker Grapevine(多源最短路)
- 二叉树建立和遍历
- 多线程编程 - NSOperationQueue
- 关于Hadoop2.2.0在虚拟机centOS6.5下的安装配置
- Android 基于google Zxing实现二维码、条形码扫描,仿微信二维码扫描效果
- Array与ArrayList的关系与区别
- HDU 1849 Rabbit and Grass【尼姆博弈】
- XShell VIM 右击粘贴不了
- HttpURlconnection 学习笔记
- 大型网站技术架构 笔记
- MySQL数据库优化处理实现千万级快速分页分析,来看下吧。
- UCloud成首个通过乌云认证的云计算平台