HADOOP__HADOOP基础安装和配置
来源:互联网 发布:拳皇开发源码 编辑:程序博客网 时间:2024/05/20 12:50
http://www.cnblogs.com/freeideas/archive/2013/04/16/3023287.html
HADOOP安装过程
(一) 硬件环境
此次的作业,在之前的一个成功配置的基础之上,鉴于Ubuntu的操作系统,Server的占用内存比较小,启动较快,同时为了减轻机器的负担。做了如下的选择。
操作系统虚拟机安装的系统虚机数CPURAMWin7Vmware 9Ubuntu 12.04LTS Server4台I3 23106GB(二)软件环境
由于Ubuntu的预装的程序较少,所以我自行安装了SSH程序,Ubuntu需要修改更新源(加快下载软件速度),这里就不具体描述了,修改/etc/apt/sources.list此更新源为163的源。
Hadoop版本JDK版本SSH0.20.2jdk-6u37-linuxOPENSSH-SERVER
(三)网络环境
连接方式Vmware设置成NAT连接方式 结点IP地址域名备注Master192.168.100.100masterhadoop中master结点Slave1192.168.100.101slave1hadoop中slave结点Slave2192.168.100.102slave2hadoop中slave结点Server192.168.100.253serverDNS,NFS服务器/192.168.100.254/Vmware里面的网关和DNS服务器
(四)安装步骤
步骤1
安装虚拟机,命名规范,用作于Master主机,后面用于复制。
步骤2,
配置HADOOP连接为NAT,关闭Floppy的开机连接等不必要的设备,设置好DNS
步骤3,
配置etc.network.interfaces,网关按照VMWARE中的设置设置,限定好IP地址
步骤4,
配置SSH SERVER来用SecureCrt连接,方便统一管理
步骤5,
修改HOSTNAME为规范的配置,修改HOSTS里面的本地对应的名称,要和hostname一致,否则会因为找不到对应主机而发生错误
hostname
hosts
步骤6,
在hadoop到新建的download文件夹中,并安装HADOOP到/usr/hadoop
步骤7,
JDK安装。安装好hadoop和JDK后。,配置etc.profile中的jdk和HADOOP环境变量
步骤8,
配置Hadoop中的SLAVES和MASTERS文件。
slaves
masters
步骤9,
配置hadoop-ENV.sh中的JAVA主目录,和core-site.xml和mapred-site.xml以及hdfs-site.xml等文件(以上文件均在hadoop/conf中)
hadoop-env.sh
core-site.xml
mapred-site.xml
hdfs-site.xml
以上步骤结束后,利用Vmware的克隆功能功能出3份,一份用作于MASTER,其他两个为slave。 修改hostname和hosts文件,分别对应到master,slave1,slave2,按预先分配的设置。
步骤10,
生成ssh密钥,在/home/hadoop文件夹中输入该命令。生成的密钥文件夹为/home/hadoop/.ssh 该文件夹为隐藏文件夹
用作与相互之间ssh的连接,此处分开生成是为了让三份ssh随机生成的密钥不一样,保证安全性。
修改.ssh文件夹的权限,让其他人可读可执行,主要用于无密钥认证。
以MASTER为主将其他主机和本机的密钥放入到authorized_keys中,汇集其他所有密钥后。分发到各台主机,实现全互联的无密钥认证。
步骤11,
以上做好配置,就要对namenode结点进行格式化了,初始化一些设置。
步骤12
启动hadoop,启动成功。
遇到的问题:
9001端口没有起来
解决:使用以下命令解决9001端口的连同问题。
- HADOOP__HADOOP基础安装和配置
- nginx服务器的安装和配置---基础
- java基础--JDK安装和配置
- redis基础之简介安装和配置
- Saltstack安装和基础配置官方文档
- HBase基础和伪分布式安装配置
- java 基础安装和Tomcat8配置
- Git-番外篇-安装和基础配置
- Kafka笔记基础概念和安装配置
- OpenLDAP基础安装配置
- Nginx基础安装配置
- Nginx基础安装配置
- java基础配置安装
- Subversion基础:概念、安装、配置和基本操作
- JAVA基础之JDK下载、安装、配置和验证
- 1.JavaWEB 开发基础-JavaWEB_Tomcat 的安装和配置
- Subversion基础:概念、安装、配置和基本操作
- MongoDB 基础相关(一) 安装和配置
- 如果在WIN7中安装Vcenter (Vsphere功能 How to Install Vmware vSphere 5 on VMware Workstation)
- PHP POST Variable
- libevent 备忘(不断完善)
- Latex minipage
- 数组名与指针的区别
- HADOOP__HADOOP基础安装和配置
- Calendar 练习
- HADOOP__HBASE集群安装(自带ZOOKEEPER)
- HDU 4126 Genghis Khan the Conqueror (生成树,并查集)
- 求下列序列前20项和的值 2/1, 3/2, 5/3, 8/5, 13/8, 21/13, ……
- 从资源池和管理的角度理解物理内存
- MySQL Win免安装版配置
- 杭电1210
- HDU4778 Gems Fight!