hadoop的安装
来源:互联网 发布:淘宝怎样开通直通车 编辑:程序博客网 时间:2024/06/05 10:51
使用host-only方式
将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段
注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同
1.Linux环境配置(windows下面的防火墙也要关闭)
1.1修改主机名
vim /etc/sysconfig/network
1.2修改IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:BF:45:8B"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="99339c27-0884-46c0-85d5-2612e5c1f149"
IPADDR="192.168.1.110" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.192.1.1" ###
1.3修改主机名和IP的映射关系
vim /etc/hosts
192.168.1.110 itcast
1.4关闭防火墙
查看防护墙状态
service iptables status
关闭
service iptables stop
查看防火墙开机启动状态
chkconfig iptables --list
关闭开机启动
chkconfig iptables off
1.5安装JDK
上传JDK
添加执行权限
chmod u+x jdk-6u45-linux-i586.bin
解压
./jdk-6u45-linux-i586.bin
mkdir /usr/java
mv jdk1.6.0_45/ /usr/java/
将java添加到环境变量
vim /etc/profile
在文件的末尾添加如下内容
export JAVA_HOME=/usr/java/jdk1.6.0_45
export PATH=$PATH:$JAVA_HOME/bin
刷新配置
source /etc/profile
2.配置hadoop
2.1上传hadoop包
2.2解压hadoop包
首先在根目录创建一个cloud目录
mkdir /cloud
tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/
2.3配置hadoop伪分布式(要修改4个文件)
第一个:hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_45
第二个:core-site.xml 公共的配置文件
vim core-site.xml
<configuration>
<!-- 指定HDFS的namenode的通信地址 -->
<property>
<name>fs.default.name</name>
<value>hdfs://itcast:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/cloud/hadoop-1.1.2/tmp</value>
</property>
</configuration>
以上不行,则按照如下配置
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://yuesheng:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/bigdata/software/hadoop-2.6.0/tmp</value>
</property>
</configuration>
第三个:hdfs-site.xml
vim hdfs-site.xml
<configuration>
<!-- 配置HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四个:mapred-site.xml
vim mapred-site.xml
<configuration>
<!-- 指定jobtracker地址 -->
<property>
<name>mapred.job.tracker</name>
<value>itcast:9001</value>
</property>
</configuration>
以上不行,则按照如下配置
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个:yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
2.4将hadoop添加到环境变量
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.6.0_45
export HADOOP_HOME=/cloud/hadoop-1.1.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source /etc/profile
2.5格式化HDFS
hadoop namenode -format
2.6启动hadoop
./start-all.sh
2.7验证集群是否启动成功
jps(不包括jps应该有5个)
NameNode
JobTracker
TaskTracker
SecondaryNameNode
DataNode
还可以通过浏览器的方式验证
http://192.168.1.110:50070 (hdfs管理界面)
http://192.168.1.110:50030 (mr管理界面)
在这个文件中添加linux主机名和IP的映射关系
C:\Windows\System32\drivers\etc
3.配置ssh免登陆
生成ssh免登陆密钥
ssh-keygen -t rsa
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4.安装hbase
上传hbase文件
解压文件
配置conf文件
1、hbase-env.sh
export JAVA_HOME=/usr/bigdata/software/jdk1.7.0_71
2、hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://yuesheng:8020/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/bigdata/software/hbase-0.98.22-hadoop2/data/zkData</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
3\regionservers
192.168.0.112(本机ip)
启动hbase
bin
./start-hbase.sh
成功可通过ip:60010访问
5、安装和配置thrift
1、根据hbase版本上传thrift
查看thrift版本 /hbase目录/lib ls *thrift*
2、上传对应的thrift版本
3、解压
4、安装依赖软件yum install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++ -y
5、./configure
6、make
7、make install
8、开启thrift2服务
cd /usr/bigdata/software/hbase目录/bin/hbase-daemon.sh start thrift2
9\jps
10:可通过ip:9095访问
将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段
注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同
1.Linux环境配置(windows下面的防火墙也要关闭)
1.1修改主机名
vim /etc/sysconfig/network
1.2修改IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:BF:45:8B"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="99339c27-0884-46c0-85d5-2612e5c1f149"
IPADDR="192.168.1.110" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.192.1.1" ###
1.3修改主机名和IP的映射关系
vim /etc/hosts
192.168.1.110 itcast
1.4关闭防火墙
查看防护墙状态
service iptables status
关闭
service iptables stop
查看防火墙开机启动状态
chkconfig iptables --list
关闭开机启动
chkconfig iptables off
1.5安装JDK
上传JDK
添加执行权限
chmod u+x jdk-6u45-linux-i586.bin
解压
./jdk-6u45-linux-i586.bin
mkdir /usr/java
mv jdk1.6.0_45/ /usr/java/
将java添加到环境变量
vim /etc/profile
在文件的末尾添加如下内容
export JAVA_HOME=/usr/java/jdk1.6.0_45
export PATH=$PATH:$JAVA_HOME/bin
刷新配置
source /etc/profile
2.配置hadoop
2.1上传hadoop包
2.2解压hadoop包
首先在根目录创建一个cloud目录
mkdir /cloud
tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/
2.3配置hadoop伪分布式(要修改4个文件)
第一个:hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_45
第二个:core-site.xml 公共的配置文件
vim core-site.xml
<configuration>
<!-- 指定HDFS的namenode的通信地址 -->
<property>
<name>fs.default.name</name>
<value>hdfs://itcast:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/cloud/hadoop-1.1.2/tmp</value>
</property>
</configuration>
以上不行,则按照如下配置
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://yuesheng:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/bigdata/software/hadoop-2.6.0/tmp</value>
</property>
</configuration>
第三个:hdfs-site.xml
vim hdfs-site.xml
<configuration>
<!-- 配置HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四个:mapred-site.xml
vim mapred-site.xml
<configuration>
<!-- 指定jobtracker地址 -->
<property>
<name>mapred.job.tracker</name>
<value>itcast:9001</value>
</property>
</configuration>
以上不行,则按照如下配置
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个:yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
2.4将hadoop添加到环境变量
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.6.0_45
export HADOOP_HOME=/cloud/hadoop-1.1.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source /etc/profile
2.5格式化HDFS
hadoop namenode -format
2.6启动hadoop
./start-all.sh
2.7验证集群是否启动成功
jps(不包括jps应该有5个)
NameNode
JobTracker
TaskTracker
SecondaryNameNode
DataNode
还可以通过浏览器的方式验证
http://192.168.1.110:50070 (hdfs管理界面)
http://192.168.1.110:50030 (mr管理界面)
在这个文件中添加linux主机名和IP的映射关系
C:\Windows\System32\drivers\etc
3.配置ssh免登陆
生成ssh免登陆密钥
ssh-keygen -t rsa
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4.安装hbase
上传hbase文件
解压文件
配置conf文件
1、hbase-env.sh
export JAVA_HOME=/usr/bigdata/software/jdk1.7.0_71
2、hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://yuesheng:8020/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/bigdata/software/hbase-0.98.22-hadoop2/data/zkData</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
3\regionservers
192.168.0.112(本机ip)
启动hbase
bin
./start-hbase.sh
成功可通过ip:60010访问
5、安装和配置thrift
1、根据hbase版本上传thrift
查看thrift版本 /hbase目录/lib ls *thrift*
2、上传对应的thrift版本
3、解压
4、安装依赖软件yum install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++ -y
5、./configure
6、make
7、make install
8、开启thrift2服务
cd /usr/bigdata/software/hbase目录/bin/hbase-daemon.sh start thrift2
9\jps
10:可通过ip:9095访问
1 0
- Hadoop的安装
- Hadoop的安装配置
- hadoop的安装
- hadoop hive的安装
- hadoop的安装
- Hadoop安装的关键
- Hadoop集群的安装
- hadoop的安装
- Hadoop的安装配置
- CentOS hadoop 的安装
- Hadoop的安装配置
- Hadoop 的集群安装
- hadoop 的安装
- Hadoop的安装
- Hadoop---HBase的安装
- Hadoop的安装配置
- hadoop的配置安装
- 一.Hadoop的安装
- nginx install
- 串的基本函数的实现
- 《西窗法雨》一天读完,怕不怕
- C语言字符串的经典例题
- Linux 安装
- hadoop的安装
- 移动前端不得不了解的HTML5 head 头标签(2016最新版)
- 【PAT甲级】1035. Password (20)
- Java中将数据导出到Excel
- 输出数组中第i大的数(非排序) C++实现
- Private 的重新认识
- HDU_2717_Catch That Cow
- 找出下一个比它大而且值为1的位元数与之相同的数字
- 文章标题