编译安装方式部署Hadoop 2.x集群
来源:互联网 发布:中国贸易摩擦数据 编辑:程序博客网 时间:2024/06/15 15:04
编译安装方式部署Hadoop 2.x 两节点集群
步骤:
1. 安装编译程序必须的软件,如gcc,cmake,libtool,ncurses-devel,openssl-devel
2. 下载jdk,hadoop源码包,maven,protobuf等软件包
3. ssh免密码、修改环境变量
4. 安装jdk,maven,protobuf,编译安装hadoop源码包
5. 修改hadoop配置文件
6. 启动集群
硬件环境:笔记本(VM虚拟机 1G内存)
软件环境:
OS: Centos 5.9 32位
Jdk: jdk-6u23-linux-i586.bin
Hadoop: hadoop-2.3.0-src.tar.gz
Maven: apache-maven-3.2.1-bin.tar.gz
Protobuf: protobuf-2.5.0.tar.bz2
主机名hadoop1: (namenode,secondaryname,jobtracker)
IP:192.168.137.61
主机名hadoop2: (datanode,tasktracher)
IP:192.168.137.62
1. 安装编译程序必须的软件(gcc,cmake,libtool,ncurses-devel,openssl-devel),部份软件包已安装,略。
2. 下载jdk,hadoop源码包,maven,protobuf等软件包
3. ssh免密码、修改环境变量(ssh设置跟上周作业一样略,)
检查ssh免密码
修改环境变量
4. 安装jdk,maven,protobuf,hadoop
安装jdk(略)
安装maven
[root@hadoop1 opt]# tar xvf apache-maven-3.2.1-bin.tar.gz
检查maven
安装protobuf
[root@hadoop1 opt]# tar xvf protobuf-2.5.0.tar.bz2
[root@hadoop1 opt]# cd protobuf-2.5.0/
[root@hadoop1 protobuf-2.5.0]# ./configure
[root@hadoop1 protobuf-2.5.0]# make && make check && make install
编译安装hadoop
[root@hadoop1 hadoop2.3-src]# mvn clean package -Pdist,native -DskipTests –Dtar
查看编译后生成的文件
5. 修改hadoop配置文件
hadoop-env.sh
export JAVA_HOME=/opt/jdk
yarn-env.sh
export JAVA_HOME=/opt/jdk/
slaves
[root@hadoop1 hadoop]# cat slaves
hadoop2
复制hadoop到其它节点
[root@hadoop1 opt]# scp -r ./hadoop-2.3.0/ root@hadoop2:/opt/
6. 启动集群
格式化namenode
[root@hadoop1 hadoop-2.3.0]# ./bin/hdfs namenode –format
启动hadoop集群
[root@hadoop1 hadoop-2.3.0]# ./sbin/start-all.sh
检查集群运行情况
- 编译安装方式部署Hadoop 2.x集群
- Hadoop 2.x分布式集群部署
- Hadoop 2.x分布式集群部署
- Linux 环境下部署Hadoop 2.x,建议尝试64位系统下进行本地编译的安装方式
- hadoop集群安装部署
- Hadoop集群安装部署
- hadoop集群安装部署
- Hadoop集群2.X安装配置
- Hadoop 2.X 完全分布式部署安装
- 一、Hadoop 2.x 分布式安装部署
- Hadoop 2.X 完全分布式部署安装
- 安装ambari部署hadoop集群
- Linux集群部署系列(五):Hadoop 2.x完全分布式集群部署
- spark-2.2.0 集群安装部署以及hadoop集群部署
- spark-2.2.0 集群安装部署以及hadoop集群部署
- Hadoop 2.x.0集群安装与配置
- 在CentOS上安装Hadoop 2.x 集群
- 在CentOS上安装Hadoop 2.x 集群
- Navicat for SQL Server 链接服务器安全吗
- JAVA学习---集合系列---ConcurrentHashMap
- iOS开发之UITabBarController和UICollectionView的使用
- LInux系统 CPU信息查看
- 自定义圆角图片、圆形图片(适用于显示用户图标)
- 编译安装方式部署Hadoop 2.x集群
- 什么是语法糖?
- FindBugs扫描错误收集汇总(5.16)
- Navicat 怎样维护 SQL Server
- java上传并压缩图片(等比例压缩或者原尺寸压缩)
- 2 | 使用类
- NOIP 过河问题 月黑风高的夜晚
- CentOS命令行使用shadowsocks代理的方法
- Navicat for PostgreSQL 怎么维护数据库和表