Hadoop的环境搭建
来源:互联网 发布:如何优化医疗卫生服务 编辑:程序博客网 时间:2024/05/19 23:28
Hadoop伪分布式环境搭建
Hadoop是一个能够对大量数据进行分布式处理的软件框架,当下企业越来越流行,程序员必会的,掌握的一门技术。。。
环境准备:
- JDK:jdk1.8
- hadoop:hadoop 2.8.0
- Ubuntu:Ubuntu 16.04
JDK的安装与配置
1.查看当前系统的jdk版本
java -version
如果你的系统上已经安装jdk就不需要再进行安装了,如果没有,我们通常可以使用命令安装jdk:
sudo apt-get install oracle-java8-installer
执行完命令之后,我们知道jdk是需要配置环境变量的,Unbuntu系统也不例外,通过whereis java可以查看jdk的安装目录:
将对应的目录配置到profile文件中。
vim /etc/profile
保存退出后,执行命令使环境变量生效。
source /etc/profile
至此jdk安装完成。
Hadoop的安装与配置
1.下载hadoop安装包
可以去hadoop官网上找到你想要的hadoop版本的安装包并下载,我下载的是hadoop-2.8.0.tar.gz安装包
2.解压hadoop安装包到指定目录
sudo tar -zvxf hadoop-2.8.0.tar.gz .
3.配置hadoop相关文件,目录hadoop-2.8.0\etc\hadoop下
(1)core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://192.168.0.3:8020</value></property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/tmp</value></property>
(2)mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>
(3)yarn-site.xml
<property> <name>yarn.resourcemanager.hostname</name> <value>jdu4e00u53f7</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>192.168.0.3:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>192.168.0.3:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>192.168.0.3:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>192.168.0.3:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>192.168.0.3:8088</value> </property>
(4)hdfs-site.xml
<property> <name>dfs.namenode.name.dir</name> <value>file:/home/dfs/name</value></property><property> <name>dfs.datanode.data.dir</name> <value>file:/home/dfs/data</value></property> <property> <name>dfs.replication</name> <value>1</value></property><property> <name>dfs.permissions</name> <value>false</value></property>
(5)hadoop-env.sh
(6)添加hadoop添加全局系统变量(etc\profile)
保存后执行source /etc/profile使环境变量生效,至此单机版hadoop环境配置完成
SSH免密码登录
(1)获取密钥
ssh-keygen -t rsa -P ""
(2)复制到authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
(3)执行ssh localhost即可实现免密登录
ssh localhost
测试hadoop环境是否搭建成功
(1)格式化namenode
hdfs namenode -format
(2)启动所有守护进程
./hadoop-2.8.0/sbin/start-all.sh
(3)验证执行jps命令,有如下进程说明hadoop正常启动
以上hadoop环境就算全部搭建完成了。
- Hadoop环境的搭建
- Hadoop环境的搭建
- Hadoop的环境搭建
- Myeclipse 的hadoop环境搭建
- Hadoop集群环境的搭建
- hadoop集群环境的搭建
- hadoop集群环境的搭建
- hadoop集群环境的搭建
- hadoop详细的环境搭建
- hadoop集群环境的搭建
- hadoop环境的搭建尝试
- hadoop集群环境的搭建
- hadoop集群环境的搭建
- hadoop集群环境的搭建
- hadoop集群环境的搭建
- hadoop的单机环境搭建
- Hadoop集群环境的搭建
- Hadoop+Hive环境的搭建
- Hadoop生态圈各组件的启动及关闭脚本
- Codeforces
- 网络协议之DHCP协议(一)------DHCP协议基础
- oracle function用法
- 第四周项目三单链表的应用3
- Hadoop的环境搭建
- python 装饰器
- UITableView设置Section间距
- Java 8 Tutorials 代码实例指南
- Demo019_判断是否为闰年
- 构建前端Mock Server的利器/Json-Server
- java链接数据库的应用类
- python安装的时候报SSL连接错误的解决办法
- C语言中读取目录函数