Haddop集群的简单搭建
来源:互联网 发布:java mvc web项目实例 编辑:程序博客网 时间:2024/06/05 00:56
ps:本人初学者,如有错误请多指教,博客里这些内容基本都是自学,请看到本文的大神多多指教。
本人是在虚拟机上用centos 7 和Jdk 1.8 ,hadoop 2.7实验的(之前还想在Ubantu上实验,不过Xssh没有安装成功就暂时放弃了)
先说一下遇到的问题 首先是与宿主机互相ping 不上,后来总结有几个原因,(1)网卡没配置
(2)虚拟机连接方式不对(本人用的Net,桥接不好使。其他没试估计host-only会好使)
(3)防火墙没关(这项一定要检查,我就因为这个耗费了好多时间)
有时用Hadoop命令会提示 not found 有两个原因(1):PATH配置错误这个需要仔细检查
(2):修改完profile没有执行source,配置没有生效
搭建时我就遇到这些问题,如果你有其他问题可以拿出来大家一起研究。
步骤:1.安装虚拟机
2.设置IP
vi /etc/sysconfig/network 在其中输入NETWORKING=yes
GATWAY=(网关)
vi /etc/sysconfig/network-sripts/ifcfg-e...(我用了几个版本发现网卡名似乎都不太一样,不过前缀差不多)
我是直接全部删除然后添加,你可以修改或添加
TYPE=Ethernet
IPADDR=(网址)
NETMASK=(子网掩码)
3.重启网络
service network restart
4.检查ssh服务状态
systemctl status sshd
5.与宿主机相互ping
不通:检查下防火墙关没关,和配置出没出错,还有链接方式。ping的是虚拟机在宿主机上的虚拟网卡的IP。
关闭防火墙:systemctl stop firewalld(禁用防火墙)
system disable firewalld.service(在开机时禁用)
6.用Xshell链接虚拟机,将Hadoop和Jdk上传到Linux
7.安装Jdk
rpm -ivh ./xxx.jdk
输入java -version验证安装是否成功
8.安装Hadoop
tar -zxvf ./xxx.tar.gz(如果觉得解压后文件夹名字长可以改成简单的,我改成了hadoop)
9.修改hadoop-env.sh
vi ../hadoop/etc/hadoop/hadoop-env.sh (../为hadoop存放路径)
修改其中JAVA_HOME使其可以找到jdk
找到JAVA_HOME 将其修改为 export JAVA_HOME=../java/default
10.将bin和sbin路径放到PATH中
vi /etc/profile
在文件末尾追加
export PATH=$PATH:/../hadoop/bin:/../hadoop/sbin
存盘退出后执行 source etc/profile (不执行会发生not found 错误)
11.任意目录下敲hadoop看执行
是否成功
按这个方法多设置几台Linux互相Ping
12.给集群各个机器命名
vi /etc/hosts
在编辑器里输入
网址 + 主机名
13.修改hadoop下 core-site.xml
在其中添加
<property> (属性)
<name>fs.defaultFS</name>
<value>hdfs://namenode主机名或地址:9000</value> (默认的namenode机器名和端口)
</property>
14.在namenode机器输入
hdfs namenode -format (格式化namenode)
15.启动namenode
hadoop-daemon.sh start namenode
16.启动datanode
hadoop-daemon.sh start datanode
结束
ps:此文为本人观看马士兵老师视频结合自己想法所总结的,如有错误请多指教。
- Haddop集群的简单搭建
- Haddop集群安装--jdk安装
- 对Haddop的认识
- 搭建最简单的集群
- 简单的redis集群搭建
- Hive配置+haddop为底层存储系统+远程mysql+简单的hive数据操作(详细哦)
- 【大数据】搭建简单的Hadoop集群
- Hadoop 简单集群搭建
- zookeeper集群简单搭建
- hadoop简单集群搭建
- kubernetes简单集群搭建
- haddop shuffle最详细的解释
- Redis集群简单搭建使用
- Linux上利用Nginx搭建一个简单的tomcat集群
- 集群的搭建
- Tomcat 集群的搭建
- Cassandra的集群搭建
- Hadoop集群的搭建
- Spring MVC工作流程
- liunx命令(3)
- (七)android recovery代码修改之原生建议
- 二部图(广搜染色)
- LeetCode 44 Wildcard Matching
- Haddop集群的简单搭建
- 第三讲 配置文件详解
- Hibernat基本知识
- 使用Gson进行json数据转换(list to json 和json to list)
- 循序渐进-http协议(一)
- CString与TCHAR数组 相互转换
- 线程池和定时器
- ORA-04089: 无法对 SYS 拥有的对象创建触发器
- yum本地源配置(断网的情况下)--linux