hadoop 安装完全分布式集群系统的几点思考(非虚拟版的完全分布式集群)
来源:互联网 发布:淘宝差评多少天可以改 编辑:程序博客网 时间:2024/06/02 17:47
1、Linux 系统的安装与学习
1.1 采用的centos7.3的系统,安装的方法:利用U盘在电脑中装双系统,centos安装后,启动界面只能选择linux系统,所以需要修改/etc/grub2/grub.cfg配置文件,修改方法见我之前博客内容。
1.2 安装完成系统后,一定要学习该系统基本的使用方法,这个系统没有windows系统的易用性,多数情况下都是利用shell 终端操作,记住linux常用操作命令是非常有必要的。
1.3 了解linux系统的用户管理、文件管理、文件权限管理等基本知识,文件系统中各文件夹存储的是何种类型的文件(如 根目录下的 usr etc home boot 等文件夹下存放的何种文件)
2、JAVA openJDK文件的安装
根据hadoop官方的要求安装对应hadoop版本的java jdk包、注意JAVA_HOME 环境变量的配置,一般有两种方法:
1是采用全局配置,即配置 /etc/profile 文件、该文件配置成功后,对所有该系统的用户都有效;2是修改指定用户的目录下的.bashrc文件,即/home/用户名/.bashrc文件。修改后利用 source 文件名,让环境变量生效。
3、hadoop完全分布式系统搭建
3.1 下载相应的hadoop文件版本,之间解压于 /usr/local/文件目录下
3.2 配置hadoop文件的环境变量,包括.bashrc 文件和hadoop-env.sh文件修改
3.3 Master (Namenode) Slave1(DataNode)配置、包括ssh免密码、host文件修改、hostsname文件的修改等
3.4 按照完全分布式节点的步骤,修改hadoop的配置文件.*-site.xml(一般是5个文件),修改结束后,将hadoop文件压缩后,传递(scp)到不同的Slaves节点中去
3.5 利用hadoop的脚本文件,格式化namenode,启动dfs,查看集群是否启动成功。
新手安装集群时需要注意的一些问题:
1、安装集群时一定要分清楚是安装的哪一部分内容,以及修改的内容是属于哪一块的东西,例如,安装ssh、修改host文件等属于linux系统的操作;真正对hadoop相关的操作是针对hadoop文件夹里面的内容;切忌不要将linux的操作和hadoop操作混在一起,不知道自己到底改的什么内容。
2、配置同一个集群不用节点的用户名时,一定要设置相同的用户名,相同的密码(貌似密码其实可以不同);其实这个很好理解,对一个集群的搭建和维护,应该是同一个用户帐号完成的,如果namenode和Datanode是在不同的用户名下建立集群,那么很有可能登陆远程DataNode时出现登陆失败的情况。
- hadoop 安装完全分布式集群系统的几点思考(非虚拟版的完全分布式集群)
- 从零开始Hadoop的完全分布式安装(集群)
- hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- Hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- Hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- Hadoop完全分布式集群安装(Ubuntu)
- Hadoop完全分布式集群安装zookeeper集群
- zookeeper集群的完全分布式安装
- Hadoop系统完全分布式集群搭建方法
- Linux系统搭建完全分布式Hadoop集群
- [Hadoop] 完全分布式集群安装过程详解
- Codeforces Round #416 (Div. 2) C. Vladik and Memorable Trip(dp)
- LINUX定时清理文件定时任务
- spark-SQL的使用
- Linux常用命令
- msyql 数据转移遇到的问题 Got a packet bigger than‘max_allowed_packet’bytes的问题
- hadoop 安装完全分布式集群系统的几点思考(非虚拟版的完全分布式集群)
- Java _ I/O
- org.apache.jasper.JasperException: Unable to compile class for JSP: An error occurred at line: 1 in
- USACO-Section1.1 Friday the Thirteenth[日期]
- SIP协议
- 初识HTML
- 【剑指offer-解题系列(29)】数组中出现次数超过一半的数
- GTK3.0学习第三天---图片GtkImage
- 自定义控件小总结