手工安装配置Cloudera组件-Hadoop
来源:互联网 发布:网络品牌的策略 编辑:程序博客网 时间:2024/05/16 18:21
Cloudera Manager安装经常出现错误,而且一点小错误,常常需要整个过程重来,不熟悉其内部过程,错误常常无从下手,所有决定yum安装手工配置一个测试集群,顺便尝试下牛叉的Impala。
安装repo
http://archive-primary.cloudera.com/cdh/
存放着cdh1-3的所有文件
http://archive-primary.cloudera.com/cdh4/
存放着cdh4的所有文件
http://archive-primary.cloudera.com/cdh5/
存放着cdh5的所有文件
安装可以先从上边的地址下载对应的RPM包,然后安装,也可以直接yum安装
Yum安装需要将对应的“Linux源”文件,下载到对应的本地文件系统。
例如centos6就是将cloudera-cdh5.repo文件放到/etc/yum.repos.d目录下就行了。
安装Hadoop的组件
Yum安装Cloudera的组件都是类似的,比如安装hdfs,要先安装hdfs的base,这里边包含了hdfs的所有的文件,jar包啊,什么的;然后在安装我们需要组件,比如,想安装NameNode,就用yum安装hadoop-hdfs-namenode,安装这个文件包括两个部分,一个是在/etc/rc.d/init.d/文件夹下面安装一个hadoop-hdfs-namenode服务,另一部分是在/etc/default/目录下安装一个hadoop-hdfs-namenode文件,里边是原来hadoop-env.sh文件中关于hdfs-namenode的部分。
在了解了这个之后,就知道装什么了。
安装HDFS
1. 在所有节点上安装hdfs base
2. Base 默认安装到/var/lib/目录下
3. 在master节点上安装hadoop-hdfs-namenode
4. 在另一台机器上安装hadoop-hdfs-secondarynamenode(或者在另一台机器上也安装hadoop-hdfs-namenode,HA用,还有HA相关的其他服务)
5. 在slaves节点上安装hadoop-hdfs-datanode
6. 安装其他需要的组件
7. 安装之后,环境变量相关的文件都在/etc/default/目录下,配置文件在/etc/hadoop/下,具体配置可以查看官网,步骤很精准
8. 在一个节点修改配置文件,然后scp分发配置文件到集群所有节点
9. 用service命令启动相关服务
安装YARN
1. 在所有节点安装hadoop-yarn base
2. Base安装在/var/lib/目录下
3. 找个节点安装hadoop-yarn-resourcemanager
4. 在所有datanode节点安装hadoop-yarn-nodemanager
5. 安装其他需要的组件
6. 安装之后,环境变量相关的文件都在/etc/default/目录下,配置文件在/etc/hadoop/下
7. 在一个节点修改配置文件,然后scp分发配置文件到集群所有节点
8. 用service命令启动相关服务
安装MR
1. 在所有节点安装hadoop-mapreduce base
2. 找一个节点安装hadoop-mapreduce-historyserver
3. 安装其他需要的组件
4. 安装之后,环境变量相关的文件都在/etc/default/目录下,配置文件在/etc/hadoop/下
5. 在一个节点修改配置文件,然后scp分发配置文件到集群所有节点
6. 用service命令启动相关服务
注意
1. 安装相关的服务的rpm包时,会同时建立相关的用户,比如,安装hadoop-hdfs base时,会建立hdfs用户,hdfs的相关操作,都要su到hdfs用户下,其他类似,提交job,要su到mapred用户下,yarn的命令行操作要su到yarn下,hive,impala等等都一样。
2. 日志都在/var/log/xxx/目录下,都可以在/etc/default/xxx文件中以环境变量的形式配置。
3. Cloudera是用alternatives工具来管理配置的。
- 手工安装配置Cloudera组件-Hadoop
- 手工安装配置Cloudera组件-hive
- 手工安装配置Cloudera组件-Impala
- Cloudera Manager的搭建及hadoop组件的安装
- cloudera hadoop 安装问题
- Cloudera Hadoop 5.2 安装
- cloudera hadoop集群内lzo的安装与配置
- Cloudera SCM安装配置
- Cloudera Impala 安装配置
- Hadoop标准化安装工具 Cloudera
- 手动安装Cloudera Hadoop CDH
- yum安装cloudera hadoop等软件
- cloudera安装hadoop集群和相关服务
- 通过cloudera-manager来安装hadoop
- hadoop 下载安装Cloudera Virtual Machine (VM)
- cloudera manager 离线安装cdh hadoop
- Centos7下安装Cloudera Manager以及Hadoop
- 为什么Cloudera要创建Hadoop安全组件Sentry?
- lightoj 1062 Crossed Ladders | 二分
- 【编程珠玑】第一章:开篇
- Linux下/proc目录简介
- 使用静态库分享共同的模块
- 罗永浩和王自如的对质怎么看?
- 手工安装配置Cloudera组件-Hadoop
- 解惑 spring 嵌套事务 【转】
- 2015年阿里笔试题
- Codeforces Round #264 (Div. 2)
- DISC定义
- FPGA开发之Tcl的基于项目设计
- Altium Designer入门使用3--印制电路板设计流程与经验之谈 2
- 博弈论入门小结
- 二叉树后序遍历非递归算法