CDH使用文档
来源:互联网 发布:php画等腰三角形星星 编辑:程序博客网 时间:2024/06/06 06:44
CDH使用文档
前言:CDH在安装完毕之后,通过CM给集群添加服务组件,就可以开始各个组件的使用了,本文针对集群和各服务组件的使用作说明。
一、 创建用户目录
在集群上使用CDH时,建议使用普通用户提交任务。开始使用前,需要添加对应的HDFS组件,然后在HDFS上创建自己的用户目录。创建时,需要有sudo权限。命令如下,
创建用户目录:
sudo –u hdfs hadoop fs –mkdir /user/xxx (xxx代表用户名称)
给用户目录赋权限:
sudo –u hdfs hadoop fs –chown –R xxx: supergroup /user/xxx (xxx代表用户名称)
创建完毕之后使用查看用户和用户组:
hadoop fs –ls /user/ xxx (xxx代表用户名称)
二、 服务组件的添加
对于需要使用的组件,通过CM管理界面进行添加
三、 服务组件使用方法
CDH的服务创建时候,不需要在命令行进行启动停止服务操作,启动和停止操作可以在CM端进行。
以下列出各个组件进入shell命令方法(前提该组件在CM端已经添加):
1、HDFS(需要先创建对应用户目录,参考第一步)
a) 列出当前用户目录下文件及文件夹
hadoop fs –ls
b) 上传数据到HDFS
hadoop fs –put xxx.txt
c) get数据到本地
hadoop fs –get xxx.txt
d) 提交任务(以hadoop自带的examples为例)
cd /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/
hadoop jar hadoop-mapreduce-examples.jar pi 10 10
2、Hive
命令行直接输入:
hive
3、HBase
命令行直接输入:
hbase shell
4、Spark
命令行直接输入:
spark-shell
四、 日志查看
1、通过CM进行查看(mapreduce日志查看举例)
在CM端点击组件
进入状态页面
进入组件Web UI
找到自己提交的任务ID,点击history
进入任务详情页面:
点击map进入具体的task信息
查看日志
还可以直接找到job列表
查看更详细日志
2、服务器端查看
进入到/var/log/目录 进入到对应组件目录查看相应日志(此种方式查看错误日志不是很方便,需要定位到对应job执行的机器查看日志输出)
此处为yarn的日志:
五、 组件WebUI进入
主页点击相应的组件进入状态页面:
- CDH使用文档
- CDH SQOP使用参考文档
- CDH安装文档
- CDH离线安装文档
- cdh安装文档
- CDH参考文档
- CDH 文字安装文档
- [CDH--官方文档]--CDH最新官方文档(最全)
- cdh vm使用
- CDH
- CDH
- CDH
- cdh
- cdh
- cdh
- CDH
- CDH QuickStart VM基本使用
- CDH版Hadoop-zookeeper-hbase-spark安装文档
- 三层架构:表示层-业务逻辑层-数据访问层
- 一道Java面试题的思考
- 设计了一个数据同步架构图,大神来提点意见
- Cassandra 学习笔记
- OC中load方法和initialize方法的异同
- CDH使用文档
- 欢迎使用CSDN-markdown编辑器
- 序列化二叉树
- linux下ftp服务器搭建
- CVPR 2017-02-13
- C++ STL 源码分析
- Java 操作符
- mysql存小数
- strus2+spring+hibernate+maven+注解开发 整合加上实现登录模块