hue与Hadoop的集成
来源:互联网 发布:浴霸灯哪个牌子好 知乎 编辑:程序博客网 时间:2024/05/09 22:31
hue与Hadoop的集成
1、修改Hadoop相关配置文件
hdfs-site.xml
dfs.webhdfs.enabled -》默认是开启,所以不再配置
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
core-site.xml
<property> 配置hue的访问hdfs的权限 (oozie)
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
2、修改hue的主配置文件里的hdfs、yarn模块
[[hdfs_clusters]]
# HA support by using HttpFs
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://blue01.mydomain:8020
# NameNode logical name.
## logical_name=
# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
# Default port is 14000 for HttpFs.
webhdfs_url=http://blue01.mydomain:50070/webhdfs/v1
hadoop_hdfs_home=/opt/modules/hadoop-2.5.0-cdh5.3.6
hadoop_bin=/opt/modules/hadoop-2.5.0-cdh5.3.6/bin
hadoop_conf_dir=/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop
[[yarn_clusters]]
[[[default]]]
# Enter the host on which you are running the ResourceManager
resourcemanager_host=blue01.mydomain
# The port where the ResourceManager IPC listens on
resourcemanager_port=8032
# Whether to submit jobs to this cluster
submit_to=True
# Resource Manager logical name (required for HA)
## logical_name=
# Change this if your YARN cluster is Kerberos-secured
## security_enabled=false
# URL of the ResourceManager API
resourcemanager_api_url=http://blue01.mydomain:8088
# URL of the ProxyServer API
proxy_api_url=http://blue01.mydomain:8088
# URL of the HistoryServer API
history_server_api_url=http://blue01.mydomain:19888
3、重启Hadoop服务集成及hue server
$ sbin/stop-all.sh
$ sbin/start-all.sh
$ build/env/bin/supervisor
右上角 管理hdfs :
增删改查、上传等
右上角 管理作业 :
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/wc.txt /user/output1
注意:需要开启hdfs yarn historyserver服务
$ sbin/stop-all.sh
$ sbin/start-all.sh
$ sbin/mr-jobhistory-daemon.sh start historyserver
阅读全文
0 0
- hue与Hadoop的集成
- Hue与hadoop的集成配置
- Hadoop集成Hue详解
- hue与hive集成
- hue与oozie集成
- Hue(三)集成Hadoop
- Hue与RDBMS关系型数据库的集成
- Hue集成的一些问题
- Hue 可视化的Hadoop架构工具
- hue的安装与使用
- hue的安装与使用
- hue的安装与使用
- hue的定制与二次开发
- (二)hue与HDFS、YARN集成配置与测试
- hue 集成 hive问题
- HUE中集成Solr
- HDP 2.5集成Hue
- Hadoop可视化与交互式工具:Zeppelin和Hue
- 基础练习 字母图形
- linux僵尸进程产生的原因以及如何避免产生僵尸进程
- 0 == "###"
- wamp+php+vscode
- 作业: 1.创建一个窗口程序(JFrame),标题栏起名为“浏览器”,有一个菜单条,有“文件”、“编辑”、“查看”3个菜单。“文件”菜单有两个菜单项,一项是“打开”,一项是“保存”,“打开”项做成子菜
- hue与Hadoop的集成
- Mysql的环境安装详解
- jenkins--30--项目构建
- java基础7:map集合原理详解及斗地主游戏案例
- 用户日志分析系统实战(二)
- 计蒜客·质数原根
- Mybatis(入门)简单的增删改查
- hue与hive集成
- CodeForces