hadoop client 客户端模式搭建
来源:互联网 发布:广场舞扰民知乎 编辑:程序博客网 时间:2024/06/10 06:37
hadoop client 客户端模式搭建
在实际的开发环境中,在集群环境中开发往往存在很多安全隐患,例如集群文件被误删等等,所以一般的开发工作都是本地完成开发的。本地做MR开发时,由于没有hadoop环境,所以调试工作往往变的很难进行,所以在本地搭建一个hadoop client,不仅能提供本地调试环境,还能从直接从本地访问到hdfs 数据和提交任务到hadoop环境中。你可以在本地运行MR,不登陆服务器查看数据。本文只写在windows环境下搭建,linux环境也差不多(更简单),有需要可以留言。
hadoop 客户端模式搭建
1、将集群的的配置文件复制到本地,并且配置HADOOP_HOME,和环境变量(PATH),如图:
将hadoop的bin和sbin路径配置好,如上图,验证,打开cmd,输入hadoop -version。
2、修改配置文件:
(1)修改core-site.xml,修改 fs.default.name选项的值,使其指向集群master的地址。
(2)修改hadoop-env(windows修改.cmd文件)的jdk路径。
需要修改的就只有上面两项,是不是很简单。
3、配置本地用户变量,冒充hadoop用户(我这里用的时虚拟机,所以用的root权限,可根据实际情况经行修改),如果不设置这一步,会报权限拒绝。
到这一步,hadoop的客户端已经搭建完成了,你可以在本地运行MR,不登陆服务器查看数据。
4、写在最后,其实hadoop client模式不仅仅只用于本地调试,还可以作为集群的堡垒机使用,使得集群环境和开发环境分离开来。
注:如需要hive,spark 等客户端模式搭建文档,如果遇到搭建问题可在博客留言,我会定期回复。
- hadoop client 客户端模式搭建
- spring-cloud-client搭建客户端(二)
- 搭建Hadoop和Hive客户端
- Hadoop单机模式搭建
- Hadoop RPC通信Client客户端的流程分析
- 客户端(client)
- Hadoop伪分布模式搭建
- Hadoop伪分布模式搭建
- Hadoop单机模式集群搭建
- Hadoop单机模式环境搭建
- Hadoop分布式模式环境搭建
- 伪分布模式搭建hadoop
- spark+hadoop Standalone模式 搭建
- 搭建Hadoop(standlone模式)-mac
- hadoop异常:虚拟机上搭建分布式集群org.apache.hadoop.ipc.Client: Retrying connect to server
- Hadoop集群上搭建多用户模式hive
- hadoop集群搭建多用户模式的hive
- Ubuntu搭建单击模式的hadoop
- 微信小程序:实时圆形进度条实现
- spring-boot整合redis作为缓存(1)——redis的设置
- 使用nexus3搭建私有仓库
- 工作总结(一)
- 三、caffe 源码架构
- hadoop client 客户端模式搭建
- 主要排序算法实现(Java版)
- Spring4-Struts2-Hibernate4 CRUD Demo
- css hack方法和bind与on的区别
- maven集成与Jenkins构建
- nexus-3.2.1-01安装配置(Cent OS7.2环境)
- 2017 Wuhan University Programming Contest (Online Round)(补题补题)
- linux-3.2.36内核启动1-启动参数(arm平台 启动参数的获取和处理,分析setup_arch)
- 常用Sql