hadoop2.6.1+spark1.5.1
来源:互联网 发布:数据库sql2000恢复 编辑:程序博客网 时间:2024/05/22 09:45
1.部署hadoop集群时,注意先规划好集群IP地址并与host绑定,在/etc/hosts 里设置。
这样方便修改ip地址,和区分不同的机器
2.hadoop-eclipse-plugin的编译。
github源码: https://github.com/winghc/hadoop2x-eclipse-plugin
note: 1.需要安装ant;
2.需要修改 hadoop2x-eclipse-plugin-master/ivy/libraries.properties 里面对应的hadoop版本号
3.编译指令 ant jar -Dversion=x.x.x -Dhadoop.version=x.x.x -Declipse.home=/path/to/eclipse -Dhadoop.home=/path/to/hadoop
将编译好的jar文件复制到eclipse的plugins文件夹里面。
重启eclipse后,如果无法加载map/reduce locations模块,可能是因为eclipse所指定的jdk版本太低。
3.map/reduce location设置时
Host为hadoop集群master的ip地址,对应的port为core-site.xml中的配置,
Username需要为对应的集群所在的linux系统中运行的user的username.
而且为了在windows的eclipse中可以删除DFS中需要修改windows的用户与组里的用户为对应的linux系统运行hadoop的user.
4.centos firewalld的配置。
不知道为什么使用命令 firewall-cmd --zone=public --remove-forward-port 命令后,显示success.
但是不管是firewall-cmd --reload,还是systemctl restart firewalld.service
转发规则还在。
5.hadoop和spark集群运行时,注意它们所使用的端口是否开放。
- hadoop2.6.1+spark1.5.1
- hadoop2.4.1 spark1.0.1编译
- Spark1.5.0 + Hadoop2.7.1整合
- ubuntu16.04搭建Hadoop2.7.2+spark1.6.1+mysql+hive2.0.0伪分布学习环境
- hadoop2.4.1集群安装spark1.1.0
- spark1.2.0+hadoop2.4.0集群环境搭建
- Spark1.2+Hadoop2.6伪分布式安装
- Spark1.5.2 on Hadoop2.4.0 安装配置
- Spark1.6.0-Hadoop2.6配置过程
- CentOS7+Hadoop2.5.2+Spark1.5.2环境搭建
- hadoop2.4+spark1.3.0集群安装
- spark1.6.2 on hadoop2.6.4安装流程
- Hadoop2.6.5/Spark1.6.3 HA集群构建
- Hadoop2.2 + spark1.0 在ubuntu 上搭建分布式集群
- linux(centos7)基于hadoop2.5.2安装spark1.2.1
- spark1.3.0-hadoop2.4集群环境搭建(Standalone)
- Hadoop2.7.0+与Spark1.5+已将不支持JDK1.6
- Tachyon0.6.4+Spark1.3+hadoop2.6.0 配置教程详解
- 【JavaScript】 splice & slice
- 10-19笔记总结
- View的事件分发机制(1)
- 事件驱动模型
- Android屏幕自适应
- hadoop2.6.1+spark1.5.1
- 1054: [HAOI2008]移动玩具
- set_include_path()的用法
- 新浪微博关系服务与Redis的故事
- 谷歌C++编程规范补充--windows编程规范
- EC2 上部署Django应用
- ubuntu15.04安装jdk8 、eclipseEE、tomcat8的流程
- session的创建和销毁
- Android 适配