Hadoop环境搭建与Eclipse调试环境搭建
来源:互联网 发布:淘宝美工的工作总结 编辑:程序博客网 时间:2024/06/05 20:49
鄙人不才,最近才接触Hadoop,用来做些分析。
下面把搭建Hadoop环境遇到的一些坑记录一些,做个记录。
一、搭建虚拟机,初试Hadoop
1、使用VMWare安装Ubuntu16.04,包括添加共享等
2、安装JDK1.7和ssh,Java1.6没装
3、下载Hadoop2.6.0,是bin版本的
4、参考Hadoop的文档,在Linux下运行了一下Standalone Operation,期间会有权限、网络等问题,解决了。
二、搭建调试环境,运行Hadoop
1、参考Hadoop的文档,搭建伪集群,可能需要把Hadoop目录Owner设置为当前用户;另外,可能出现“JAVA_HOME is not set and could not be found”的问题,在hadoop-env.sh里export一下,或者直接在抛错的脚本前export一下就OK了。成功的话,可以使用浏览器访问到http://ip_address:50070/。
2、参考木偶的《Windows下使用Hadoop2.6.0-eclipse-plugin插件》,完成了eclipse的配置。
2.1、安装JDK1.7,使用eclipse MARS.2
2.2、下载Hadoop2.6.0,是bin版本的
2.3、没有使用Ant编译hadoop的eclipse plugin,VPN连不上了,用的木偶给的链接
2.4、按照木偶的思路,完成在eclipse的Project Explorer的DFS Locations中可查看到HDFS的目录路径
2.5、配置完成后,即可运行MR任务
2.6、运行时会遇到各种问题,木偶给了一些总结,基本可以涵盖,另一篇文章也有些帮助
2.7、在执行中遇到一个“Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V”的问题,由于我用的Hadoop2.6.0版本,需要使用2.6.0版本的hadoop.dll和winutils.exe,可以从github上下载编译,我偷懒直接从CSDN里下载了一个。
至此,我的Hadoop初步环境就搭建好了,下一步,可以开始Hadoop之旅了。
- Hadoop环境搭建与Eclipse调试环境搭建
- eclipse搭建hadoop源码调试环境
- eclipse hadoop 环境搭建
- hadoop搭建与eclipse开发环境设置
- hadoop搭建与eclipse开发环境设置
- hadoop搭建与eclipse开发环境设置
- hadoop搭建与eclipse开发环境设置
- hadoop源码调试环境搭建
- eclipse搭建hadoop开发环境
- eclipse搭建hadoop开发环境
- hadoop-eclipse环境搭建总结
- Eclipse搭建hadoop开发环境
- hadoop+eclipse开发环境搭建
- hadoop eclipse 开发环境搭建
- eclipse操作hadoop搭建环境
- Hadoop eclipse windows环境搭建
- Windows上搭建Eclipse的Hadoop调试环境
- windows下Eclipse的Hadoop运行调试环境搭建
- Android AndFix 热修复框架
- mysql统计
- 多态,前提,特点,好处,弊端
- [笔记]Android Apk Java签名的含义
- CentOS 6.8操作系统安装PostGIS笔记
- Hadoop环境搭建与Eclipse调试环境搭建
- 单机系统改造成集群部署的几个关注点
- 本月技术阅览
- 015-Dijkstra算法-贪心-《算法设计技巧与分析》M.H.A学习笔记
- 无限轮播的实现
- 远程调试ambari
- 汇编指令查询器代码
- 提高项目15、一副扑克牌
- php常用算法