Win 7+ CentOS 6.5 + Hadoop 2.6.0开发环境搭建
来源:互联网 发布:中国程序员数量变化 编辑:程序博客网 时间:2024/05/15 02:12
在Windows 7中搭建Hadoop的开发环境需要注意以下几点:
1、因为我用的是64位操作系统,由于选择JDK版本的问题,出现了很多难以预测的问题,最终我选择的是jdk1.7.0_75,64Bit。
2、org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray 异常
hadoop2.6版本的dll,网上比较多的是2.2的dll,如果2.6版本用2.2的dll,会报hadoop 2.6 UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArra 错误,因为2.2的dll中NativeCrc32只nativeVerifyChunkedSums,没有nativeComputeChunkedSums和nativeComputeChunkedSumsByteArray,所以会报错,至于网上说的建同名包,拷贝NativeCrc32.java是没有用的,至少对于2.6.0来说是没有用的
3、UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
将NativeIO中 access(String path, AccessRight desiredAccess) 方法修改成:
public static boolean access(String path, AccessRight desiredAccess)
throws IOException {
return true;
//return access0(path, desiredAccess.accessRight());
}
4、在Eclipse中创建日志文件,方便调试:
log4j.rootLogger=debug,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
log4j.appender.R.MaxFileSize=1MB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
log4j.logger.com.codefutures=DEBUG
5、将Administrator管理员账户修改称root,我在Centos中用root安装hadoop 2.6.0的。
6、
hadoop Windows下privilegedActionException解决方法
修改hadoop源代码,去除权限认证,修改FileUtil.java的checkReturnValue方法,如下:
private staticvoid checkReturnValue(boolean rv, File p,
FsPermissionpermission
) throws IOException {
// if (!rv){
// throw newIOException("Failed to set permissions of path: " + p +
// " to" +
//String.format("%04o", permission.toShort()));
// }
}
方法2:改为linux环境 不用cywin
方法3:换成0.20以前的版本
方法4:hadoop dfs -chmod -R 777 报错目录
- Win 7+ CentOS 6.5 + Hadoop 2.6.0开发环境搭建
- Win下hadoop、eclipse开发环境搭建
- CentOS 7 开发环境搭建
- hadoop开发环境搭建
- Hadoop开发环境搭建
- hadoop 开发环境搭建
- hadoop开发环境搭建
- Hadoop开发环境搭建
- hadoop开发环境搭建
- Hadoop开发环境搭建
- 搭建Hadoop开发环境
- 搭建Hadoop开发环境
- Hadoop - Hadoop开发环境搭建
- CentOS开发环境搭建
- Centos开发环境搭建
- CentOS 开发环境搭建
- win 7+ android +ndk+ opencv开发环境搭建
- InteliJ IDEA + Genymotion搭建Android开发环境(win 7)
- MySQL 学习笔记--架构
- Solr 与 项目 集成、单元测试
- java读写文件大全
- Node.js笔记(五)express 中的路由
- CentOS yum 安装 nginx
- Win 7+ CentOS 6.5 + Hadoop 2.6.0开发环境搭建
- 继承与派生:派生类的构造函数
- 为什么要使用Docker
- python中sort()、sorted()函数比较
- amd虚拟机中ios装环境问题
- 语音识别之端点检测
- poj_3009
- ViewPager图片切换简单实现
- 计数排序