Win7运行MapReduce
来源:互联网 发布:知乎网络加载错误 编辑:程序博客网 时间:2024/05/21 13:48
环境:windows7(64)+intelidea2017+hadoop8+jdk8.0
遇到的主要报错:
0、第一次用jdk9.0,编译时提示json的一个类没有,卸载,安装jdk8.0,问题解决
1.Exception in thread “main” java.lang.RuntimeException: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset
解决办法:下载Hadoop到本地,解压,配置环境变量Hadoop_HOME ,并在path中加上%hadoop_home%/bin
然后在main函数中添加一行代码:
System.setProperty(“hadoop.home.dir”,”c:\hadoop”)
2.could not locate Hadoop executale
解决办法:下载hadoop版本和位数对应的wintuils.exe和hadoop.dll文件,将这两个文件放入hadoop的bin目录下
3.Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0
解决办法:将hadoop.dll放在system32目录下
4、解决完上述几个报错后,运行,会在项目目录下生成一个output目录,里面记录有生成的结果文件
具体intelidea配置如下:
1、配置project setting
2、配置Artifacts
3、配置一个Application
其中Program arguments:中第一行为jar包路径,也就是在Artifacts配置的路径,第二行为带有main函数的类,三四行为输入输出
4、新建一个目录input,将分析文本文件拷贝进去
5、运行,成功后,会在项目目录下生成一个output目录,里面的文件如下:
7、三个类就是hadoop权威指南书上的天气例子,由于编辑器使用不好,
代码贴上排版很糟糕,所以没贴,网上有很多。
- Win7运行MapReduce
- win7下eclipse运行mapreduce程序
- 解决Win7下eclipse运行Mapreduce程序解决办法汇总
- hadoop 中MapReduce代码运行在win7上(本地)
- Win7下面安装hadoop2.x插件及Win7/Linux运行MapReduce程序
- Win7下面安装hadoop2.x插件及Win7/Linux运行MapReduce程序
- Win7下的eclipse运行mapreduce程序报WordCount$TokenizerMapper not found
- win7使用eclipse连接hadoop集群,运行mapreduce报错之:org.apache.hadoop.security.AccessControlException
- 集群运行mapreduce原理
- mapreduce程序运行
- MapReduce作业运行流程
- MapReduce 运行Kmeans代码
- MapReduce 运行流程概要
- windows上运行mapreduce
- MapReduce运行的例子
- MapReduce的运行原理
- MapReduce程序运行流程
- eclipse上运行mapreduce
- JavaScript 30 Day -- 01 JavaScript Drum Kit
- 数据结构实验之栈与队列六:下一较大值(二)
- 深度学习中IU、IoU(Intersection over Union)的概念理解以及python程序实现
- 第四周线性表--链表 项目二 建设”单链表“算法库
- 输入
- Win7运行MapReduce
- iOS Xcode9 Safe Area Layout Guide Before iOS9.0报错解决
- java基础 一
- Linux内核学习总结
- MFC CMFCPropertyGridCtrl控件使用问题:刷新后底部出现黑边
- AOP编程思想理解
- Automatic Inference of Search Patterns for Taint-Style Vulnerabilities
- Leetcode: sort-list
- shell编程