hadoop 中MapReduce代码运行在win7上(本地)
来源:互联网 发布:数控线切割编程五角星 编辑:程序博客网 时间:2024/05/17 06:53
1,下载hadoop安装包,我使用的是hadoop2.6,可以去官网下载。
2,解压后,配置环境变量---->HADOOP_HOME:D:\hadoop\hadoop-2.6.0(我自己的路径,根据自己的安装包路径配置就行)
3,配置完成后,打开cmd(重新配置后需要重启cmd,有时候电脑加载延迟也说不定),键入:hadoop version ----> 成功后会显示hadoop版本号,失败后就会报错
需要注意:::如果失败后抱Java error什么的,需要把Java的环境变量重新修改一下,eg:C:\Program Files\Java\jdk1.7.0_80---->C:\PROGRA~1\Java\jdk1.7.0_80
因为Java路径中有空格,hadoop寻找本地的Java找不到,切记。。。
4,成功后进入你编写的MapReduce main 类中,设置程序运行参数(args=new String[]{"inputPath","outputPath"}),点击运行。
5,打开outputPath,会出现和在集群上运行MapReduce一样的结果文件(part_-r-00000,_SUCCESS...等结果文件)。
6,还可以和运行普通Java工程一样进行断点调试(DEBUG模式),在你需要调试的地方打上断点,Debug 'main()',按F7是一步一步进行运行(会进入hadoop源码的那种),按F8只在自己程序中一步一步运行。
7,这种模式很方便调试MapReduce程序,调试好之后再上集群,很快捷,提升开发效率。
8,如果配置完成后还是不能运行或者报错,自己感觉没问题了,试试重启idea或者eclipse,很神奇。
- hadoop 中MapReduce代码运行在win7上(本地)
- windows本地运行offline_data_analysis项目(项目运行在本地hadoop上)
- python版的mapreduce程序运行在hadoop上
- hadoop的mapreduce运行在yarn上的原理
- hadoop初识之三:搭建hadoop环境(配置HDFS,Yarn及mapreduce 运行在yarn)上及三种运行模式(本地模式,伪分布式和分布式介)
- 在eclipse将mapreduce程序运行在hadoop集群中
- C++版的mapreduce程序运行在hadoop上(1)
- hadoop初识之二:三大组件(HDFS,MapReduce,Yarn)以及mapreduce运行在yarn上的过程
- 快速在Window本地运行hadoop(包括hadoop的hdfs,mapreduce)
- Hadoop-MapReduce Job本地运行流程
- 创建MapReduce程序,并在hadoop集群中运行
- 在Hadoop平台中运行MapReduce WordCount程序
- Java开发的mapreduce如何在hadoop中运行
- Hadoop-将python代码运行在hadoop上
- 在win7 上运行DPM源码--代码修改方法
- Hadoop环境搭建之一安装jdk,hadoop基本配置及运行MapReduce案例在本地模式下
- 在Hadoop上运行基于RMM中文分词算法的MapReduce程序
- hadoop初识之十一:mapreduce编写格式与示例, 并在yarn上运行
- Unity批处理修改prefab
- Android之霓虹灯实现小效果
- 源码分析-CyclicBarrier
- 作为文件句柄的变量过短出现的文件操作错误
- 无需编程,我教你打造H5页面图片轮播效果
- hadoop 中MapReduce代码运行在win7上(本地)
- 比较成绩
- mysql查看库、表大小
- Button的自定义 创建的类 直接继承就好了
- MpscLinkedQueue 无锁队列
- SSH项目Cannot delete or update a parent row: a foreign key constraint fails ...异常
- input、buttonde在ajax提交表单时导致的错误
- 《Node.js》安装
- dwr部署的问题