win10 下利用eclise 访问本地的hadoop 和 虚拟机下的hadoop
来源:互联网 发布:雕刻机钻孔编程视频 编辑:程序博客网 时间:2024/05/16 14:11
win10 下利用eclise 访问本地的hadoop 和 虚拟机下的hadoop
记录用eclipse 访问win10下的hadoop 和虚拟机下的hadoop 的配置过程中踩过的一些坑。不是安装教程,当然如果大家有什么安装过程中遇到的问题也可以一块探讨QQ1010490079。
安装步骤:
1.下载jdk,并配置环境变量,这里不多说(win下的和ubuntu下的都要配置)
2.下载hadoop并按照在本地安装的形式进行解压和配置相关文件-包括环境变量的设置(本地:所有的路径都为 localhost,如下图红圈所示,其他的文件配置也依次这样设置)
3.在虚拟机上进行测试是否配置成功,如果运行jps命令能够拉起四个进程则配置成功
4.在windows 下解压hadoop 并配置环境变量,同样以在本地安装的形式。测试是否配置成功
5.在windows 的eclipse 下运行hadoop(包括hadoop-eclipse插件、winutils.exe 和 hadoop.dll文件放在指定文件夹下之后才能运行eclipse 并进行相关设置)
6.在eclipse 下配置本地hadoop 并运行wordcount 案例进行测试(本地hadoop配置如下)
配置之后如没有出现错误则正常,如下local_hadoop。连接出错自行解决并没有问题时在进行下一步。
- 7.在ubuntu 的hadoop 用户上,更改配置文件的本地路径为你ubuntu的网络ip,(在此可以先行设置虚拟机的ip,具体设置自行百度)其他的可以不用更改。如图所示,我的更改为192.168.100.128 其他配置文件依次更改
8.在ubuntu下 启动hadoop ,正常启动则下一步。
9.在windows 下的eclipse 中添加 hadoop。方法同步骤6,不过host 为你在ubuntu的配置文件中写的地址,Username 栏填的是你在ubuntu 下的用户名。我的配置如下图:
10.点击finish 之后连接成功再进行下一步(建议在ubuntu 下设置好了ip 之后进行重启。)。如果正常则大功告成。下面运行相关案例进行测试说明。
首先在hadoopm目录下如下路径\share\hadoop\mapreduce\sources 找到一个 hadoop-mapreduce-examples-2.7.2-sources.jar 的文件,解压之后有一个WordCount.java的文件。
在eclipse下 新建Map/Reduce Project ,next之后在 Librarties 界面Add library-> User Libarary 新建一个Library ,然后里面加入hadoop 目录下 share\hadoop 下的common、 reduce、 yarn、hdfs 下的jar 包全部加入进去(我是全部加进去的,方便不遗漏)。完成之后回到创建项目添加liarary 界面上,选择你刚才新建的user liarary 完成。
在项目中加入你刚才的WordCount.java 文件。
11.在DFS Locations 的本地hadoop 和ubuntu hadoop 右键test 文件夹用作测试。在test 下创建input 文件夹用于存入测试数据。自己创建file1.txt 输入文本 ‘hello java hello hadoop’(文本内容随意),在cmd 下hadoop 目录利用 命令(命令自行百度)将file1.txt 放在input 目录下。效果如图:
12.在新建好的项目中,WordCount.java 文件run as -> run configurations .运行方式 java application ,参数设置:
如果要在本地hadoop 上运行,设置参数如下:
hdfs://local:9000/test/input
hdfs://local:9000/test/output
如果要在虚拟机上的hadoop 上运行,设置参数如下:
hdfs://192.168.100.128:9000/test/input
hdfs://192.168.100.128:9000/test/output
正常运行会在DFS Location 下的两个hadoop 上生成相关的output 文件夹,到此结束。
如果有问题欢迎大家一块探讨
- win10 下利用eclise 访问本地的hadoop 和 虚拟机下的hadoop
- windows下利用eclipse+maven连接虚拟机上的hadoop
- linux 下eclise上配置hadoop
- 本地Eclipse访问虚拟机Hadoop需要注意的几点
- windows10 下不能访问Hadoop在虚拟机中部署的完全分布式的hdfs和mapreduce问题
- windows10 下不能访问Hadoop在虚拟机中部署的完全分布式的hdfs和mapreduce问题
- Windows下的Eclipse访问虚拟机的Hadoop的一些注意事项
- 利用unbuntu在虚拟机下配置Linux与hadoop的环境
- win7下Eclipse连接虚拟机中的ubuntu下的hadoop
- 虚拟机linux下安装jdk和 hadoop
- hadoop在windows平台下的本地模式配置
- hadoop 基于3台虚拟机下的集群配置
- unbuntu虚拟机下hadoop实例wordcount的运行
- 搭建VM的虚拟机下hadoop集群环境
- 利用虚拟机的hadoop原生集群搭建
- win7下本地访问远程Hadoop配置步骤
- Hadoop平台下的Hive和HBase
- hadoop基础------虚拟机(四)-----VMware虚拟机下linux系统的图形界面和命令行文本界面的切换
- poj 2186 强连通缩点求出度为0点是否唯一
- Linux学习 CDN加速
- Coursera机器学习 Week6 笔记
- 盒模型
- Palindromic Substrings问题及解法
- win10 下利用eclise 访问本地的hadoop 和 虚拟机下的hadoop
- 从键盘输入一串字符,输出其中最长的单词
- KMP算法详解【ORZ式教学】
- 多线程
- 大还是小?
- IO
- css三种引用方式
- UVA10935 Throwing cards away I(队列)
- 关于水仙花数及用Python函数解析水仙花数算法