ubuntu安装配置hadoop伪分布式及eclipse搭建hadoop环境
来源:互联网 发布:邮件软件中文字体 编辑:程序博客网 时间:2024/05/21 17:07
网上教程很多,我是按这个来的http://www.cnblogs.com/xiuyangleiasp/p/5010311.html。
一、ubuntu安装配置hadoop过程为:
1.安装ssh和ssh无密码登录
2.安装jdk并配置环境变量(环境变量的配置是必须的,不然hadoop找不到jdk)。配置环境变量的时候需要注意不能覆盖了系统原来的环境变量,不然很多命令会无效。这样配置是没有问题的:
#java jdkexport JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
3.安装hadoop单机环境:
4.再在单机环境上配置伪分布模式,
为了能随时使用hadoop命令,配置一下hadoop的环境变量:
#hadoopexport HADOOP_INSTALL=/usr/local/hadoop-2.6.5export PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALL
二、在eclipse上搭建hadoop环境:
1.下载安装eclipse;
2.下载对应的hadoop插件并放到eclipse的plugins目录下面;
3.配置hadoop目录:
打开eclipse的Windows->Perferences的Hadoop Map/Reduce中选择hadoop所在目录
我的是/usr/local/hadoop-2.6.5
4.启动hadoop
(1)打开windows->Open Perspective下的Map/Reduce,在此Perspective下进行hadoop开发。
(2)打开Windows->Show View中的Map/Reduce Locations。
(3)在此view下右键选择New Hadoop Location,新建Hadoop连接。
5.编写程序:建立map/reduce工程,接下来跟普通的java程序一样,只不过运行时需要选择Run As->Run Configrution,之后填写一下输入输出目录,再点run即可。
阅读全文
0 0
- ubuntu安装配置hadoop伪分布式及eclipse搭建hadoop环境
- Ubuntu系统安装+Hadoop伪分布式环境搭建+eclipse环境配置
- Ubuntu配置hadoop单机+伪分布式环境+eclipse--配置hadoop伪分布式环境(三)
- Ubuntu配置hadoop单机+伪分布式环境+eclipse--安装hadoop(一)
- Ubuntu配置hadoop单机+伪分布式环境+eclipse--安装eclipse并配置插件(四)
- Mac下搭建hadoop伪分布式及eclipse开发环境
- Ubuntu上搭建Hadoop环境(伪分布式)
- Ubuntu hadoop 伪分布式环境搭建步骤
- 单机伪分布式环境搭建(配置Hadoop)
- Ubuntu配置hadoop单机+伪分布式环境+eclipse-- 配置hadoop单机环境(二)
- Ubuntu下伪分布式模式Hadoop的安装及配置
- Ubuntu下伪分布式模式Hadoop的安装及配置
- Hadoop在Ubuntu下安装教程及伪分布式配置
- Hadoop伪分布式环境搭建+Ubuntu:16.04+hadoop-2.6.0
- ubuntu环境下搭建Hadoop伪分布式环境和Eclipse开发环境
- ubuntu 搭建伪分布式hadoop
- Ubuntu Hadoop伪分布式搭建
- Hadoop伪分布式环境搭建
- Caffe+windows7+Visual Studio 2015+Python+CPU配置记录
- 条件对象(条件变量)——线程学习六
- BZOJ3295: [Cqoi2011]动态逆序对
- Eloquent JavaScript 笔记 七: Electronic Life
- MYSQLl防注入
- ubuntu安装配置hadoop伪分布式及eclipse搭建hadoop环境
- Linux下的tar压缩解压缩命令详解
- nginx 基础
- phpcms调取当前栏目的描述及当前栏目的名称
- Spring+Mybatis整合时Caused by: java.lang.IllegalArgumentException错误
- redis命令详解
- 2017百度春招 不等式数列(DP)
- JAVA设计模式初探之适配器模式
- android 跳转activity,清空之前activity栈