hadoop2.4单机环境搭建
来源:互联网 发布:linux rm删除指定文件 编辑:程序博客网 时间:2024/05/29 18:56
今天用了一下午在虚拟机里搭建好了hadoop,第一次没经验各种报错啊。。。。
我用的是ubuntu,首先是准备工作,下载好JDK,HADOOP2.4解压到/usr/local/里。安装JDK配置环境变量就不说什么了,配置SSH网上说的也很多没什么问题,只要使用ssh localhost能连接上即可。
准备工作都做完了进入重点,其实难度不大就是配置教程里有些没说的东西会导致报错什么的很麻烦。首先在/etc/hosts里加上IP与主机名的对应。还有注意处理下文件夹的权限问题。之后就是HADOOP的配置,首先要在hadoop-env.sh,yarn-env.sh里再添加一次JAVA的路径,环境变量没有用。之后就是三个xml的配置,从网上照抄来就行,我dfs.namenode.name.dir用的是绝对路径。之后使用./bin/hdfs namenode –format格式化namenode,然后使用start-all.sh来开始服务,开启后使用jps命令来看是否全部打开。如果打开了就可以使用了。
1.使用bin/hadoop fs -put 本地 远程 将文件复制入hdfs中,注意如果远程直接为文件夹名(如AA),则实际地址为hdfs://localhost:9000/user/XX(你的用户名)/AA。 当然也可以使用/AA的绝对路径
2.使用bin/hadoop jar xxxx.jar 参数 input output 运行mapreduce程序
3.使用bin/hadoop fs -ls(和-cat) 远端路径 来查看输出结果
参考链接:
http://blog.csdn.net/yfkiss/article/details/7715476
http://blog.csdn.net/hadoop_/article/details/17716945
今天先写这么多,有时间补上xml。
- hadoop2.4单机环境搭建
- Hadoop2环境搭建(单机伪分布)
- 基于hadoop2.7.3搭建单机hadoop环境
- Hadoop2.7.3搭建单机、伪分布环境
- hadoop2.4环境搭建
- hadoop2 单机搭建
- hadoop2.7单机搭建
- Ubuntu 12.04搭建hadoop2.0.4单机版环境
- 新手上路——hadoop2.7.3单机模式环境搭建
- CentOS6.7 下搭建 Hadoop2.7.1 单机伪分布式环境
- Linux环境Hadoop2.8.0搭建(单机模式-伪分布式模式)
- Ubuntu 16.04-HBase1.3.1+Hadoop2.6.5 单机环境搭建
- hadoop2.x单机环境安装
- Ubuntu下hadoop2.4搭建集群(单机模式)
- Ubuntu 14.10(32位)上搭建Hadoop2.5.0单机伪分布式环境
- Ubuntu下JDK及hadoop2.2.0的单机,伪分布式环境搭建
- 在Win7虚拟机下搭建Hadoop2.5.2+Spark1.5.2单机环境
- hadoop2.6.4+Ubuntu14.04的单机模式和伪分布模式环境搭建
- 《论语》学习摘要第一篇
- C#03
- ARM指令
- html加强
- DP--HDU 1003(最大子串和)
- hadoop2.4单机环境搭建
- POJ2828 Buy Tickets (线段树)
- 技术股份将根据国家
- 跨平台移动开发phonegap/cordova 3.3全系列教程
- 红黑树介绍
- Mac中配置Android的ADB命令
- 跳表介绍
- FindBugs静态分析工具
- 关于myeclipse关联源文件没有反应的的现象处理