Hadoop入门(一):Hadoop伪分布安装
来源:互联网 发布:网络销售书籍 编辑:程序博客网 时间:2024/05/16 13:53
1安装Hadoop
首先解压下载来的hadoop 0.20包到/home/admin目录:
tar xzfhadoop-0.20.2.tar.gz
配置Hadoop环境变量:
exportHADOOP_INSTALL=/home/admin/hadoop-0.20.2
exportPATH=$PATH:$HADOOP_INSTALL/bin
测试下是否安装成功:
hadoop version
2创建SSH无密码模式密钥
为当前用户配置无密码的SSH登录:
ssh-keygen-t rsa -P '' -f ~/.ssh/id_rsa
cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
测试一下是否还提示输入密码:
ssh localhost
3配置Hadoop伪分布模式
/home/admin/hadoop-0.20.2/conf/core-site.xml
===============================================================================
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost</value>
</property>
</configuration>
/home/admin/hadoop-0.20.2/conf/hdfs-site.xml
===============================================================================
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
/home/admin/hadoop-0.20.2/conf/mapred-site.xml
===============================================================================
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>
4启动Hadoop服务
4.1格式化NameNode
hadoop namenode -format
4.2启动服务
start-dfs.sh
start-mapred.sh
4.3常见问题
在namenode启动脚本%HADOOP_HOME%/bin/start-dfs.sh的时候发现datanode报错:
Error: JAVA_HOMEis not set
原因是在%HADOOP_HOME%/conf/hadoop-env.sh内缺少JAVA_HOME的定义,只需要在hadoop-env.sh中增加:
exportJAVA_HOME=/export/servers/jdk1.6.0_25/
5测试HDFS
hadoop fs -mkdir books
hadoop fs -ls .
hadoop fs -copyFromLocal NOTICE.txthdfs://localhost/user/root/books/NOTICE.txt
参考资料
《Hadoop权威指南》
- Hadoop入门(一):Hadoop伪分布安装
- hadoop伪分布安装
- hadoop 伪分布安装
- hadoop伪分布安装
- hadoop伪分布安装
- Hadoop伪分布安装
- ubuntu安装hadoop(伪分布)
- Spark伪分布安装(依赖Hadoop)
- 【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)
- Hadoop伪分布模式安装
- hadoop的伪分布安装
- Hadoop伪分布模式安装
- hadoop的伪分布安装
- hadoop 2.5 伪分布安装
- 伪分布模式安装Hadoop
- hadoop的伪分布安装
- CentOS安装伪分布Hadoop
- hadoop之伪分布安装
- xcode [CCBReader readFloat] Ad Hoc Build
- 碎片化的时代,我们如何避免被信息瓦解
- PHP在线生成二维码
- 《数据通信与网络》笔记--网络交换技术
- JavaScript更巧的写法
- Hadoop入门(一):Hadoop伪分布安装
- Hadoop入门(二):ZooKeeper单机安装
- 我学习外语的一些方法
- Jenkins持续集成环境搭建
- 分类记单词
- SAP系统中发送消息的几种办法
- 工厂模式简单运用
- 冒泡、选择、插入排序
- 通过cmd命令安装、卸载、启动和停止Windows Service(InstallUtil.exe)