Hadoop1.2.1 伪分布环境搭建
来源:互联网 发布:炒外汇软件哪个好 编辑:程序博客网 时间:2024/05/18 02:54
步骤如下: vi 修改文件退出 ( esc退出键 :wq保存退出)
1步 :设置静态Ip 参见 如何设置Ip .
验证:ifconfig
2步:修改主机名:一次性修改:hostname haoop
永久性修改:vi /etc/systemconfig/network 改名字为 hadoop
测试:重新登陆 su root ,root@hadoop 为成功
3步:hostname和ip绑定 : vi /etc/hosts 增加一行:192.168.166.166 hadoop
测试:ping hadoop 成功
4步:关闭防火墙:service iptables stop 测试:service iptables status :为is not成功;
再关闭防火墙的自动启动功能:chkconfig iptables off
测试: chkconfig --list | grep iptables 全部off为成功
5步:SSH的免密码登陆
ssh-keygen -t rsa 产生密匙,位置在~/,ssh目录下。
执行命令: cp ~/.ssh/id_rsa.put ~/.ssh/authorized_keys
验证:ssh localhost 登陆 ssh,exit退出ssh,再次退出则是客户端退出。
6步:安装jdk
使用工具:winscp把jdk文件从window复制到linux的/usr/local目录下
执行命令:chmod u+x jdk_6u24_linux-i586.bin 赋予jdk执行权限
执行命令:./jdk_6u24_linux-i586.bin 解压缩
重命名:mv jdk_6u24_linux-i586.bin jdk
然后 : vi /etc/profile
添加二行:export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
让设置立即生效: source /etc/profile
测试:java -version
7步:终极安装hadoop
1.解压缩Hadoop:tar -zxvf hadoop-1.1.2.tar.gz 进行解压缩
2. 执行命令:mv hadoop-1.1.2 hadoop 重命名
3. vi /etc/profile 设置环境变量,
增加一行:
4. export HADOOP_HOME=/usr/local/hadoop
修改一行:
5. export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
6 让设置立即生效: source /etc/profile
7.修改hadoop的配置文件,位于$HADOOP_HOME/conf目录下,
修改4个hadoop-env.sh , core-site.xml ,hdfs-site.xml , maperd-site.xml
修改内容有点多,简便的方法是:
winscp进入/usr/local目录下,为4个文件位置,选择文件,点击edit为文本修改模式。
【 hadoop-env.sh】
大约9行位置修改JAVA_HOME=/usr/local/jdk
【core-site.sh :文件修改】
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9090</value>
<description>you hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
【hdfs-site.xml的修改如下】
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
【maperd-site.xml的修改内容】
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9091</value>
<description>you hostname</description>
</property>
</configuration>
8.修改完后:启动格式化命令:hadoop namenode -format
9:启动命令:start-all.sh
测试方式1: 命令:jps 【如果+jps进程有6个说明启动成功】
29201 DataNode
29097 NameNode
29393 JobTracker
29500 TaskTracker
29317 SecondaryNameNode
测试方式2:虚拟机浏览器访问:hadoop:50070或hadoop:50030
测试方式3.:在宿主机中测试:host目录添加:192.168.167.166 hadoop 便可以访问hadoop:50070或hadoop:50030
启动hadoop失败原因总结:
1:没有格式化。
2:配置文件只copy,没修改
3:hostname与ip没绑定
4:ssh免密码登陆没有配置成功
.多次格式化hadoop是错误的,可以通过删除/usr/local/hadoop/tmp文件夹,重新格式化
- Hadoop1.2.1 伪分布环境搭建
- hadoop1.2.1伪分布搭建
- 1、Hadoop2.6.0 和 Hadoop1.2.1伪分布环境搭建
- hadoop1.1.0的伪分布搭建步骤
- Hadoop1.2.1伪分布模式安装指南
- hadoop1.2.1伪分布模式安装教程
- hadoop1.2.1伪分布模式安装教程
- Hadoop1.2.1伪分布模式安装指南
- hadoop1.2.1伪分布模式配置
- Hadoop1.2.1伪分布模式安装教程
- hadoop1.2.1伪分布模式安装教程
- Hadoop1.2.1伪分布模式安装指南
- hadoop1.2.1伪分布模式安装教程
- hadoop1.2.1伪分布模式配置
- hadoop1.2.1伪分布模式配置
- Hadoop1.2.1伪分布模式安装教程
- hadoop1.2.1伪分布式搭建
- hadoop1.2.1伪集群搭建
- IIS服务器修改文件提示权限不足的解决办法
- 欧拉工程第49题:Prime permutations
- Eclipse_Luna中easyexplore的替代工具OpenExplorer
- Json转换利器Gson之实例二-Gson注解和GsonBuilder
- 最短路径规划中创建基于geoserver的wms服务
- Hadoop1.2.1 伪分布环境搭建
- free命令详解
- 网络编程
- 关于操作权限shiro
- Maximal Square Leetcode Java
- 设计模式--简单工厂模式
- chapter10test1
- linux sar命令详解
- 全排列