Hadoop1.x的伪分布安装步骤
来源:互联网 发布:大数据工程师医疗 编辑:程序博客网 时间:2024/05/16 13:45
1. 设置静态IP
1.1 在cendos 桌面右上角的图标上,右键修改 (或使用setup)。
1.2 设置好了静态IP,执行命令service network restart 重启网卡。
2. 修改主机名
2.1 修改当前会话的主机名,执行命令 hostname hadoop
2.2 修改配置文件中的主机名,执行命令 vi /etc/sysconfig/network
HOSTNAME=hadoop
验证:重启虚拟机。
3.把hostname 和 ip 绑定
执行命令 vi /etc/hosts 添加一行内容:
192.168.1.120 hadoop
验证: ping hadoop
4. 关闭防火墙
执行命令 service iptables stop
验证: service iptables status
5. 关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证: chkconfig —list | grep iptables
6. SSH
执行命令:ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
7. 安装jdk 1.6
8. 安装hadoop
执行解压命令: tar -zxvf hadoop-1.1.2.tar.gz
配置hadoop 环境变量
vi /etc/profile
添加: HADOOP_HOME=/usr/local/hadoop
PATH=.:HADOOP_HOME/bin:$PATH
执行 source /etc/profile 重新加载 /etc/profile
修改4个配置文件:
分别是:
hadoop-env.sh
修改第9行.
添加java环境变量 JAVA_HOME。 export JAVA_HOME=/usr/local/jdk1.6。
core-site.xml
添加
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
hdfs-site.xml
添加:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml
添加:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
</property>
</configuration>
9. 执行命令: hadoop namenode -format
对hadoop进行格式化
10. 执行命令 start-all.sh 启动hadoop
10.1 执行命令Jps 可以看到5个hadoop 进程
10.1.1 NameNode
10.1.2 DataNode
10.1.3 SecondaryNameNode
10.1.4 JobTracker
10.1.5 taskTracker
10.2 通过浏览器访问:
10.2.1 hadoop:50070 访问NameNode
10.2.2 hadoop:50030 访问JobTracker
11. 去除Hadoop 的警告。
在 /etc/profile
添加: HADOOP_HOME_WARN_SUPPRESS
阅读全文
0 0
- Hadoop1.x的伪分布安装步骤
- hadoop1.x的伪分布安装
- Hadoop1.x伪分布安装
- Hadoop1.X伪分布安装
- hadoop1.1.0的伪分布搭建步骤
- hadoop1.0的伪分布安装
- hadoop1.0的伪分布安装
- hadoop1.0伪分布安装
- Hadoop1.2.1伪分布模式安装指南
- hadoop1.2.1伪分布模式安装教程
- hadoop1.2.1伪分布模式安装教程
- Hadoop1.2.1伪分布模式安装指南
- Hadoop1.2.1伪分布模式安装教程
- hadoop1.2.1伪分布模式安装教程
- Hadoop1.2.1伪分布模式安装指南
- hadoop1.2.1伪分布模式安装教程
- Hadoop1.2.1伪分布模式安装教程
- hadoop的伪分布安装步骤
- 廖雪峰的Python-装饰器
- 时钟系统
- 关于C语言数组与指针的联系一起
- 2017北大信科夏令营机试B
- 判断页面内容是否存在变动
- Hadoop1.x的伪分布安装步骤
- 【原创】浅谈搜索(下-bfs)
- Bootstrap中jumbotron属性
- UVA 11651 Krypton Number System(矩阵加速DP)
- U盘安装Linux安装报错及解决方案
- 无法加载php_exifUnable to load dynamic library 'D:/AppServ\php5\ext\php_exif.dll'
- 一招新的技能 React中的Context
- 在线机器学习FTRL(Follow-the-regularized-Leader)算法介绍
- POJ 2386