hadoop的环境配置
来源:互联网 发布:金十数据直播室 编辑:程序博客网 时间:2024/05/18 13:05
写在前面:这一篇文章是应该是科协最后一次上课的备课内容,写完这一篇博客,我想,我已经把我懂得的成熟的技术都毫无保留的尽力教授给我的学生。总结这一学期来的科协上课。虽然自己的技术十分有限,但还是坚持做到了每次上课都备课,确保上课演示的每一个例子都正确无误(然而,毕竟知识水平有限,应该还是会有一些教的不大准确的地方),让学弟能少走一些弯路。我想我已经尽力了,至少我问心无愧············
一、几个重要的目录
1、/sbin/service 。在这个目录里可以进行相关的关于网关的操作。
2、/etc/sysconfig/network。在这个目录可以进行多hostname的修改
3、/etc/hosts 在这里可以配置DNS
4、.ssh 在这里可以配置无密钥访问(很重要)
5、/etc/profile.d/java.sh 在这里可以配置一下系统的环境变量
6、/opt/modules/hadoop/ 在这里可以进行hadoop的相关操作
7、几个核心的配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml
二、hadoop配置的基本命令
1、 授时服务的设置
命令:crontab -e
然后输入0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org
2、IP配置
命令:setup
将master的IP配为192.168.1.1001
3、本地DNS配置
命令 vi /etc/hosts
然后加上以下内容:
192.168.1.100 master
192.168.1.101
4、SSH无密钥配置
ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa
cat id_rsa.pub > authorized_keys
chmod go-wx authorized_keys
5、java环境的配置(与windows下的类似)
./jdk-6u21-linux-i586-rpm.bin
vi /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.6.0_21/
export HADOOP_HOME=/opt/modules/hadoop/hadoop-1.0.3/
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
6、hadoop环境的配置cp hadoop-1.0.3.tar.gz /opt/modules/hadoop/
cd /opt/modules/hadoop/
tar -xzvf hadoop-1.0.3.tar.gz
以上便是配置环境时用到的基本命令
- hadoop的环境配置
- Hadoop环境的配置
- hadoop环境的配置
- hadoop环境的环境配置
- HADOOP 开发环境的配置
- Hadoop生产环境的配置
- ubuntu下hadoop环境的配置
- Ubuntu配置hadoop的eclipse开发环境
- Hadoop的环境配置与注意事项
- 生产环境下的hadoop 配置实战
- mac下配置eclipse的hadoop环境
- Linux.配置Hadoop环境的一些问题解决
- Hadoop生产环境的配置札记
- Ubuntu下Hadoop环境的配置
- hadoop环境配置出现的问题
- hadoop学习笔记<二>----hadoop集群环境的配置
- [Hadoop]基于Eclipse的Hadoop应用开发环境配置
- hadoop学习2 记录配置hadoop环境的那些坑
- gdb调试工具
- 扩展欧几里德算法求解线性同余方程
- Firefox OS 模拟器 1.0 发布
- 对单元测试的一点感悟——这是一把双刃剑
- new hdoj 1072(很经典的搜索)(费用需要慎重)
- hadoop的环境配置
- flock和fcntl的区别
- 信息系统项目管理之项目范围管理知识总结
- HDU4237:The Rascal Triangle
- mac 快捷键
- 2013蓝桥杯预赛javaA 梅森素数
- IE6,IE7下 float:right 后换行的问题
- Prim算法
- 如何使用SQLMap绕过WAF