Hadoop学习笔记(三)Linux环境配置
来源:互联网 发布:易云幕墙计算软件 编辑:程序博客网 时间:2024/06/05 08:29
Hadoop配置文档(一)
下载安装
下载jdk-7u80-linux-x64.tar.gz
sudo tar -xvf jdk-7u80-linux-x64.tar.gz -C /opt/modules/
下载hadoop-1.2.1-bin.tar.gz
sudo tar -xvf hadoop-1.2.1-bin.tar.gz -C /opt/modules/
现在各位小伙伴Hadoop2用的比较多,原理是一样的
我这边的目录结构如下
/opt /data //数据文件,输入输出文件 /modules //安装文件,Hadoop JDK ZooKeeper... /softwares // 压缩包文件存放,hadoop.tar.gz ... /conf //配置文件 想用独立配置可以自行设置配置
/opt默认是没有权限的,所以需要更改权限
chown USERNAME /opt //更改文件夹所属用户,USERNAME直接更改为自己的用户名就可以,以后就不必使用Sudochgrp USERGROUP /opt //更改文件夹所属用户组,有需要的可以在详细了解
有些小伙伴会因为权限设置问题导致namenode datanode启动故障
可以查询文件权限,通过上述方法进行修改
sudo权限 无密码
切换到root权限下
vim /etc/suders
添加
USERNAME ALL=(root)NOPASSWD:ALL
组件依赖
环境配置
JAVA环境配置
编辑/etc/profile文件,末尾增加
或新建/etc/profile.d/development.sh,写入
## JAVAexport JAVA_HOME=/opt/modules/jdk1.7.0_80export PATH=$PATH:$JAVA_HOME/bin
切换到root,执行
source /etc/profile
配置生效,退出root切换回管理员
java -version
检查是否生效
Hadoop环境配置–本地模式
编辑/etc/profile文件,末尾增加
或/etc/profile.d/development.sh,写入
## HADOOPexport HADOOP_HAOME=/opt/modules/opt/hadoop-1.2.1export PATH=$PATH:$HADOOP_HOME/bin
切换到root,执行
source /etc/profile
配置生效,退出root切换回管理员
hadoop
检验是否生效,若生效,切换到/opt/modules/hadoop-1.2.1/conf目录下
sudo vim hadoop-env.sh
将其中JAVA_HOME启用,并改为前项JAVA_HOME的地址
MapReduce测试
Hadoop环境配置–伪分布模式
关闭防火墙
首先需要切换到root 用户,关闭FIREWALL
service iptables stop //关闭防火墙,下次开机还会启动service iptables status //查看防火墙状态
结果正确如下,防火墙关闭
iptables: Firewall is not running.
也可使用
chkconfig iptables on //开启防火墙开机启动chkconfig iptables off //关闭防火墙开机启动
禁用SElinux
vim打开/etc/sysconfig/selinux,设置SELINUX=disabled
静态IP地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0 .....IPADDR=192.168.40.128.....
静态IP地址可以按照自己情况来配置。
修改HOSTNAME和HOST
hostname指令可以查看当前hostname
方法一 用这种方式修改hostname之后重启之后回恢复
hostname ----
方法二 修改之后,重启不回复
vim /etc/sysconfig/networkHOSTNAME=----
配置host文件
vim /etc/hosts
添加
IP 域名 HOSTNAME
IP需要和静态IP对应,HOSTNAME也需要对应,域名可以自己设置
设置SSH自动登录
切换到User(推荐,root下也可以完成,但不符合设计原则)
ssh-keygen -t rsacd ~/.ssh/
keygen之后可以按照自己的需求设计密码,此时.ssh文件有两个文件,id_rsa和id_rsa.pub,分别是SSH生成的公钥和私钥。复制公钥到当前文件夹下,名字必须命名为authorized_keys
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
此时可以通过SSH连接,首次连接会有询问,连接之后会在.ssh文件夹中know_hosts文件记录,在此连接则不会需要。此时可以添加刚刚配置好的hosts
ssh HOSTNAMEexit
连接之后需要断开。
此时SSH协议的配置用于伪分布式中NameNode与DataNode交互。
伪分布式配置Hadoop部分请看:Hadoop学习笔记(四)Hadoop伪分布式配置
- Hadoop学习笔记(三)Linux环境配置
- Hadoop学习笔记001——Linux环境配置(001)
- Linux学习笔记(三)——配置SecureCRT连接VirtualBox虚拟机中的Linux环境
- hadoop学习笔记(一) 环境的配置
- hadoop学习笔记<二>----hadoop集群环境的配置
- Mybatis学习笔记三 环境配置
- HADOOP的学习笔记 (第三期) eclipse 配置hadoop开发环境
- HADOOP的学习笔记 (第三期) eclipse 配置hadoop开发环境 .
- Hadoop自学笔记(五)配置分布式Hadoop环境
- Hadoop学习笔记—1.基本介绍与环境配置
- hadoop学习笔记(1) 开发环境
- hadoop学习笔记(1) 开发环境
- Hadoop学习笔记(一)环境搭建
- hadoop学习笔记(1) 开发环境
- hadoop学习笔记(1) 开发环境
- Hadoop HDFS源码学习笔记(三)
- Hadoop学习笔记(三)一个实例
- Hadoop 学习笔记(三)常用命令
- 级联操作
- mysql 初涉
- 筛选素数模板
- JAVA基础--db20_java转换流_file对象&GUI
- Virtualbox的虚拟机既可以访问外网,也可以与主机互通
- Hadoop学习笔记(三)Linux环境配置
- 如何巧妙应对压力面试
- 短信智能输入 Trie POJ 1451 T9
- Makefile 学习笔记(三)实例
- 第一层第二题:贪婪的礼物赠送者
- [Leetcode]Spiral Matrix II
- 京东集团副总裁李大学:像CEO一样思考
- Python核心编程笔记 - 第13章 面向对象编程(二)
- Centos VPS 创建多个网站 一