(二)Hadoop安装
来源:互联网 发布:音域测试软件 编辑:程序博客网 时间:2024/05/21 18:26
实现ssh免密钥登陆
1.关闭防火墙service iptables stop
重启后也关闭chkconfig iptables off
查看状态 service iptables status
补充
服务开机自动启动:chkconfig 服务名 off/on
自定义开机:vi/etc/rc.local添加以下内容
2.设置ip
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:09:3B:3F
TYPE=Ethernet
UUID=9d41d38a-0b6e-49f6-96e8-c024d3fe5af9
ONBOOT=yes
NM_CONTROLLED=yes
更改一下内容
BOOTPROTO=static
IPADDR=192.168.190.0
NETMASK=255.255.255.0
GATEWAY=192.168.190.2
DNS=8.8.8.8
上网问题参考
file:///E:/STUDY/3-1hadoop/ linux dhcp 获取ip地址能上网,设置静态ip地址则不能上网
http://blog.csdn.net/timliangl/article/details/78215743
3.重改主机名
vi /etc/sysconfig/network 将HOSTNAME改
cd /etc/
vim hosts
添加ip地址和改的名
4.设置ssh免密钥登陆
补充:公钥私钥
公钥:对外开放,全网公发,公钥加密私钥解密
产生密钥位于~/.ssh目录
ssh-keygen –t rsa
拷贝命令,创建密钥文件authorized_keys
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
cp 192.168.190.1://root/.ssh/authorized_keys 11
安装java_jdk
1.解压 [root@localhost java]# tar -zxvf jdk-7u79-linux-x64.tar.gz
2.设置环境变量 [root@localhost java]# vi /etc/profile
3.在profile中添加如下内容:
#set java environmentJAVA_HOME=/usr/java/jdk1.7.0_79JRE_HOME=/usr/java/jdk1.7.0_79/jreCLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport JAVA_HOME JRE_HOME CLASS_PATH PATH
让修改生效:[root@localhost java]# source /etc/profile
4.检查电脑中是否已经有jdk
rpm -qa|grep jdk
rpm -e 程序名
安装hadoop
1.拷贝hadoop1.0进入虚拟机
在/usr/hadoop/目录下,建立tmp、hdfs/name、hdfs/data目录,执行如下命令
#mkdir /usr/hadoop/tmp #mkdir /usr/hadoop/hdfs #mkdir /usr/hadoop/hdfs/data #mkdir /usr/hadoop/hdfs/name
2.修改
vim /etc/profilePATH=$PATH:/usr/hadoop/binsource /etc/profilevim hadoop_evn.shJAVA_HOME=/usr/java/jdk名
3.vim core_site.xml详细见配置详解
http://blog.csdn.net/timliangl/article/details/78215831
4.hadoop测试
1)格式化hdfs Hadoop namenode -format
2)启动hadoop start-all.sh stop-all.sh
补充:单独启动某个进程
Hadoop-daemon.sh start datanode
3) 查看当前进程jps
hadoop1.0以下进程是否存在:
NameNode
DataNode
JobTracker
TaskTrack
SecondaryNameNode
Hadoop2.0以下进程是否存在:
NameNode
DataNode
SecondaryNameNode
NodeManager
Resource Manager
分布式Hadoop
主节点master JobTracker NameNode SecondaryNameNode
从节点slaves TaskTracker DataNode
5.集群到单节点
$HADOOP_HOME/etc/hadoop/slaves
改为hadoop
格式化hadoop namenode -format
- hadoop安装 (二)
- (二)Hadoop安装
- Hadoop教程(二):安装
- 大数据(二)Hadoop安装环境搭建【安装Hadoop】
- Hadoop入门(二):ZooKeeper单机安装
- hadoop集群(二)安装配置
- Hadoop系列-集群安装配置(二)
- Hadoop入门(二)集群安装
- Hadoop入门(二)集群安装
- hadoop 集群安装(二) HA部署
- (二)配置hadoop-------安装配置hadoop并且设置ssh
- hadoop搭建教程之二(安装hadoop)
- CentOS 6 安装Hadoop 2.6 (二)配置Hadoop
- [hadoop]hadoop-1.2.1伪分布式安装教程(二)
- 手动安装cloudera cdh4.2 hadoop + hbase + hive(二)
- Hadoop学习笔记(二)---linux中JDK的安装
- 从零开始搭建hadoop分布式集群环境:(二)安装JDK
- Hadoop集群之HDFS伪分布式安装 HA(二)
- ifconfig查看服务器ip及修改
- 动态规划之0-1背包问题,钢条切割
- 关于window.alert()方法传参是对象时, 是怎么运行的。
- JavaScript给相同class属性的元素添加背景颜色
- 字节码查看
- (二)Hadoop安装
- 自定义View(三) 自定义itemCheckView
- 机器学习线性回归中,用矩阵求导方法求最小二乘法的方法
- jvm系列(五):tomcat性能调优和性能监控(visualvm)
- Thinkpad笔记本Fn与功能键F1~F12键设置
- 阿里云服务器部署scrapy爬虫和apache2.4+php7.0+mysql5.7的配置
- 块设备--块设备创建和过程分析
- cxTreeList
- Tensorflow中padding的两种类型SAME和VALID