Linux安装配置Hadoop
来源:互联网 发布:c51单片机 编辑:程序博客网 时间:2024/06/07 07:09
Linux安装配置Hadoop
1.新建hadoop用户
新建hadoop用户。以下的所有操作,都用hadoop用户进行。
生成密钥:ssh-keygen -t rsa
2.下载hadoop
下载hadoop-2.7.3.tar.gz,解压到/usr/local/,进入该目录。
修改./etc/hadoop/hadoop-env.sh,将export JAVA_HOME=${JAVA_HOME}
等式右边替换为实际的Java根目录。
3.非分布式配置
Hadoop 默认模式为非分布式模式,无需进行其他配置即可运行。可以用./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar
进行测试。
4.伪分布式配置
在本机上配置hadoop免密码ssh登录:ssh-copy-id hadoop@localhost
./etc/hadoop/core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop-2.7.3/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>
./etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop-2.7.3/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop-2.7.3/tmp/dfs/data</value> </property></configuration>
5.分布式配置
假如有99.1.36.164,99.1.36.165,99.1.36.166想要配置一个集群。3台机器都要先完成步骤1、2,然后进行以下配置。
5.1 配置hosts
修改3台机器的/etc/hosts,添加:
99.1.36.164 bigdata-SZTS-Master99.1.36.165 bigdata-SZTS-Slave0199.1.36.166 bigdata-SZTS-Slave02
5.2配置主节点免密码登录子节点
99.1.36.164上执行:
ssh-copy-id hadoop@bigdata-SZTS-Slave01ssh-copy-id hadoop@bigdata-SZTS-Slave02
5.3修改配置文件
修改3台机器./etc/hadoop下的配置文件。
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://bigdata-SZTS-Master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop-2.7.3/tmp</value> <description>Abase for other temporary directories.</description> </property></configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>bigdata-SZTS-Master:50090</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop-2.7.3/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop-2.7.3/tmp/dfs/data</value> </property></configuration>
mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>bigdata-SZTS-Master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>bigdata-SZTS-Master:19888</value> </property></configuration>
yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata-SZTS-Master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
6.启动集群
以下所有命令都在主节点上执行。
首次启动需格式化hdfs:./bin/hdfs namenode -format
成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。
启动集群:./sbin/start-dfs.sh
分布式集群还需执行:
./sbin/start-yarn.sh./sbin/mr-jobhistory-daemon.sh start historyserver
成功的话,执行jps,主节点会看到NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer ,子节点会看到DataNode 、NodeManager。伪分布式主节点和子节点都在一起。
主节点登录http://localhost:50070/,可以看到集群状态。
7.停止集群
主节点上执行:
./sbin/stop-yarn.sh./sbin/stop-dfs.sh./sbin/mr-jobhistory-daemon.sh stop historyserver
- Linux安装配置Hadoop
- Linux安装Hadoop--集群配置
- Linux下安装配置hadoop
- Linux下安装配置Hadoop
- linux安装hadoop配置Yarn
- hadoop 的suse linux 安装及配置:
- Hadoop Linux 环境搭建(安装、配置)
- Linux积累-安装与配置Hadoop
- Hadoop在linux下安装和配置
- 在Linux上安装与配置Hadoop
- 安装linux虚拟机和配置hadoop集群
- Linux上安装和配置Hadoop
- 在Linux上安装与配置Hadoop
- Linux 上安装Eclipse并配置Hadoop
- linux下hadoop的安装配置
- Linux中安装配置hadoop集群
- Linux中hadoop安装及配置详解
- 在Linux上安装与配置hadoop
- React-native android 启动遇到的问题
- JNI之——Can't load IA 32-bit .dll on a AMD 64-bit platform错误的解决
- 简单工厂模式-Simple Factory Pattern 工厂三兄弟之简单工厂模式(四):图表库解决方案的改进,简单工厂模式的简化,简单工厂模式总结
- R语言常用命令
- HDU5909 Tree Cutting
- Linux安装配置Hadoop
- 二叉树后序遍历的迭代实现
- 好坑好坑,django模版好坑有木有?
- datagrid数据及echarts图表导出到Excel
- centOS6.5 nginx提示still could not bind()
- Java 8 Optional类深度解析
- Intellij IDEA修改默认 Target bytecode version
- 关于从外部程序启动tomcat失败问题
- CentOS7 NFS 服务器防火墙的端口设置