搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hadoop)(一)
来源:互联网 发布:域名别名查询 编辑:程序博客网 时间:2024/05/16 09:01
一、准备工作:
操作系统:Linux(CentOS 7.0)
下载
Java(jdk-8u111-linux-x64.rpm)
Hive2.1.1(apache-hive-2.1.1-bin.tar.gz jdk-8u111-linux-x64.rpm)
Hadoop2.7.3(hadoop-2.7.3.tar.gz)
下载Java(JDK)
点击打开链接
下载安装在官网可下载最新版(Hadoop/Hive)
点击打开链接
把下载文件存放在CentOS桌面文件(Hadoop)
二、安装配置
1、 安装 java (JDK)
查看安装后的版本java version "1.8.0_111"
Java(TM) SE Runtime Environment (build1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM(build 25.111-b14, mixed mode)
2、 解压hadoop和hive程序
查看解压文件夹apache-hive-2.1.1-bin hadoop-2.7.3 jdk-8u111-linux-x64.rpm
apache-hive-2.1.1-bin.tar.gz hadoop-2.7.3.tar.gz
3、 移动解压文件并重命名hive/Hadoop
4、 配置环境变量(HADOOP)
添加:
生效:
5、 创建目录Hadoop
6、 设置配置文件
5.0、指定文件所在路径
5.1、配置hadoop-env.sh]
--添加
5.2、配置yarn-env.sh
添加
5.3、配置core-site.xml
5.4、配置hdfs-site.xml
5.5、配置yarn-site.xml
5.6、配置mapred-site.xml(启用服务时没用到,可不用配置)
6、配置ssh无密码(1.产生RSA密钥对;2.群集内共享密钥)启动hadoop服务(启动dfs/yarn时的无需密码.注:如果home目录没有通过NFS共享需要其他方法共享密钥(ssh-copy-id,复制到远程主机调用格式:ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.2)
7、启动Hadoop
7.1、格式化namenode
7.2、启动hdfs(按提示输入yes和账号密码,配置了(步骤6) ssh时跳过输入密码步骤)
7.3、启动yarn(按提示输入yes和账号密码,配置了(步骤6) ssh时跳过输入密码步骤)
7.4、查看进程:
26161 DataNode
26021 NameNode
26344 SecondaryNameNode
26890 Jps
26492 ResourceManager
26767 NodeManager
阅读全文
0 0
- 搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hadoop)(一)
- 搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hadoop)(一)
- 搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二)
- 搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二)
- 搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector)(三)
- 搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector)(三)
- 搭建Hadoop2.5.2+Hive2.1+Mysql
- hive本地模式配置,连接mysql数据库--hive2.1.1+hadoop2.7.3+mysql5.7.18
- hive2.1.1 + hadoop2.8.0 + windows7(不用cygwin)搭建Hive
- Hive2.1.1、Hadoop2.7.3 部署
- Hive2.1.1、Hadoop2.7.3 部署
- Hadoop 2.8 + Windows 10 + Mysql 搭建Hive2.1.1
- mysql5.7.18安装、Hive2.1.1安装和配置(基于Hadoop2.7.3集群)
- hadoop学习之HIVE(3):hadoop2.7.2下安装hive2.1.0并关联mysql数据库
- mysql与hive2.1.1安装和配置
- ubuntu16.04搭建Hadoop2.7.2+spark1.6.1+mysql+hive2.0.0伪分布学习环境
- centos 与hadoop2.7.3环境下hive2.1.1安装详解
- Hadoop2.7环境搭建---Hadoop配置
- HDU 4501 小明系列故事——买年货
- 第三题
- c编程错误集
- 类简单工厂模式-笔记
- 再一次小结C语言
- 搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hadoop)(一)
- 自定义异常类
- C++ XML简析
- js 积累
- <漏洞战争软件漏洞分析精要> 学习笔记
- 《The Practice of Programming》读书笔记(一)
- 687. Longest Univalue Path
- 米老师讲课(一年回顾)
- HDU3311-Dig The Wells