hive使用mysql存储元数据
来源:互联网 发布:电脑网络节点 编辑:程序博客网 时间:2024/05/21 14:57
Hive 将元数据存储在 RDBMS 中,有三种模式可以连接到数据库:
1)ingle User Mode: 此模式连接到一个 In-memory 的数据库 Derby,一般用于 Unit Test。
2)Multi User Mode:通过网络连接到一个数据库中,是最经常使用到的模式。
3)Remote Server Mode:用于非 Java 客户端访问元数据库,在服务器端启动一个 MetaStoreServer,客户端利用 Thrift 协议通过 MetaStoreServer 访问元数据库。
Hive默认是采用Derby来存储其Meta信息的,
现在我们需要修改为mysql
1.在mysql专门为hive添加用户
2.修改配置文件conf/hive-site.xml
3.添加jdbc的jar包
4.启动hive
When using MySQL as a metastore I see the error "com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes".
* This is a known limitation of MySQL 5.0 and UTF8 databases. One option is to use another character set, such as 'latin1', which is known to work.
1)ingle User Mode: 此模式连接到一个 In-memory 的数据库 Derby,一般用于 Unit Test。
2)Multi User Mode:通过网络连接到一个数据库中,是最经常使用到的模式。
3)Remote Server Mode:用于非 Java 客户端访问元数据库,在服务器端启动一个 MetaStoreServer,客户端利用 Thrift 协议通过 MetaStoreServer 访问元数据库。
Hive默认是采用Derby来存储其Meta信息的,
现在我们需要修改为mysql
1.在mysql专门为hive添加用户
- mysql> CREATE USER 'hive'@'hive-mysql' IDENTIFIED BY 'hivepasswd';
- mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'hive-mysql' WITH GRANT OPTION;
2.修改配置文件conf/hive-site.xml
- <property>
- <name>hive.metastore.local</name>
- <value>true</value>
- <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionURL</name>
- <value>jdbc:mysql://hive-mysql:3306/hive?createDatabaseIfNotExist=true</value>
- <description>JDBC connect string for a JDBC metastore</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionDriverName</name>
- <value>com.mysql.jdbc.Driver</value>
- <description>Driver class name for a JDBC metastore</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionUserName</name>
- <value>hive</value>
- <description>username to use against metastore database</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionPassword</name>
- <value>hivepasswd</value>
- <description>password to use against metastore database</description>
- </property>
3.添加jdbc的jar包
- wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.11.tar.gz/from/http://mysql.he.net/
- tar -xvzf mysql-connector-java-5.1.11.tar.gz
- cp mysql-connector-java-5.1.11/*.jar /data/soft/hive/lib
4.启动hive
- bin/hive
- hive> show tables;
When using MySQL as a metastore I see the error "com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes".
* This is a known limitation of MySQL 5.0 and UTF8 databases. One option is to use another character set, such as 'latin1', which is known to work.
- hive元数据存储使用mysql配置
- hive使用mysql存储元数据
- Hive安装并使用MySQL存储元数据
- hive安装、配置 mysql存储元数据
- hive存储元数据在mysql配置
- hive 使用oralce 存储元数据
- hive元数据存储在mysql 字符集utf8 修改
- 配置hive元数据存储在mysql中
- Hive安装过程(mysql/oracle存储元数据)
- hive修改默认元数据存储数据库derby改为mysql
- Hive搭建并将元数据存储到MySQL
- Hive元数据在MySQL的存储逻辑及关系
- Hive 存储元数据 详解
- hive配置mysql元数据
- hive 元数据 mysql-1
- hive 元数据 mysql-2
- Hive学习笔记 --- Hive元数据与数据存储
- HIVE 安装系列(3)配置HIVE 使用Mysql作为元数据的数据库
- Windows远程桌面自定义分辨率
- 给MFC程序添加文件拖放处理
- vim菜鸟学习-基础篇1(像记事本一样使用vim)
- 学习笔记:自定义样式(style)与主题(theme)
- delphi 内存 复制
- hive使用mysql存储元数据
- 关于Android的UI非线程安全
- ThreadLocal
- 一起学Windows Phone 7开发(六.Isolate Storage)
- SQLite的SQL语法
- java nio的学习-4
- 设计模式之单一职责原则学习
- 赢在电子商务网站制作与营销:B2C版
- 完全用linux工作