HadoopDB集群配置方法
来源:互联网 发布:java类库大全有哪些 编辑:程序博客网 时间:2024/04/28 13:23
Author:谢 本文介绍在2个节点上安装配置HadoopDB方法。各节点的名称分别为Cluster01(192.168.0.1),Cluster02(192.168.0.2)。 以下若是用 hadoop@Cluster0X:~ 代表 Cluster01 ~ Cluster02 都要做的. 参考资料1:HadoopDB Quick Start Guide 参考资料2:HadoopDB安装使用 1 首先在各节点上安装Hadoop-0.20.2, 参考此文 。 2 各节点安裝设置 PostgreSQL: 3 设置HadoopDB 首先从http://sourceforge.net/projects/hadoopdb/files/下载hadoopdb,解压后,其中包含hadoopdb.jar。 然后再从http://jdbc.postgresql.org/download.html下载postgresql-8.4-701.jdbc4.jar。 4 数据加载 5 SMS安装配置 第3步下载的hadoopdb解压后包含SMS_dist.tar.gz文件夹。 SMS的安装方法很简单:首先将其解压,然后打开bin目录下的hive-config.sh文件,再最后加上一句: export HADOOP_HOME="此处写hadoop的安装路径"。 5 以上设定完后,即可在一台机器上(Ex: Cluster1) 執行 $ SMS_dist/bin/hive 看看成果
local all all trust
# IPv4 local connections:
#host all all 127.0.0.1/32 md5
host all all 127.0.0.1/32 password
host all all 192.168.0.1/24 password # 加上Cluster 機器 IP 範圍
# IPv6 local connections:
#host all all ::1/128 md5
host all all ::1/128 password
postgres@Cluster01:~$ psql
psql (8.4.2)
Type "help" for help.
postgres=# alter user hadoop with password '1234';
ALTER ROLE
postgres=# /q
psql (8.4.2)
SSL connection (cipher: DHE-RSA-AES256-SHA, bits: 256)
Type "help" for help.
testdb=#
<property>
<name>hadoopdb.config.file</name>
<value>HadoopDB.xml</value>
<description>The name of the HadoopDB cluster configuration file</description>
</property>
<property>
<name>hadoopdb.fetch.size</name>
<value>1000</value>
<description>The number of records fetched from JDBC ResultSet at once</description>
</property>
<property>
<name>hadoopdb.config.replication</name>
<value>false</value>
<description>Tells HadoopDB Catalog whether replication is enabled.
Replica locations need to be specified in the catalog.
False causes replica information to be ignored.</description>
</property>
##################################
nodes_file=nodes.txt
# Relations Name and Table Name are the same
relations_unchunked=raw
relations_chunked=poi
catalog_file=HadoopDB.xml
##
#DB Connection Parameters
##
port=5432
username=hadoop
password=1234
driver=org.postgresql.Driver
url_prefix=jdbc/:postgresql/://
##
#Chunking properties
##
# the number of databases on a node
chunks_per_node=2
# for udb0 ,udb1 ( 2 nodes = 0 ~ 1 )
unchunked_db_prefix=udb
# for cdb0 ,cdb1, ... , cdb5 (2 nodes x 3 chunks = 0~5 )
chunked_db_prefix=cdb
##
#Replication Properties
##
dump_script_prefix=/root/dump_
replication_script_prefix=/root/load_replica_
dump_file_u_prefix=/mnt/dump_udb
dump_file_c_prefix=/mnt/dump_cdb
##
#Cluster Connection
##
ssh_key=id_rsa-gsg-keypair
<DBClusterConfiguration xmlns="http://edu.yale.cs.db.hadoop/DBConfigurationSchema">
<Nodes Password="1234" Username="hadoop" Driver="org.postgresql.Driver" Location=" 192.168.0.1 ">
<Relations id="raw">
<Partitions url="jdbc:postgresql:// 192.168.0.1 :5432/udb0" id="0"/>
</Relations>
<Relations id="poi">
<Partitions url="jdbc:postgresql:// 192.168.0.1 :5432/cdb0" id="0"/>
<Partitions url="jdbc:postgresql:// 192.168.0.1 :5432/cdb1" id="1"/>
</Relations>
</Nodes>
<Nodes Password="1234" Username="hadoop" Driver="org.postgresql.Driver" Location=" 192.168.0.2 ">
<Relations id="raw">
<Partitions url="jdbc:postgresql:// 192.168.0.2 :5432/udb1" id="1"/>
</Relations>
<Relations id="poi">
<Partitions url="jdbc:postgresql:// 192.168.0.2 :5432/cdb2" id="2"/>
<Partitions url="jdbc:postgresql:// 192.168.0.2 :5432/cdb3" id="3"/>
</Relations>
</Nodes>
</DBClusterConfiguration>
hadoop@Cluster02:~$ createdb udb1
udb0=#
CREATE TABLE raw (
ID int,
NAME varchar(300)
);
udb0=# COPY RAW FROM '/home/hadoop/p0' WITH DELIMITER E'/t' ;
CREATE EXTERNAL TABLE raw (
ID int,
NAME string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
STORED AS
INPUTFORMAT 'edu.yale.cs.hadoopdb.sms.connector.SMSInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/db/raw';
hive> show tables;
hive> select name from raw;
- HadoopDB集群配置方法
- HadoopDB集群配置方法
- squid集群配置方法
- Hadoop集群配置方法
- 认识HadoopDB
- HadoopDB浅析
- Apache ActiveMQ 集群配置方法
- Apache ActiveMQ 集群配置方法
- Oracle集群url的配置方法(Spring, WAS集群)
- Linux集群中ssh的配置方法
- Apache+Tomcat集群配置 采用mod_jk方法
- ElasticSearch集群安装及配置方法
- apache2.4 tomcat6 集群 AJP 配置方法
- Apache ActiveMQ 单点集群配置方法
- Storm集群安装配置详细方法
- apache2.4 tomcat 集群 AJP 配置方法
- HadoopDB混合数据库问世
- hadoopDB 数据仓库 简介
- Android四大组件
- OpenCore介绍
- 精准营销才是微博营销成功的关键
- ARM指令的寻址方式
- 数组去重算法
- HadoopDB集群配置方法
- Oracle EM 常见问题总结
- C#项目中的bin目录和obj目录的区别,以及Debug版本和Release版本的区别
- [转]Web测试中的界面测试用例设计
- ARM汇编指令的一些总结
- GetModuleFileName
- 动态调用WebService复杂对象传递
- php页面读取到数据库字段值对其进行html编码
- OnEraseBkGnd和OnPaint的联系(转自CSDN论坛一帖子)