Presto安装

来源：互联网发布：数学建模知乎编辑：程序博客网时间：2024/05/16 07:03

Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator（调度节点）和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker

目录：

环境基本要求
集群规划
连接器
安装步骤
config.properties
node.properties
jvm.config
log.properties
Catalog Properties
运行presto
测试验证

环境基本要求

Linux or Mac OS X
Java 8, 64-bit
Python 2.4+

集群规划

hdp1 ( 192.169.1.89) : 调度节点
hdp2 (192.169.1.2) : worker节点
hdp3 (192.169.1.99) : worker节点

连接器

Presto支持从以下版本的Hadoop中读取Hive数据：支持以下文件类型：Text, SequenceFile, RCFile, ORC

Apache Hadoop 1.x （hive-hadoop1）
Apache Hadoop 2.x （hive-hadoop2）
Cloudera CDH 4 （hive-cdh4）
Cloudera CDH 5 （hive-cdh5）

此外，需要有远程的Hive元数据。不支持本地或嵌入模式。 Presto不使用MapReduce，只需要HDFS

安装步骤

下载 presto-server-0.100, ( 下载地址：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.100/presto-server-0.100.tar.gz）
将 presto-server-0.100.tar.gz 上传至linux主机，解压后的文件目录结构如下（称为安装目录）：Presto需要一个用于存储日志、本地元数据等的数据目录。建议在安装目录的外面创建一个数据目录。这样方便Presto进行升级，如：/presto/data

在安装目录中创建一个etc目录，在这个etc目录中放入以下配置文件：

config.properties ：Presto 服务配置
node.properties ：环境变量配置，每个节点特定配置
jvm.config ：Java虚拟机的命令行选项
log.properties: 允许你根据不同的日志结构设置不同的日志级别
catalog目录：每个连接者配置（data sources）

config.properties

包含了Presto server的所有配置信息。每个Presto server既是一个coordinator也是一个worker。但是在大型集群中，处于性能考虑，建议单独用一台机器作为 coordinator，一个coordinator的etc/config.properties应该至少包含以下信息：

coordinator=truenode-scheduler.include-coordinator=falsehttp-server.http.port=9000

task.max-memory=1GBdiscovery-server.enabled=truediscovery.uri=http://192.169.1.89:9000

coordinator：指定是否运维Presto实例作为一个coordinator(接收来自客户端的查询情切管理每个查询的执行过程)
node-scheduler.include-coordinator：是否允许在coordinator服务中进行调度工作, 对于大型的集群，在一个节点上的Presto server即作为coordinator又作为worke将会降低查询性能。因为如果一个服务器作为worker使用，那么大部分的资源都会被worker占用，那么就不会有足够的资源进行关键任务调度、管理和监控查询执行
http-server.http.port：指定HTTP server的端口。Presto 使用 HTTP进行内部和外部的所有通讯
task.max-memory=1GB：一个单独的任务使用的最大内存 (一个查询计划的某个执行部分会在一个特定的节点上执行)。这个配置参数限制的GROUP BY语句中的Group的数目、JOIN关联中的右关联表的大小、ORDER BY语句中的行数和一个窗口函数中处理的行数。该参数应该根据并发查询的数量和查询的复杂度进行调整。如果该参数设置的太低，很多查询将不能执行；但是如果设置的太高将会导致JVM把内存耗光
discovery-server.enabled：Presto 通过Discovery 服务来找到集群中所有的节点。为了能够找到集群中所有的节点，每一个Presto实例都会在启动的时候将自己注册到discovery服务。Presto为了简化部署，并且也不想再增加一个新的服务进程，Presto coordinator 可以运行一个内嵌在coordinator 里面的Discovery 服务。这个内嵌的Discovery 服务和Presto共享HTTP server并且使用同样的端口
discovery.uri：Discovery server的URI。由于启用了Presto coordinator内嵌的Discovery 服务，因此这个uri就是Presto coordinator的uri。注意：这个URI一定不能以“/“结尾

注意：上例中如果是worker的config.properties，配置应该如下：

coordinator=falsehttp-server.http.port=9000

query.max-memory=1GBdiscovery.uri=http://192.169.1.89:9000

如果用一台机器进行测试，那么这一台机器将会即作为coordinator，也作为worker。配置文件将会如下所示：

coordinator=truenode-scheduler.include-coordinator=truehttp-server.http.port=9000

task.max-memory=1GBdiscovery-server.enabled=truediscovery.uri=http://192.169.1.89:9000

node.properties

包含针对于每个节点的特定的配置信息。一个节点就是在一台机器上安装的Presto实例，etc/node.properties配置文件至少包含如下配置信息

node.environment=test

node.id=ffffffff-ffff-ffff-ffff-ffffffffff01node.data-dir=/presto/data

node.environment：集群名称, 所有在同一个集群中的Presto节点必须拥有相同的集群名称
node.id：每个Presto节点的唯一标示。每个节点的node.id都必须是唯一的。在Presto进行重启或者升级过程中每个节点的node.id必须保持不变。如果在一个节点上安装多个Presto实例（例如：在同一台机器上安装多个Presto节点），那么每个Presto节点必须拥有唯一的node.id
node.data-dir：数据存储目录的位置（操作系统上的路径）, Presto将会把日期和数据存储在这个目录下

jvm.config

包含一系列在启动JVM的时候需要使用的命令行选项。这份配置文件的格式是：一系列的选项，每行配置一个单独的选项。由于这些选项不在shell命令中使用。因此即使将每个选项通过空格或者其他的分隔符分开，java程序也不会将这些选项分开，而是作为一个命令行选项处理,信息如下：

-server-Xmx16G-XX:+UseConcMarkSweepGC-XX:+ExplicitGCInvokesConcurrent-XX:+CMSClassUnloadingEnabled-XX:+AggressiveOpts-XX:+HeapDumpOnOutOfMemoryError-XX:OnOutOfMemoryError=kill -9 %p-XX:ReservedCodeCacheSize=150M

log.properties

这个配置文件中允许你根据不同的日志结构设置不同的日志级别。每个logger都有一个名字（通常是使用logger的类的全标示类名）. Loggers通过名字中的“.“来表示层级和集成关系，信息如下：

com.facebook.presto=DEBUG

配置日志等级，类似于log4j。四个等级：DEBUG,INFO,WARN,ERROR

Catalog Properties

通过在etc/catalog目录下创建catalog属性文件来完成catalogs的注册。例如：可以先创建一个etc/catalog/jmx.properties文件，文件中的内容如下，完成在jmxcatalog上挂载一个jmxconnector

connector.name=jmx

在etc/catalog目录下创建hive.properties，信息如下：

connector.name=hive-hadoop2hive.metastore.uri=thrift://192.169.1.89:9083hive.config.resources=/etc/hadoop/2.4.2.0-258/0/core-site.xml, /etc/hadoop/2.4.2.0-258/0/hdfs-site.xmlhive.allow-drop-table=true

运行presto

在安装目录的bin/launcher文件，就是启动脚本。Presto可以使用如下命令作为一个后台进程启动：

bin/launcher start

也可以在前台运行, 可查看具体的日志

bin/launcher run

停止服务进程命令

bin/laucher stop

查看进程： ps -aux|grep PrestoServer 或 jps

测试验证

下载 presto-cli-0.100-executable.jar：Presto CLI为用户提供了一个用于查询的可交互终端窗口。CLI是一个可执行 JAR文件, 这也就意味着你可以像UNIX终端窗口一样来使用CLI ，下载地址（https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.100/presto-cli-0.100-executable.jar）
文件下载后，重名名为 presto ，使用 chmod +x 命令设置可执行权限

chmod +x /presto/presto.jar

在hive中查一下hive default库中的表，结果如下图：

退出hive cli，进入presto cli
命令： ./presto.jar --server 192.168.1.89:9000 --catalog hive --schema default (如果要调度，可加 --debug, 红色标识的项必须与 config.properties 配置文件中的uri 地址一致，配置的IP就用IP，机器名就用机器名)
命令： show tables; (查看 hive defult 库中表结构），如下：

或者使用下面命令：
./presto.jar --server 192.168.1.89:9000 --catalog hive
show tables from default;
命令： select * from web_log; （查询上面创建Hive表的结果）

命令： quit; 退出presto cli

阅读全文

0 0