kylin的doc学习
来源:互联网 发布:淘宝伴侣 一个桃子 编辑:程序博客网 时间:2024/06/05 18:27
kylin DOC学习
1.集群部署
kylin实例运行状态被保存在Hbase中的Metadata store中并由kylin.properties的kylin.metadata.url配置,集群部署时运行多个kylin实例共享metadata store;
每个kylin实例在kylin.properties配置一个运行时模式,三种选项:1.运行job的job engine;2.运行query的job query;3.运行所有的job与query engine;
但是只能有一个server可以是1.3状态,其它的均为2.
2.配置应用
${KYLIN_HOME}/conf/kylin.properties
1.kylin.rest.servers属性用于配置kylin实例与其他的server实例同步sanbox;
2.kylin.server.mode用于配置kylin的运行模式(上面提到的三种);
配置负载均衡:为了保持集群模式kylin的高可用性,配置负载均衡。使客户端提交的所有的query经过此处路由后就交个集群处理;
kylin Web UI中的高级设置:可以覆盖掉${KYLIN_HOME}/conf/kylin.properties 的一些配置参数;
eg: kylin.cube.algorithm and kylin.storage.hbase.region-cut-gb(用于配置分割region的大小,default 5G 配置合适的大小有助于提高query性能)
cube级别配置Hadoop job
可以在cube中对conf/kylin_job_conf.xml
and conf/kylin_job_conf_inmem.xml
中的一些参数进行重新配置,但是要在相应参数的前面加前缀
kylin.engine.mr.config-override.
eg: 改变yarn的内存大小:kylin.engine.mr.config-override.mapreduce.map.java.opts=-Xmx7g
and kylin.engine.mr.config-override.mapreduce.map.memory.mb=8192
改变yarn 资源的队列:kylin.engine.mr.config-override.mapreduce.job.queuename=myQueue
重写conf/kylin_hive_conf.xml中的hive job的配置,更换前缀kylin.source.hive.config-override.(重写后的配置会在运行Hive -e或者beeline时被加载)
重写默认的spark conf
前缀为kylin.engine.spark-conf.
配置文件级别的:
可用的压缩,提供了三种压缩方式:(kylin.properties中)
1.hbase table级别的压缩;kylin.hbase.default.compression.codec(none,snappy,lzo,gzip and lz4)
2.hive output级别的压缩;kylin_hive_conf.xml中,
3.MR job级别的压缩;
kylin_job_conf.xml
and kylin_job_conf_inmem.xml中配置;
配置好压缩算法后要重启kylin server运行实例;
(但是不推荐使用压缩算法;)
扩充kylin实例运行的内存:
在bin/setenv.sh中,
email 认证等等的配置。。。
- kylin的doc学习
- 《KyLin学习理解》-01-KyLin麒麟的简介及其思想
- 《KyLin学习理解》-02-KyLin的网页界面使用
- 《KyLin学习理解》-03-KyLin的坑总结
- kylin学习
- Kylin系列-Apache Kylin原理学习之Cube的创建与Build
- kylin学习(一)
- Kylin学习入门
- Apache kylin学习笔记
- kylin学习(一)
- kylin学习(二)
- OLAP引擎Apache Kylin的分析和学习
- Apache Kylin原理学习之Cube的创建与Build
- ubuntu kylin的使用
- Ubuntu kylin的安装
- apache kylin的二次开发
- Kylin的cube模型
- Kylin的概述
- java语言基础类
- 码了一天的代码,码的腰疼
- SSH01-集成Struts2
- C语言位图算法
- Spring MVC 页面跳转知识点
- kylin的doc学习
- 打造基于Clang LibTooling的iOS自动打点系统CLAS(三)
- Android WebView 获取页面 Title 的正确姿势
- OpenGL《干货收集(持续收集中)》
- VUE单文件组件之间调用
- Java List 按某字段排序
- 用vue2时遇到的各类问题总结
- springboot无法注入JpaRepository的问题
- win7系统安装ElasticSearch