shark 优化策略

来源:互联网 发布:师洋淘宝一年赚 编辑:程序博客网 时间:2024/06/01 10:46

1 解析器和语法分析器


2 执行器 替换为spark


3存储用RDD放入内存(1分区RDD相当于分区 2压缩(内存java string 压缩)3索引mappartationwithindex  spark索引 4存储类型fastutil库存储基本类型(可考虑event用此类型库优化)


4网络传输(1序列化 两种 2javanio )



原创粉丝点击