Kylin源码分析系列四—Cube查询 注:Kylin源码分析系列基于Kylin的2.5.0版本的源码,其他版本可以类比。 一. 简介 前面文章介绍了Cube是如何构建的,那构建完成后用户肯定是需要对这些预统计的数据进行相关的查询操作,这篇文章就介绍下Kylin中是怎样通过SQL语句来进行Cube数据的查询的。Kylin中的查询是在web页面上输入sql语句然后提交来执行相关查询,页面上的提交也是向Kylin的Rest Server发送restful请求,方法与前面文章介绍的Cube构建的触发方式类似,通过angu…

2018年5月26日 0条评论 5点热度 阅读全文

Kylin源码分析系列二—Cube构建 注:Kylin源码分析系列基于Kylin的2.5.0版本的源码,其他版本可以类比。 1.构建流程 前面一篇文章介绍了Kylin中的任务调度服务,本篇文章正式介绍Kylin的核心内容Cube,主要讲述Cube构建的过程。下面的构建过程选择使用spark构建引擎来说明(MR引擎自行类比阅读相关源码)。 首先介绍下Cube构建的整体流程,看下kylin web页面上展示的构建过程:   主要有如下几个步骤: 首先创建一个大平表(Flat Hive Table),该表的数据…

2018年5月26日 0条评论 5点热度 阅读全文

Kylin源码分析系列一—任务调度 注:Kylin源码分析系列基于Kylin的2.5.0版本的源码,其他版本可以类比。 一. 相关介绍        Kylin在Web上触发Cube的相关操作后并不是马上执行相关的操作,而是将构建的任务提交到任务调度服务,任务调度服务每隔一段时间会将提交了未执行的job进行调度执行,默认是30s调度一次,可根据配置项kylin.job.scheduler.poll-interval-second来配置调度时间间隔。    …

2018年5月26日 0条评论 9点热度 阅读全文