文章目录 1.1、需求分析与思路 1.2、功能实现 1.2.1、读取 Kafka 各个流数据 1.2.2、合并数据流 1.2.2.1、访客统计实体类 1.2.2.2、对读取的各个数据流进行结构的转换 1.2.2.3、合并数据流 1.2.3、维度聚合 1.2.3.1、设置时间标记及水位线 1.2.3.2、分组 1.2.3.3、开窗 1.2.3.4、窗口内聚合及补充时间字段 1.2.4、写入 OLAP 数据库 1.2.4.1、ClickHouse 数据表准备 1.2.4.2、依赖包 1.2.4.3、增加 Clickho…

2021年3月23日 0条评论 0点热度 阅读全文

基于FLINK搭建实时数仓技术调研 基于FLINK搭建实时数仓技术调研 确定适合的OLTP数据库 结合OLTP和OLAP的实时数仓架构 实时数仓ETL流程 总结 基于FLINK搭建实时数仓技术调研 ____数据仓库(DATA WAREHOUSE),是做大数据基本都会去涉及的项目。简单来说,数仓是数据结构化存储和查询,并利用分布式计算引擎进行计算得到业务需要的指标,以支持企业商业智能,通过充分挖掘数据价值,形成数据资产。 ____传统的数据仓库偏离线处理,通过定时调度实现数据的ETL,指标的更新依赖于调度的频率,常见…

2021年3月10日 0条评论 0点热度 阅读全文