kafka 系列 -- 1、基本概念

2020年11月29日 80点热度 0条评论 来源: 心无私天地宽

前言

思考的过程往往比直接得到结论更加重要

kafka 应用场景

  1. 应用监控
  2. 网站用户行为追踪
  3. 流数据
  4. 持久性日志

基本概念

在说基本概念前,先看一下 kafka 的系统架构

  1. Broker
    一般而言,一台机器就是一个 broker,当然 1 台机器上可以部署多个 broker
  2. Producer
    消息的生产者
  3. Consumer
    消息的消费者
  4. Consumer Group
    消费者组,组内可以有多个消费者,共享同一个 groupid。消费组内的消费者,一般情况下为同一个消费者部署多个实例。
  5. Topic
    topic 在 kafka 中是一个逻辑上的概念,用于将 partition 分类。1 个 topic 有多个 partition。生产者将消息发送到指定的 topic 中,消费者从指定的 topic 进行消费。
  6. partition
    一个可追加的日志存储文件。kafka 的分区可以分布在不同的 broker 上
  7. 多副本机制
    kafka 为 partition 引入了多副本机制,可以通过增加副本数量来提升容灾能力。同一分区中的不同副本保存相同的消息。副本之间一般是 一主多从。如下图,每个分区有 3 个副本

    1. AR
      集群中的副本,统称 AR(Assigned Replication),AR = ISR + OSR
    2. ISR
      与 leader 副本保持一定同步的副本,称为 ISR(in-sync-replication)。消息需先发送到 leader 副本,follower 才能从 leader 副本中拉取消息
    3. OSR
      与 leader 副本同步滞后过多的副本,称为 OSR(out-sync-replication)。
    4. leader 副本
      leader 副本负责维护 follower 副本的状态,当 ISR 副本中滞后 leader 副本过多,会被移除到 OSR 副本中。当 OSR 副本跟上了 leader 副本,会被移动到 ISR 副本。只有在 ISR 集合的副本,才有机会选举 leader
    5. HW、LEO
      HW(Hight Watermark)俗称高水位,标识一个特定的偏移量,消费者只能拉取该偏移量之前的消息
      LEO(Low End Offset)日志最后偏移量。标识日志文件中待写入消息的偏移量
    6. 关系图
      图 2: HW、LEO 的关系

      图 3 - 图4: leader 副本、follower、HW、LEO 关系

      消息写入之后,LEO 变成5,follower,会从 leader 中拉取消息,进行同步

      当 ISR 集合的副本都写入 3 后,HW 就会变成 4,表示 0-3 的消息为可消费

      当 ISR 集合都写入 3 、4 之后,HW、LEO 值都变成 5
    7. 总结
      kafka 消息的写入,是可靠性和可用性的权衡。当 ISR 副本均写入消息时,不用等待 OSR 副本也写入消息。这里避免了 OSR 滞后太多,从而导致不可用性,且消息被写入到多个副本,也保证了消息的可靠性。
      当 leader 写入完消息立即挂掉后,ISR 副本因未能同步到消息,从而导致消息丢失。

与 RocketMQ 区别

  1. partition 在 RocketMQ 中为 队列。消费模型也几乎一致,基于消费组进行消费
  2. RocketMQ 有自带的注册中心,无需 zookeeper。
  3. kafka partition 有多副本机制,RocketMQ 队列没有多副本机制
  4. kafka 多副本机制有丢消息问题,RocketMQ 则没有
  5. 从设计上来看,RocketMQ 与 kafka 的解决的应用场景不一样。RocketMQ 注重消息的可靠性,而 kafka 在这一方面比较弱,kafka 更注重系统吞吐量。因此 kafka 不适合要求消息不能丢的场景。
    原文作者:心无私天地宽
    原文地址: https://segmentfault.com/a/1190000023189228
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。