Kafka 相关核心概念

kafaka 简介

kafaka 系统架构

kafaka 应用场景

用户的活动追踪：

用户在网站的不同活动消息发布到不同的主题中心，然后可以对这些消息进行实时监测实时处理。当然，也可加载到 Hadoop 或离线处理数据仓库，对用户进行画像。像淘宝、京东这些大型的电商平台，用户的所有活动都是要进行追踪的。

日志聚合:

限流削峰:

kafaka特性之高吞吐

kafaka 集群搭建(windows)

参考文章：Windows 搭建Kafka 集群

kafaka 专业术语

Topic（主题）：

主题。在 Kafka 中，使用一个类别属性来划分消息的所属类，划分消息的这个类称为 topic。topic 相当于消息的分类标签，是一个逻辑概念。

Partition（分区）：

分区。topic 中的消息被分割为一个或多个 partition，其是一个物理概念，对应到系统上就是一个或若干个目录。partiiton 本身是一个 FIFO 队列，其中的消息是有序的。但在 Partition 间无法保证消息的顺序性。

segment(段):

段。将 partition 进一步细分为了若干的 segment，每个 segment 文件的最大大小相等。

Broker(中间件)

Kafka 集群包含一个或多个服务器，每个服务器节点称为一个 broker。
假设某个 topic 中有 N 个 partition，集群中有 M 个 Broker，broker 与 partition 间的数量
关系：
        若 N>=M，且（N%M=0），则每个 broker 上会平均存储 N/M 个 partition。 
        若 N>M，且（N%M!=0），这其中会出现 broker 上分配的 partition 不平均的情况。这种情况要避免。
        若 N<M，这种情况会出现有的 broker 上没有分到 partition 的情况。
 

Producer(生成者)

生产者。即消息的发布者，其会将某 topic 的消息发布到相应的 partition 中。

Consumer(消费者)

消费者。可以从 broker 中读取消息。
一个消费者可以消费多个 topic 的消息。
一个消费者可以消费同一个 topic 中的多个 partition 消息。
一个 partition 允许多个无关消费者同时消费。

Consumer Group(消费组)

consumer group 是 kafka 提供的可扩展且具有容错性的消费者机制。组内可以有多个消费者，它们共享一个公共的 ID，即 group ID。组内的所有消费者会协调在一起平均消费订阅主题的所有分区。
Kafka 可以保证在稳定状态下，一个 partition 中的消息只能被同一个 consumer group 中的一个 consumer 消费，而一个组内 consumer 只会消费某一个或几个特定的 partition。当然，一个消息可以同时被多个 consumer group 消费。

总结：
组内 consumer 与 partition 的关系 1:n
partition 与组内 consumer 的关系 1:1 

这种设计方式的好处是：实现简单，弊端是：消息分配不均。

组中 consumer 数量与 partition 数量的对应关系如下。

Replicas of partition(分区副本)

分区副本。副本是一个分区的备份，是为了防止消息丢失而创建的分区的备份。

Partition Leader(分区领导)

每个 partition 有多个副本，其中有且仅有一个作为 Leader，Leader 是当前负责消息读写的 partition。即所有读写操作只能发生于 Leader 分区上。

Partition Follower(分区跟随者)

所有 Follower 都需要从 Leader 同步消息，Follower 与 Leader 始终保持消息同步。partition leader 与 follower 是主备关系，而非主从

ISR