kafka基础一

基本概念：

消息系统的组成由生产者，消费者以及存储系统。消费者从存储系统中读取生产者生产的消息。kafka作为分布式的消息系统支持多个生产者多个消费者，写消息时允许多个生产者写到同一个partition中，一个partition中的消息只允许一个消费者组中的一个消费者消费。

1.producer：消息生产者
2.consumer：消息消费者
3.topic：一个队列
4.consumer group（cg）：这是kafka用来控制单播和多播的手段。但是，每个partion只会把消息发送给该cg中的一个consumer，如果需要实现广播，只需要每个consumer有一个独立的cg就可以了，要想实现单播只要所有的consumer在同一个cg上，用cg还可以将consumer进行*的分组而不需要多次发送消息到不同的topic
5.broker：一台kafka服务器就是一个broker，一个kafka集群由多个broker组成，一个broker可以容纳多个topic
6.partition：分区，为了实现扩展性，一个非常大的topic可以分不到多个broker上，一个topic可以有多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发送给consumer，不保证也给topic的整体（多个partition间）的顺序
7.offset：kafka的存储文件都是按照offset.kafka来命名，用offset做名字的好处是方便查找