python3快捷键大全(Python中Kafka是什么)
1 、什么是Kafka
Kafka是一个分布式流处理系统 ,流处理系统使它可以像消息队列一样publish或者subscribe消息 ,分布式提供了容错性 ,并发处理消息的机制
2 、Kafka的基本概念
kafka运行在集群上 ,集群包含一个或多个服务器 。kafka把消息存在topic中 ,每一条消息包含键值(key) ,值(value)和时间戳(timestamp) 。
kafka有以下一些基本概念:
Producer - 消息生产者 ,就是向kafka broker发消息的客户端。
Consumer - 消息消费者 ,是消息的使用方 ,负责消费Kafka服务器上的消息 。
Topic - 主题,由用户定义并配置在Kafka服务器 ,用于建立Producer和Consumer之间的订阅关系 。生产者发送消息到指定的Topic下 ,消息者从这个Topic下消费消息 。
Partition - 消息分区,一个topic可以分为多个 partition ,每个
partition是一个有序的队列 。partition中的每条消息都会被分配一个有序的id(offset) 。
Broker - 一台kafka服务器就是一个broker 。一个集群由多个broker组成 。一个broker可以容纳多个topic 。
Consumer Group - 消费者分组 ,用于归组同类消费者 。每个consumer属于一个特定的consumer group,多个消费者可以共同消息一个Topic下的消息 ,每个消费者消费其中的部分消息 ,这些消费者就组成了一个分组 ,拥有同一个分组名称 ,通常也被称为消费者集群。
Offset - 消息在partition中的偏移量 。每一条消息在partition都有唯一的偏移量 ,消息者可以指定偏移量来指定要消费的消息 。
创心域SEO版权声明:以上内容作者已申请原创保护,未经允许不得转载,侵权必究!授权事宜、对本内容有异议或投诉,敬请联系网站管理员,我们将尽快回复您,谢谢合作!