论坛元老
- 威望
- 180
- 贡献
- 268
- 热心值
- 19
- 金币
- 81660
- 注册时间
- 2020-8-31
|
课程介绍：
本课程首先会从组消费模式与分区消费模式两方面介绍 Kafka 消费者源代码设计思想和处理流程，之后会从同步发送与异步发送两方面讲解 Kafka发送者源代码设计思想和处理流程，再之后会讲解 Kafka server 的 reactor 设计模型，这也是 Kafka 服务端能够接受大量连接的根本原因，最后会讲解 Kafka的选主原理，以及不使用 zookeeper 进行选主的原因。
课程背景：
前面三节课分别介绍了 Kafka 的基本知识，也能够使用 python 和 java 编写消费者和生产者和 Kafka进行交互，还对 Kafka 的消息产生、删除和检索原理进行了讲解，但是我们并不了解 我们写的消费者和生产者是如何和 Kafka 集群进行交互的，我们也不了解 Kafka 集群是如何保证高效，是如何能够接受大量的客户端连接，我们也不了解 Kafka 每个 partition 的 leader 是如何选举产生的。本课程即将为你解答这些问题。
核心内容：
1、Kafka 分区消费模式服务器端源代码介绍
2、Kafka 组消费模式服务器端源代码介绍
3、Kafka 同步发送模式服务器端源代码介绍
4、Kafka 异步发送模式服务器端源代码介绍
5、Kafka server reactor 设计模式
6、Kafka partition 选主机制
软件环境：Linux服务器至少一台；zookeeper-3.4.6；kafka_2.9.2-0.8.1.1
课程等级：高级
适合人群：
需要进行大量日志传输；有 Kafka 基础知识；需要更近一步了解原理的大数据爱好者
课程目录：
1 Kafka 消费者源代码介绍 19:42
本课时主要从分区消费模式和组消费模式两个方面对 Kafka 消费者服务器端代码进行讲解，主要讲解它们的设计思想、处理流程和注意事项。 通过对 Kafka 消费者服务器端源代码的讲解加深大家对使用 python 和 java 编写消费者客户端代码的理解
2 Kafka 生产者源代码介绍 17:08
本课时主要从同步发送模式和异步发送模式两个方面对 Kafka 生产者服务器端代码进行讲解，包括讲解它们的设计思想、处理流程和注意事项。 通过对 Kafka 生产者服务器端源代码的理解使大家加深对使用 python 和 java 编写生产者客户端代码的理解
3 Kafka server reactor 设计模型 24:13
Kafka server 能够处理大量并发的客户端连接，这在分布式数据处理的 server 端尤其重要，本课时首先讲解 java nio 和 linux epoll 模型的基础知识，然后重点讲解 Kafka server 是如何使用 reactor 模型来达到处理大量连接的目的。
4 Kafka partition leader 选主机制 36:06
本课时首先讲解目前大数据主要采用的 leader 选择机制，然后讲解这些选主机制的缺点，最后讲解 Kafka 选主机制的原理和优势
|
|
发表于 2019-3-22 15:39
