课程以 Java 代码实战的方式学习 Kafka。包括 Kafka 的安装配置、Producer API 的使用、Consumer API 的使用以及与第三方框架 Flume、Spark Streaming 的集成开发。对在大数据项目中经常用到的 Kafka 关键知识点，进行全方位、源代码级别的学习，使学员深入理解 Kafka 的内部机制。
实验 1
Kafka，你好！
知识点: 1.了解MQ消息系统的概念 2.理解Kafka消息系统的基本架构 3.安装单机版Kafka集群 4.使用Shell命令创建Topic 5.使用Consumer、Producer发送和接收消息
实验 2
理解 Kafka 集群
知识点: 1.理解Zookeeper和Kafka的关系 2.理解broker、topic、producer、consumer、partition等专有术语 3.用本节的专业术语重新回顾上节课的实验
实验 3
理解 Kafka topic
知识点: 1.使用shell命令修改topic、删除topic 2.使用Java语言调用Kafkatopic相关API 3.查看Kafka中消息的存储位置
实验 4
Producer 开发入门
知识点: 1.开发Producer程序的基础知识 2.开发Java程序发送消息到Kafka集群 3.学习如何创建一个KafkaProducer和ProducerRecord对象 4.学习如何使用默认的partitioner和serializer发送消息
实验 5
Producer 开发进阶
知识点: 1.画图展示producer发送消息到Kafka的过程 2.查看Kafka源代码，从源码级别理解producer发送消息的过程 3.开发自定义partitioner分区器
实验 6
Consumer 开发入门
知识点: 1.理解消费者组的概念 2.学习开发consumer程序的基本步骤 3.编程控制消费指定offset的消息
实验 7
Consumer 开发进阶
知识点: 1.消息offset的同步提交 2.消息offset的异步提交 3.按partition维度提交offset 4.按处理的消息量提交offset
实验 8
Kafka 整合 Flume
知识点: 1.Flume的安装和配置 2.Flume接收命令行消息发送到Kafka
实验 9
Kafka 发送接收结构化数据
知识点: 1.使用Java开发消息发送程序Producer 2.使用Java开发消息读取程序Consumer
实验 10
Kafka 发送接收非结构化数据
知识点: 1.发送和接收图片数据 2.发送和接收视频数据
实验 11
Spark 2 整合 Kafka
知识点: 1.使用Eclipse搭建Spark20开发环境 2.使用Sparkstreaming读取Kafka数据，输出到console
本训练营目标是以 Java 代码实战的方式学习 Kafka。包括 Kafka 的安装配置、Producer API 的使用、Consumer API 的使用以及与第三方框架 Flume、Spark Streaming 的集成开发。对在大数据项目中经常用到的 Kafka 关键知识点，进行全方位、源代码级别的学习，使学员深入理解 Kafka 的内部机制。
Sny 共发布过 6 门课程
查看老师的所有课程 >
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
