Kafka入门与实践PDF|Epub|txt|kindle电子书版本网盘下载

Kafka入门与实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 Kafka简介1

1.1 Kafka背景1

1.2 Kafka基本结构2

1.3 Kafka基本概念2

1.4 Kafka设计概述6

1.4.1 Kafka设计动机6

1.4.2 Kafka特性6

1.4.3 Kafka应用场景8

1.5 本书导读9

1.6 小结9

第2章 Kafka安装配置11

2.1 基础环境配置11

2.1.1 JDK安装配置11

2.1.2 SSH安装配置13

2.1.3 ZooKeeper环境15

2.2 Kafka单机环境部署18

2.2.1 Windows环境安装Kafka19

2.2.2 Linux环境安装Kafka19

2.3 Kafka伪分布式环境部署21

2.4 Kafka集群环境部署22

2.5 Kafka Manager安装22

2.6 Kafka源码编译25

2.6.1 Scala安装配置25

2.6.2 Gradle安装配置26

2.6.3 Kafka源码编译26

2.6.4 Kafka导入Eclipse30

2.7 小结31

第3章 Kafka核心组件33

3.1 延迟操作组件33

3.1.1 DelayedOperation33

3.1.2 DelayedOperationPurgatory35

3.1.3 DelayedProduce36

3.1.4 DelayedFetch38

3.1.5 DelayedJoin38

3.1.6 DelayedHeartbeat39

3.1.7 DelayedCreateTopics40

3.2 控制器40

3.2.1 控制器初始化41

3.2.2 控制器选举过程46

3.2.3 故障转移48

3.2.4 代理上线与下线49

3.2.5 主题管理51

3.2.6 分区管理54

3.3 协调器58

3.3.1 消费者协调器58

3.3.2 组协调器60

3.4 网络通信服务64

3.4.1 Acceptor65

3.4.2 Processor66

3.4.3 RequestChnannel68

3.4.4 SocketServer启动过程69

3.5 日志管理器70

3.5.1 Kafka日志结构70

3.5.2 日志管理器启动过程77

3.5.3 日志加载及恢复79

3.5.4 日志清理80

3.6 副本管理器84

3.6.1 分区86

3.6.2 副本88

3.6.3 副本管理器启动过程89

3.6.4 副本过期检查90

3.6.5 追加消息92

3.6.6 拉取消息95

3.6.7 副本同步过程97

3.6.8 副本角色转换99

3.6.9 关闭副本101

3.7 Handler103

3.8 动态配置管理器104

3.9 代理健康检测106

3.10 Kafka内部监控107

3.11 小结110

第4章 Kafka核心流程分析111

4.1 KafkaServer启动流程分析111

4.2 创建主题流程分析115

4.2.1 客户端创建主题115

4.2.2 分区副本分配117

4.3 生产者121

4.3.1 Eclipse运行生产者源码121

4.3.2 生产者重要配置说明123

4.3.3 OldProducer执行流程124

4.3.4 KafkaProducer实现原理127

4.4 消费者140

4.4.1 旧版消费者140

4.4.2 KafkaConsumer初始化140

4.4.3 消费订阅144

4.4.4 消费消息145

4.4.5 消费偏移量提交149

4.4.6 心跳探测150

4.4.7 分区数与消费者线程的关系151

4.4.8 消费者平衡过程153

4.5 小结154

第5章 Kafka基本操作实战155

5.1 KafkaServer管理155

5.1.1 启动Kafka单个节点155

5.1.2 启动Kafka集群159

5.1.3 关闭Kafka单个节点160

5.1.4 关闭Kafka集群161

5.2 主题管理162

5.2.1 创建主题162

5.2.2 删除主题164

5.2.3 查看主题165

5.2.4 修改主题166

5.3 生产者基本操作168

5.3.1 启动生产者168

5.3.2 创建主题169

5.3.3 查看消息170

5.3.4 生产者性能测试工具170

5.4 消费者基本操作174

5.4.1 消费消息174

5.4.2 单播与多播179

5.4.3 查看消费偏移量181

5.4.4 消费者性能测试工具183

5.5 配置管理183

5.5.1 主题级别配置184

5.5.2 代理级别设置185

5.5.3 客户端／用户级别配置187

5.6 分区操作188

5.6.1 分区Leader平衡188

5.6.2 分区迁移190

5.6.3 增加分区194

5.6.4 增加副本195

5.7 连接器基本操作198

5.7.1 独立模式198

5.7.2 REST风格API应用201

5.7.3 分布式模式204

5.8 Kafka Manager应用209

5.9 Kafka安全机制211

5.9.1 利用SASL/PLAIN进行身份认证212

5.9.2 权限控制215

5.10 镜像操作218

5.11 小结219

第6章 Kafka API编程实战221

6.1 主题管理222

6.1.1 创建主题222

6.1.2 修改主题级别配置223

6.1.3 增加分区224

6.1.4 分区副本重分配224

6.1.5 删除主题225

6.2 生产者API应用225

6.2.1 单线程生产者226

6.2.2 多线程生产者231

6.3 消费者API应用233

6.3.1 旧版消费者API应用233

6.3.2 新版消费者API应用239

6.4 自定义组件实现247

6.4.1 分区器247

6.4.2 序列化与反序列化249

6.5 Spring与Kafka整合应用257

6.5.1 生产者259

6.5.2 消费者263

6.6 小结266

第7章 Kafka Streams267

7.1 Kafka Streams简介267

7.2 Kafka Streams基本概念268

7.2.1 流268

7.2.2 流处理器268

7.2.3 处理器拓扑268

7.2.4 时间269

7.2.5 状态270

7.2.6 KStream和KTable270

7.2.7 窗口271

7.3 Kafka Streams API介绍272

7.3.1 KStream与KTable272

7.3.2 窗口操作274

7.3.3 连接操作275

7.3.4 变换操作277

7.3.5 聚合操作279

7.4 接口恶意访问自动检测281

7.4.1 应用描述281

7.4.2 具体实现282

7.5 小结285

第8章 Kafka数据采集应用287

8.1 Log4j集成Kafka应用287

8.1.1 应用描述287

8.1.2 具体实现287

8.2 Kafka与Flume整合应用289

8.2.1 Flume简介290

8.2.2 Flume与Kafka比较291

8.2.3 Flume的安装配置291

8.2.4 Flume采集日志写入Kafka293

8.3 Kafka与Flume和HDFS整合应用294

8.3.1 Hadoop安装配置295

8.3.2 Flume采集Kafka消息写入HDFS298

8.4 小结301

第9章 Kafka与ELK整合应用303

9.1 ELK环境搭建304

9.1.1 Elasticsearch安装配置304

9.1.2 Logstash安装配置307

9.1.3 Kibana安装配置308

9.2 Kafka与Logstash整合309

9.2.1 Logstash收集日志到Kafka309

9.2.2 Logstash从Kafka消费日志310

9.3 日志采集分析系统312

9.3.1 Flume采集日志配置312

9.3.2 Logstash拉取日志配置313

9.3.3 Kibana 日志展示314

9.4 服务器性能监控系统315

9.4.1 Metricbeat安装316

9.4.2 采集信息存储到Elasticsearch316

9.4.3 加载beats-dashboards318

9.4.4 服务器性能监控系统具体实现318

9.5 小结321

第10章 Kafka与Spark整合应用323

10.1 Spark简介323

10.2 Spark基本操作324

10.2.1 Spark安装325

10.2.2 Spark shell应用326

10.2.3 spark-submit提交作业327

10.3 Spark在智能投顾领域应用328

10.3.1 应用描述328

10.3.2 具体实现329

10.4 热搜词统计334

10.4.1 应用描述334

10.4.2 具体实现335

10.5 小结340