| 培训目标： |
- 了解Flume的适用场景，掌握Flume的事务原理及二次开发的注意事项，以及性能调优方案
- 掌握Kafka的使用方式，以及如何与现有业务系统集成
- 理解Kafka实现高可用的原理，了解Consumer Group Rebalance的原理及方案演进以及对业务代码的影响。同时为分布式系统经典问题提供思路
- 掌握Kafka Stream的原理及适用场景
- 掌握Kafka运维的核心问题解决方案
-
-
| 1. Flume原理 |
1.1 Flume架构
1.2 Fan-in & Fan-out
1.3 Flume事务原理
1.4 Flume监控
1.5 Flume性能优化 |
| 2. Flume二次开发 |
2.1 Flume Event数据结构
2.2 自定义Source
2.3 自定义Sink
2.4 自定义Channel
2.5 自定义Interceptor |
| 3. Kafka架构 |
3.1 Kafka整体架构
3.2 Topic & Partition
3.3 Producer最佳实践
3.4 消息路由之自定义Partitioner
3.5 两种不同的Consumer用法 |
| 4. Kafka高可用原理 |
4.1 Kafka面临的CAP问题
4.2 高可用下的数据分发
4.3 动态平衡策略ISR
4.4 基于Zookeeper的领导选举方案
4.5 Failover原理 |
| 5. Consumer Rebalance方案演进 |
5.1 为什么需要Rebalance
5.2 Rebalance实现的效果
5.3 自治式Rebalance原理及问题
5.4 集中式Rebalance实现原理
5.5 应用程序如何处理Consumer Rebalance |
| 6. Kafka Stream |
6.1 Kafka Stream架构
6.2 Kafka Stream并发模型
6.3 实现Topology的两种方式
6.4 窗口和Join原理与可恢复性保障
6.5 适用场景 |
| 7. Kafka运维与如何实现正好一次 |
7.1 重新分配Replica
7.2 Preferred Replica Leader Election
7.3 两阶段提交实现正好一次
7.4 幂等操作实现正好一次
7.5 数据处理与offset管理放在同一事务实现正好一次 |
|
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击
服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。
专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值
