| 培训目标：
|
实时计算架构概览
实时计算系统架构解析
实时计算的技术架构实现
实时计算的技术参考架构
- Storm的体系结构
- 流式计算简介与环境准备
- 使用Storm进行流计算
- 开发Storm程序
构建高可用的实时计算架构
- 通过集群构建高可用性
- 集成Storm和Redis
- 集成Storm：Kafka
- 高可用实时计算架构：Storm HA的实现
- Spark体系结构和SparkStreaming
- Spark Streaming原理解析
应用实例设计与优化
| 实时计算原理与架构概览 |
| 实时计算架构概览 |
结合实际大数据应用案例讲解：
- 什么是实时计算
- 为什么需要实时计算
- 实时计算需要考虑哪些技术能力 实时计算的当前的典型参考技术架构
流式计算对实时计算的支持。
|
| 实时计算系统架构解析 |
分布式实时计算架构蓝图
- 分布式实时计算任务模型的设计与实现：
- map/reduce
- fork/join 分布式计算的数据流缓冲区
- Kafka分布式消息系统
- Rabbitmq消息系统
- ActiveMQ消息系统 计算节点的数据流访问接口
- 远程调用
- Web服务
- Restful服务 计算服务的适用于管理
- 服务注册、
- 服务发现
- 服务访问 计算任务的调度机制
- 事件驱动的任务处理
- 实时调度管理
- 定时任务管理
|
| 实时计算的技术架构实现 |
| 实时计算的技术参考架构 |
常见的流式计算框架及其原理
- Storm、JStorm、
- Spark Streaming、
- Flink
|
| Storm的体系结构 |
Storm基本原理和基本元素
Storm集群的组成
搭建Storm集群环境
torm高可用性的实现 |
| 流式计算简介与环境准备 |
Storm应用场景与对应的技术方案
准备Storm的实验环境 |
| 使用Storm进行流计算 |
Storm Demo演示：Word Count
数据流模型和WordCount的处理过程
Storm的数组分组策略 |
| 开发Storm程序 |
设计高并发、高可靠性的Topology
Worker、Task和Excutor的关系
开发Spout组件
开发Bolt组件
开发Topology：本地模式和集群模式
部署并运行Storm任务 |
| 构建高可用的实时计算架构 |
| 通过集群构建高可用性 |
Storm集群在ZK上保存的数据结构
Storm集群任务提交流程
Storm内部通信机制
Storm的异常处理、容错机制及如何保证数据不重复处理
Storm如何保证可靠性传输 |
集成Storm和
Redis |
MemCached和Redis内存数据库简介
搭建和使用Redis
集成Storm和Redis |
| 集成Storm：Kafka |
消息系统与Kafka
搭建Kafka消息系统实验环境
集成Storm和Kafka |
| 高可用实时计算架构：Storm HA的实现 |
什么是ZooKeeper
搭建ZooKeeper集群及ZooKeeper的特性
使用ZooKeeper实现Storm的HA |
| Spark体系结构和SparkStreaming |
Spark架构原理
解析Spark Streaming
Spark的体系架构与搭建
利用ZooKeeper实现Spark Streaming的HA |
| Spark Streaming原理解析 |
执行Spark Streaming程序
Spark Streaming的核心：DStream
开发Spark Streaming应用程序和窗口操作
Spark Streaming的性能优化 |
| 应用实例设计与优化 |
| 实时计算在资讯个性化推荐系统中应用实例 |
推荐系统的整体架构和流程
常用的推荐算法
- 基于用户的协同过滤算法
- 基于物品的协同过滤算法
- ALS协同过滤算法
- 其他算法
|
|
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击
服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。
专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值
