Hadoop与Spark大数据架构专题培训课程

　　培训对象

　　本次Hadoop培训对象针对各类IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。

　　学员基础

　　了解Java语言、Linux系统;

　　课程大纲

　　大数据架构概述

　　1.1大数据层级架构及各层软件设计要求，包括数据收集、存储、计算框、应用

　　1.2 Hadoop生态系统概述以及版本演化，并给出版本选择建议。

　　1.3 Spark生态系统概述及其特点，并与Hadoop对比

　　数据收集系统Flume与Sqoop

　　2.1使用flume和sqoop两个系统将外部流式数据(比如网站日志，用户行为数据等)、关系型数据库(比如MySQL、Oracle等)中的数据导入Hadoop中进行分析和挖掘

　　大数据存储系统HDFS与HBase

　　3.1 与HDFS1.0进行对比介绍2.0原理、特性与基本架构(快照、缓存、异构存储)。

　　3.2 HBase原理，基本架构与案例分析

　　3.3 HBase应用场景、原理和架构，典型应用案例(互联网、银行)

　　集群资源管理与调度系统

　　4.1 介绍YARN应用场景、基本架构与资源调度

　　Zookeeper部署及典型应用

　　5.1 介绍Zookeeper是什么，基本原理及在应用

　　大数据计算平台

　　介绍主流的三大类大数据计算框架，分别是批处理、交互式计算和流式计算框架，并选取当下主流的开源实现进行介绍。

　　6.1 批处理计算框架

　　6.1.1 MapReduce2.0基本原理与架构、程序编写(使用java、C++、php语言)

　　6.1.2 数据分析系统Hive与Pig应用与比较，如何使用其中的海量数据

　　6.1.3 Spark计算框架，背景及应用案例

　　6.2 交互式计算框架，Impala和presto应用场景，基本架构和典型应用案例

　　6.3 流式/实时计算框架，storm、SparkStreaming基本架构特点，及应用案例

　　数据挖掘与机器学习库

　　7.1 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。

如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。

专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值