|
课程培训
|
Hadoop大数据时代培训
Hadoop大数据时代：Hadoop&YarnSpark企业级最佳实践培训 培训内容 第一部分 第1个主题：Hadoop三问（彻底理解Hadoop） 1、 Hadoop为什么是云计算分布式大数据的事实开源标准软件框架？ 2、Hadoop的具体是如何工作？ 3、Hadoop的生态架构和每个模块具体的功能是什么？ 第2个主题：Hadoop集群与管理（具备构建并驾驭Hadoop集群能力） 1、 Hadoop集群的搭建 2、 Hadoop集群的监控 3、 Hadoop集群的管理 4、 集群下运行MapReduce程序 第3主题：彻底掌握HDFS(具备开发自己网盘的能力) 1、HDFS体系架构剖析 2、NameNode、DataNode、SecondaryNameNode架构 3、保证NodeName高可靠性最佳实践 4、DataNode中Block划分的原理和具体存储方式 5、修改Namenode、DataNode数据存储位置 6、使用CLI操作HDFS 7、使用Java操作HDFS 第4主题：彻底掌握HDFS(具备修改HDFS具体源码实现的能力) 1、RPC架构剖析 2、源码剖析Hadoop构建于RPC之上 3、源码剖析HDFS的RPC实现 4、源码剖析客户端与与NameNode的RPC通信 第二部分 第1个主题：彻底掌握MapReduce（从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力） 1、MapReduce执行的经典步骤 2、wordcount运行过程解析 3、Mapper和Reducer剖析 4、自定义Writable 5、新旧API的区别以及如何使用就API 6、把MapReduce程序打包成Jar包并在命令行运行 第2个主题：彻底掌握MapReduce（具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力） 1、 Hadoop是如何把HDFS文件转化为键值对的？ 2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现 3、 源码剖析转化为键值对后供Map调用的过程实现 第3个主题：彻底掌握MapReduce（具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力） 1、 Hadoop内置计数器及如何自定义计数器 2、 Combiner具体的作用和使用以及其使用的限制条件 3、 Partitioner的使用最佳实践 4、 Hadoop内置的排序算法剖析 5、 自定义排序算法 6、 Hadoop内置的分组算法 7、 自定义分组算法 8、 MapReduce常见场景和算法实现 第4个主题：某知名电商公司Hadoop实施全程揭秘（具备掌握商业级别Hadoop的分析、开发、部署的全过程的能力） 通过电商公司现场案例展示商业级别一个完整项目的分析、开发、部署的全过程 第三部分 第1个主题：YARN（具备理解和使用YARN的能力） 1、YARN的设计思想 2、YARN的核心组件 3、YARN的共组过程 4、YARN应用程序编写 第2个主题：ResourceManager深度剖析（具备深刻理解ResourceManager的能力） 1、ResourceManager的架构 2、ClientRMService 与AdminService 3、NodeManager 4、 Container 5、 Yarn的 HA机制 第3个主题：NodeManager深度剖析（具备掌握NodeManager及Container的能力） 1、 NodeManager架构 2、 Container Management 3、 Container lifecycle 4、 资源管理与隔离 第4堂课：Spark的架构设计(具备掌握Spark架构的能力) 1.1 Spark生态系统剖析 1.2 Spark的架构设计剖析 1.3 RDD计算流程解析 1.4 Spark的出色容错机制 第四部分 第1堂课：深入Spark内核 1 Spark集群 2 任务调度 3 DAGScheduler 4 TaskScheduler 5 Task内部揭秘 第2堂课：Spark SQL 1 Parquet支持 2 DSL 3 SQL on RDD 第3堂课：Spark的机器学习 1 LinearRegression 2 K-Means 3 Collaborative Filtering 第4堂课：Spark的图计算GraphX 1 Table Operators 2 Graph Operators 3 GraphX
如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训 除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916 技术服务需求表下载请点击 服务优势： 丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。 专家力量： 中国科学院相关研究所高级研究人员 西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等 大型公司高级工程师，项目经理，技术支持专家 中科信软培训中心，资深专家或讲师 大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高 多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享 针对客户实际需要，真实案例演示，互动式沟通，学有所值 |
|
