|
课程培训
|
Spark深入浅出企业级最佳实践
Spark深入浅出企业级最佳实践 培训内容 第一部分 1、Spark的架构设计 1.1 Spark生态系统剖析 1.2 Spark的架构设计剖析 1.3 RDD计算流程解析 1.4 Spark的出色容错机制 2、Spark编程模型 2.1 RDD 2.2 transformation 2.3 action 2.4 lineage 2.5宽依赖与窄依赖 3、深入Spark内核 3.1 Spark集群 3.2 任务调度 3.3 DAGScheduler 3.4 TaskScheduler 3.5 Task内部揭秘 4、Spark的广播变量与累加器 4.1 广播变量的机制 4.2 广播变量使用最佳实践 4.3 累加器的机制 4.4 累加器使用的最佳实践 5、编写Spark程序 5.1 程序数据的来源：File、HDFS、HBase、S3等 5.2 IDE环境构建 5.3 Maven 5.4 sbt. 5.5 编写并部署Spark程序的实例 6、SparkContext解析和数据加载以及存储 6.1 源码剖析SparkContext 6.2 Scala、Java、Python使用SparkContext 6.4 加载数据成为RDD 6.5 把数据物化 第二部分 7、深入实战RDD 7.1 DAG 7.2 深入实战各种Scala RDD Function 7.3 Spark Java RDD Function 7.4 RDD的优化问题 8、Shark的原理和使用 8.1 Shark与Hive 8.2 安装和配置Shark 8.3 使用Shark处理数据 8.4 在Spark程序中使用Shark Queries 8.5 SharkServer 8.6 思考Shark架构 9、Spark的机器学习 9.1 LinearRegression 9.2 K-Means 9.3 Collaborative Filtering 10、Spark的图计算GraphX 10.1 Table Operators 10.2 Graph Operators 10.3 GraphX 11、Spark SQL 11.1 Parquet支持 11.2 DSL 11.3 SQL on RDD 第三部分 12、Spark实时流处理 12.1 DStream 12.2 transformation 12.3 checkpoint 12.4 性能优化 13、Spark程序的测试 13.1 编写可测试的Spark程序 13.2 Spark测试框架解析 13.3 Spark测试代码实战 14、Spark的优化 14.1 Logs 14.2 并发 14.3 内存 14.4 垃圾回收 14.5 序列化 14.6 安全 15、Spark on Yarn 15.1 Spark on Yarn的架构原理 15.2 Spark on Yarn的最佳实践 16、JobServer 16.1 JobServer的架构设计 16.2 JobServer提供的接口 16.3 JobServer最佳实践 如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训 除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916 技术服务需求表下载请点击 服务优势： 丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。 专家力量： 中国科学院相关研究所高级研究人员 西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等 大型公司高级工程师，项目经理，技术支持专家 中科信软培训中心，资深专家或讲师 大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高 多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享 针对客户实际需要，真实案例演示，互动式沟通，学有所值 |
|
