主题

内容见要

海量数据处理系统

的架构设计

这个部分主要讲解海量数据处理的架构设计，针对海量数据的问题设计海量数据的架构解决方案。

· 海量数据处理的系统场景

· 大数据时代的数据架构解决方案

· 海量数据处理的架构汇总

· 8种海量数据处理的架构设计比较

· HBase在复杂数据体系中的位置

· HBase如何与其他海量数据处理系统协同

· 分布式系统架构的海量数据处理设计

· 海量数据处理设计

典型案例分析：结合一个500强实时数据系统的实例案例进行分析，详细分析海量数据处理的架构设计

NoSQL的实践应用

HBase与其他NoSQL的共存及其主要应用场景分析

· NoSQL综述解决的实际问题

· 关系数据库暴露的问题

· High performance并发要求

· Huge Storage的存取

· High Scalability的服务器分布要求

· High Availability的服务器健壮要求

· 关系型数据库失效的场景

· NoSQL与关系型数据库设计理念比较

· HBase与关系型数据库的协作

· HBase的优劣及其与关系型数据库的差异与区别

· NoSQL设计模型分析

· K-V模型的Column设计

· Document模型的B Tree设计

· Object模型的基于Object数据访问设计

· NoSQL实例分析

· Apache Hbase架构解析

· Facebook Cassandra架构解析

· Google BigTable架构解析

· NoSQL中Memcache与Redis的应用场景

· NoSQL中MongoDB的应用场景

· NoSQL中Hadoop, Spark的应用场景

· 主流NoSQL的产品差异比较

· 综合应用NoSQL的解决方案处理复杂环境数据高负载，高并发， 高性能的数据体系

· HBase的应用场景实践解析及其解决的业务问题

o 海量数据写入 

o 消息类（类似Facebook的message）

o Schema-free 

o LOG-Append类的业务

o 大表的复杂/多维度索引

o 分析类

o 大批量读取

· HBase的数据场景实践解析

o HBase表数据量的范围

o HBase的数据操作类别

o HBase的读写场景

o HBase的排序场景

o HBase不适宜的技术场景

典型案例分析：结合一个500强实时数据采集系统的实例案例进行分析，详细分析NoSQL的综合开源架构应用多种NoSQL的产品集合应用

典型案例分析：结合一个大型互联网系统的实例案例进行分析，详细分析HBase的主要应用场景及其解决的业务问题

Hadoop作为HBase的重要基石-HBase的存储架构

· 文件存储-HDFS

· HDFS-工作原理

· 分布式Hadoop HDFS的集群搭建与部署

· HDFS核心架构分析

· Hadoop HDFS读/写文件快速解析

· HBase与分布式Hadoop HDFS的关系

· 如何基于Hadoop HDFS构建HBase

· 基于Hadoop HDFS的HBase存储模型

· HBase的三层索引结构

· HBase的Row Base设计思想

· HBase存储的逻辑视图与物理视图

· HBase表的Row key键、Column Family列族、Cell qualifier列族修饰符（列）、Timestamp时间戳、Region区域、HBase锁 解析

· HBase物理存储模型的核心架构

· HRegin与HTable的关系及其核心架构分析

· HFile格式分析

· HFile的6个组成部分

· HLog 分析

· 三层B+树的扩展LSMTree

· Compact与Splite对性能的影响

· 如何优化HBase的存储

课堂演练：学员搭建一个基本的HBase通过HBase的文件体系， 了解HBase的存储过程，并针对不同业务场景尝试优化HBase存储

HBase集群架构搭建及实践案例沙盘演练

· HBase版本介绍与选择

· HBase部署实践

· 系统环境配置

· HBase进程分布规划与启动

· HBase Region Server

· 基于HBase的命令总结

· HBase高阶使用操作

· HBase集群架构搭建方法

· HBase集群架构性能管理

· 去中心化的HBase单点问题改进

· HBase的调优和节点扩展最佳实践

· 主要调优工具和性能监控工具

· HBase集群对于硬件的要求和选型

· HBase集群中对硬件、操作系统的调优方法

· 实际案例分析

· ZooKeeper与HBase

· HBase Master与Region Server

· ZooKeeper在HBase集群中的应用方式

· 基于HBase的集群解决方案

· 典型案例分析：结合一个大型商业系统的实例案例分析及演练HBase集群架构搭建过程

· 课堂演练：学员搭建一个HBase与ZooKeeper的集群更加深入的了解Region Server, Mater, ZooKeeper之间的关系， 及HBase的高阶操作与优化

HBase架构及实践案例沙盘演练

· 为什么实用Hadoop/HBase

· Hadoop的架构体系与HBase的应用关系

· HBase的核心设计机制

· HBase的使用场景？什么情况下使用HBase，为什么使用HBase，HBase使用带来的实践价值

· 开发环境准备

· Eclipse与HBase的集成

· HBase进行数据读、写操作

· 基于的API编程模型及其开发演练

· 关系型数据库与HBase

· HBase的Client端

· HBase架构分析

· 基于HBase项目架构设计 

· 入库和查询的设计与实现

· 髙实时性，大并发下HBase的数据处理解决方案

· 案例演练HBase的主体特性

· Features:Scalability实现

· HBaseFeatures:Column-Oriented实现

· High Performance Random R/W实现

· HBase Features: Scan Search实现

· HBase Features: High‐Availability实现

典型案例分析：结合一个500强实时数据采集系统的实例案例进行分析，详细分析HBase的开源架构应用及其使用场景与整体系统架构的结合

典型案例分析：通过HBase API完成一个复杂数据系统的操作过程

课堂演练：学员通过HBase API完成一个消息系统的HBase代码

·  

HBase 的表结构设计

· 依据于业务的HBase表结构设计的基本思想

· 基于星核结构的思想进行的HBase表结构设计

· 数据双写的设计

· 索引表的设计

· Rowkey的设计建议

· Rowkey非单一ID

· Rowkey为组合性

· 如何通过Rowkey覆盖查询场景

· 创建分词索引表

· 交互性应用消息的表结构设计

· 无结构化数据的表结构设计

· Column Family的设计

· 缓存表的设计

典型案例分析：结合一个大型互联网电商系统的实例案例进行分析，详细分析HBase的表结构设计

课堂演练：学员通过HBase API完成一个类似于滴滴打车的高并发系统的HBase表结构设计

HBase DB性能优化

· 基于HBase的ZooKeeper优化

· HBase的Region Server优化

· HBase的存储文件优化

· HBase的缓存优化

· HTablePool的设计

· HBase写速度优化的7个实践

· HBase读速度优化的6个实践

· HBase客户端的读写优化

· 如何调整业务访问HBase的方式，从而整体优化HBase的应用性能

· HBase的表结构设计优化

典型案例分析：结合一个500强实时数据采集系统的应用数据， 对HBase进行性能测试， 演示不同优化对于HBase性能的影响

HBase综合案例演练

一个大型的实例大数据项目：

具备掌握HBase大数据应用系统的完整 架构设计，具备项目的分析、开发、部署的全过程的能力，贯穿前面课程的主要内容，使大家熟悉一个完整大数据项目的分析、架构设计、开发、优化、部署的全过程。

  微信咨询

随时听讲课

聚焦技术实践