机器学习理论与实战培训课程

培训目标：

1 绪论：ML与AI的回顾和简介
2 标签学习
2.1 以分类、回归的思想建模（最小化回归误差和最小化信息熵）
2.2 以概率的框架建模（最大化数据似然）
2.3 集成学习方法
3 结构体建模
3.1 有向的概率图模型
3.2 无向概率图模型

1 绪论：ML与AI的回顾和简介	务实的AI与机器学习发展历史回顾（课程内容总体介绍） AI的潮起潮落：弱人工智能和强人工智能机器学习模型的构成：目标函数、优化、推理预测机器学习模型的分类：监督学习与非监督学习机器学习研究的新趋势：从标签学习到结构体学习模型
2 标签学习	介绍的机器学习模型包括：决策树、回归树、GBRT、Logistic Regression、集成方法
2.1 以分类、回归的思想建模（最小化回归误差和最小化信息熵）	决策树：信息熵回归树 Gradient Boosting Regression Tree：在工业界的广发应用与特征工程核心讲授思想：从优化的观点出发，讲解树生成的贪心算法
2.2 以概率的框架建模（最大化数据似然）	复习概率论基本知识：sum rule, product rule Logistic Regression：从二分类到多分类的Softmax 朴素贝叶斯核心讲授思想：讲授最大化似然的优化目标、梯度下降的优化方法、和模型预测方法
2.3 集成学习方法	Bagging、Random Forest、Adaboost 核心讲授思想：集成学习核心思想，特别介绍Adaboost算法在理论上的性能保障
3 结构体建模	主要讲授：概率图模型与EM算法
3.1 有向的概率图模型	有向概率图模型：基本知识（全概率公式的表达与模型条件独立假设的等价关系）经典有向概率图的具体模型：朴素贝叶斯的概率图模型矩阵分解的协同过滤方法：Probabilistic Matrix Factorization（顺带讲解协同过滤的其它方法）概率图模型设计的方法论引入隐变量的有向图概率图模型主题模型：PLSA 混合高斯模型（无监督聚类） EM算法细节：对引入隐向量的结构体的建模核心讲授思想：讲授有向的概率图模型的基本知识和经典模型实例；讲授引入隐变量到概率图模型的目的，和该情况下的优化方法（EM算法）
3.2 无向概率图模型	无向的概率图模型：基本知识（全概率公式的表达与模型条件独立假设的等价关系）经典无向概率图的具体模型：条件随机场（Viterbi算法）核心讲授思想：讲授无向的概率图模型的基本知识和经典模型实例
4 结构体预测	主要讲授：深度学习神经网络方法
4.1 神经网络基础	神经网络概述全连接前馈神经网络：模型优化的BP算法（随机梯度下降、梯度消失） PLSA的神经网络实现方法核心讲授思想：神经网络是对从输入到输出的计算流程可视化，同时便于反向求导等运算
4.2 Theano编程	编程介绍、调试、Theano背后的设计思想核心讲授思想：以Theano下的全连接前馈神经网络的实现为例，讲解Theano的神经网络编程
4.3 卷积神经网络	卷积神经网络原理：BP算法在卷积神经网络下的推导卷积神经网络应用：基本应用、图像虚幻化的应用
4.4 循环神经网络	循环神经网络原理：BP算法在循环神经网络下的推导循环神经网络基本应用：序列标注、语言建模循环神经网络高级应用：机器翻译、对话生成核心讲授思想：机器学习从特征工程迈向网络设计
5 前沿研究与实际案例
5.1 机器学习案例实战一	闲聊机器人构建：生成式模型的研究前沿对话的多机理建模自顶向下的树结构神经网络生成结构体预测的Adaboost方法（与对抗神经网络的结合）
5.2 机器学习案例实战二	线上行为在线下营销智能化中的建模实践
5.3 大数据应用案例实战	打击证券交易市场“老鼠仓”