小册描述
目录
- 1. 1 深度学习的前世今生
- 1. 2 模型复杂度的提升
- 1. 3 深度学习的名人轶事
- 2. 1 矩阵的运算
- 2. 2 单位矩阵与逆矩阵
- 2. 3 线性相关、 生成子空间和范数
- 2. 4 一些特殊类型的矩阵
- 2. 5 特征分解
- 2. 6 奇异值分解
- 2. 7 Moore-Penrose 伪逆
- 2. 8 迹运算
- 2. 9 行列式
- 2. 10 例子: 主成分分析
- 3. 1 为什么要使用概率
- 3. 2 随机变量
- 3. 3 概率分布
- 3. 4 边缘概率
- 3. 5 条件概率
- 3. 6 条件概率的链式法则
- 3. 7 条件独立性
- 3. 8 期望、 方差和协方差
- 3. 9 常用概率分布
- 3. 10 常用函数及性质
- 3. 11 贝叶斯规则
- 3. 12 信息论中的交叉熵
- 3. 13 结构化概率模型
- 4. 1 上溢和下溢
- 4. 2 病态条件
- 4. 3 基于梯度的优化方法
- 4. 4 约束优化
- 4. 5 实例: 线性最小二乘
- 5. 1 什么是机器学习算法
- 5. 2 模型性能的度量
- 5. 3 过拟合与欠拟合
- 5. 4 超参数和交叉验证
- 5. 5 最大似然估计
- 5. 6 什么是随机梯度下降
- 5. 7 贝叶斯统计
- 5. 8 监督学习算法
- 5. 9 无监督学习算法
- 5. 10 促使深度学习发展的挑战
- 6. 1 什么是 “前馈”
- 6. 2 隐藏层
- 6. 3 输出单元
- 6. 4 万能近似性质
- 6. 5 反向传播
- 7. 1 参数范数惩罚
- 7. 2 数据集增强
- 7. 3 噪声鲁棒性
- 7. 4 半监督学习
- 7. 5 多任务学习
- 7. 6 提前终止
- 7. 7 参数绑定和参数共享
- 7. 8 稀疏表示
- 7. 9 Bagging 和其他集成方法
- 7. 10 Dropout
- 7. 11 对抗训练