小册描述
目录
- 1.1 Transformer 的生态系统
- 1.1.1 工业4.0
- 1.1.2 基础模型
- 1.2 使用Transformer 优化NLP模型
- 1.3 我们应该使用哪些资源
- 1.3.1 Transformer 4.0 无缝API 的崛起
- 1.3.2 选择即用型API驱动库
- 1.3.3 选择Transformer模型
- 1.3.4 工业4.0 AI 专家的技能要求
- 2.1 Transformer 的崛起:注意力就是一切
- 2.1.1 编码器堆叠
- 2.1.2 解码器堆叠
- 2.2 训练和性能
- 2.3 Hugging Face 的Transformer模型
- 3.1 BERT 的架构
- 3.2 微调BERT
- 3.2.1 选择硬件
- 3.2.2 安装使用BERT 模型必需的Hugging Face PyTorch接口
- 3.2.3 导入模块
- 3.2.4 指定Torch 使用CUDA
- 3.2.5 加载数据集
- 3.2.6 创建句子、标注列表以及添加[CLS]和[SEP]词元
- 3.2.7 激活BERT 词元分析器
- 3.2.8 处理数据
- 3.2.9 防止模型对填充词元进行注意力计算
- 3.2.10 将数据拆分为训练集和验证集
- 3.2.11 将所有数据转换为torch张量
- 3.2.12 选择批量大小并创建迭代器
- 3.2.13 BERT 模型配置
- 3.2.14 加载Hugging Face BERTuncased base 模型
- 3.2.15 优化器分组参数
- 3.2.16 训练循环的超参数
- 3.2.17 训练循环
- 3.2.18 对训练进行评估
- 3.2.19 使用测试数据集进行预测和评估
- 3.2.20 使用马修斯相关系数进行评估
- 3.2.21 各批量的分数
- 3.2.22 整个数据集的马修斯评估
- 4.1 训练词元分析器和预训练Transformer
- 4.2 从头开始构建Kantai BERT
- 4.2.1 步骤1:加载数据集
- 4.2.2 步骤2:安装HuggingFace transformers 库
- 4.2.3 步骤3:训练词元分析器
- 4.2.4 步骤4:将词元化结果保存到磁盘上
- 4.2.5 步骤5:加载预训练词元分析器文件
- 4.2.6 步骤6:检查训练用机器的配置:GPU 和CUDA
- 4.2.7 步骤7:定义模型的配置
- 4.2.8 步骤8:为Transformer模型加载词元分析器
- 4.2.9 步骤9:从头开始初始化模型
- 4.2.10 步骤10:构建数据集
- 4.2.11 步骤11:定义数据整理器
- 4.2.12 步骤12:初始化训练器
- 4.2.13 步骤13:预训练模型
- 4.2.14 步骤14:将最终模型(词元分析器和配置)保存到磁盘
- 4.2.15 步骤15:使用FillMask-Pipeline 进行语言建模
- 5.1 Transformer 的转导与感知
- 5.1.1 人类智能栈
- 5.1.2 机器智能栈
- 5.2 Transformer 性能与人类基准
- 5.2.1 评估模型性能的度量指标
- 5.2.2 基准任务和数据集
- 5.2.3 定义SuperGLUE 基准任务
- 5.3 执行下游任务
- 5.3.1 语言学可接受性语料库(CoLA)
- 5.3.2 斯坦福情绪树库(SST-2)
- 5.3.3 Microsoft 研究释义语料库(MRPC)
- 5.3.4 Winograd 模式