小册描述
目录
- 6.1 什么是机器翻译
- 6.1.1 人类转导和翻译
- 6.1.2 机器转导和翻译
- 6.2 对WMT 数据集进行预处理
- 6.2.1 对原始数据进行预处理
- 6.2.2 完成剩余的预处理工作
- 6.3 用BLEU 评估机器翻译
- 6.3.1 几何评估
- 6.3.2 平滑技术
- 6.4 Google 翻译
- 6.5 使用Trax 进行翻译
- 6.5.1 安装Trax
- 6.5.2 创建原始Transformer模型
- 6.5.3 使用预训练权重初始化模型
- 6.5.4 对句子词元化
- 6.5.5 从Transformer解码
- 6.5.6 对翻译结果去词元化并展示
- 7.1 具有GPT-3 Transformer模型的超人类NLP
- 7.2 OpenAI GPT Transformer模型的架构
- 7.2.1 10 亿参数Transformer模型的兴起
- 7.2.2 Transformer 模型扩大的历史
- 7.2.3 从微调到零样本
- 7.2.4 解码器堆叠
- 7.2.5 GPT 引擎
- 7.3 使用GPT-2 进行文本补全
- 7.4 训练自定义GPT-2 语言模型
- 7.5 使用OpenAI GPT-3
- 7.5.1 在线运行NLP 任务
- 7.5.2 GPT-3 引擎入门
- 7.6 比较GPT-2 和GPT-3 的输出
- 7.7 微调GPT-3
- 7.7.1 准备数据
- 7.7.2 微调GPT-3
- 7.8 工业4.0 AI 专家所需的技能
- 8.1 文本到文本模型
- 8.1.1 文本到文本Transformer模型的兴起
- 8.1.2 使用前缀而不是任务格式
- 8.1.3 T5 模型
- 8.2 使用T5 进行文本摘要
- 8.2.1 Hugging Face
- 8.2.2 初始化T5-large模型
- 8.2.3 使用T5-large 进行文本摘要
- 8.3 使用GPT-3 进行文本摘要
- 9.1 对数据集进行预处理和词元分析器
- 9.1.1 元分析器最佳实践
- 9.1.2 Word2Vec 词元化
- 9.2 深入探讨场景4 和场景5
- 9.2.1 使用GPT-2 生成无条件样本
- 9.2.2 生成条件样本
- 9.2.3 控制词元化数据
- 9.3 GPT-3 的NLU 能力