小册描述
目录
- 1.1ChatGPT的由来
- 1.1.1什么是ChatGPT
- 1.1.2ChatGPT的发展历史
- 1.2ChatGPT的工作流程
- 1.3ChatGPT用例
- 1.3.1日常任务
- 1.3.2编写代码
- 1.3.3文本生成
- 1.3.4办公自动化
- 2.1.1自然语言处理的发展历程
- 2.1.2大型语言模型的发展历程
- 2.2ChatGPT同类产品
- 2.2.1BlenderBot 3.
- 2.2.2LaMDA
- 2.2.3Sparrow
- 2.3ChatGPT的工作原理
- 2.3.1预训练与提示学习阶段
- 2.3.2结果评价与奖励建模阶段
- 2.3.3强化学习与自我进化阶段
- 2.4算法细节
- 2.4.1标注数据
- 2.4.2建模思路
- 2.4.3存在的问题
- 2.5关于ChatGPT的思考
- 3.1Transformer结构
- 3.2基于Encoder结构的模型
- 3.2.1BERT
- 3.2.2RoBERTa
- 3.2.3ERNIE
- 3.2.4SpanBERT
- 3.2.5MacBERT
- 3.2.6ALBERT
- 3.2.7NeZha
- 3.2.8UniLM
- 3.2.9GLM
- 3.2.10ELECTRA
- 3.3基于Decoder结构的模型
- 3.3.1GPT
- 3.3.2CPM
- 3.3.3PaLM
- 3.3.4OPT
- 3.3.5Bloom
- 3.3.6LLaMA
- 3.4基于Encoder-Decoder结构的模型
- 3.4.1MASS
- 3.4.2BART
- 3.4.3T
- 3.5基于夸夸闲聊数据的UniLM模型实战
- 3.5.1项目简介
- 3.5.2数据预处理模块
- 3.5.3UniLM模型模块
- 3.5.4模型训练模块
- 3.5.5模型推理模块