小册描述
目录
- 1.1什么是大模型
- 1.1.1大模型的定义
- 1.1.2大模型的关键特征
- 1.1.3大模型是如何工作的
- 1.2当前流行的大模型
- 1.2.1BERT
- 1.2.2GPT3和 ChatGPT
- 1.2.3T5
- 1.3垂直领域大模型
- 1.4大模型的应用
- 1.4.1经典的NLP任务
- 1.4.2自由文本生成
- 1.4.3信息检索/神经语意搜索
- 1.4.4聊天机器人
- 2.1大模型语义检索简介
- 2.2语义检索的任务
- 2.3非对称语义检索方案概述
- 2.4组件
- 2.4.1文本嵌入器
- 2.4.2文档分块
- 2.4.3向量数据库
- 2.4.4Pinecone
- 2.4.5开源替代方案
- 2.4.6检索结果重排
- 2.4.7API
- 2.5完整方案
- 2.6闭源组件的成本
- 3.1提示词工程简介
- 3.2提示词工程
- 3.2.1LLM的对齐
- 3.2.2LLM提问
- 3.2.3小样本学习
- 3.2.4结构化输出
- 3.2.5人物角色提示词
- 3.3跨模型提示词工程
- 3.3.1ChatGPT
- 3.3.2Cohere
- 3.3.3开源提示词工程
- 3.4采用ChatGPT构建问答机器人
- 4.1定制化微调优化大模型简介
- 4.2迁移学习与微调入门
- 4.2.1微调过程的解释
- 4.2.2闭源预训练模型作为基础模型
- 4.3OpenAI 微调 API 概览
- 4.3.1GPT3微调 API
- 4.3.2案例学习: 亚马逊评论情感分类
- 4.3.3数据指南和最佳实践
- 4.4使用OpenAI CLI实现自定义数据微调
- 4.5设置 OpenAI CLI
- 4.6LLM微调实践
- 4.6.1采用量化指标评测大模型
- 4.6.2定性评估技术
- 4.6.3将微调的GPT3模型集成到应用程序中
- 4.6.4案例学习: 亚马逊评论分类