正版
大型语言模型与RAG技术深度解析套装(套装共2册)
- 书名
- 大型语言模型与RAG技术深度解析套装(套装共2册)
- 作者
- 汪鹏 谷清水 卞龙鹏 刘聪 沈盛宇 李特丽 杜振东 著
- 出版社
- 机械工业出版社
- 出版时间
- 2025-02-01
- ISBN
- 2200059000563
- 货号
- 1203562590
- 品相
- 全新
- 分类
- 当代·工业
- 书名
- 大型语言模型与RAG技术深度解析套装(套装共2册)
- 作者
- 汪鹏 谷清水 卞龙鹏 刘聪 沈盛宇 李特丽 杜振东 著
- 出版社
- 机械工业出版社
- 出版时间
- 2025-02-01
- ISBN
- 2200059000563
- 货号
- 1203562590
- 品相
- 全新
- 分类
- 当代·工业
作者简介▼
刘聪
资深NLP技术专家和AI技术专家,南京云问科技首席算法架构师,MLNLP(机器学习算法与自然语言处理)社区学术委员。主攻文本向量表征、问答系统、AIGC等技术方向,是大模型领域的先驱者和布道者。开源了首个中文Unilm预训练模型、中文GPT-2、夸夸闲聊机器人(ChatBot)、大模型微调等项目。作为主要负责人,在多项自然语言处理比赛中获得前三名,在中文核心期刊和SCI发表多篇论文,有多项发明专利。知乎ID“刘聪NLP”,拥有公众号“NLP工作站”,撰写书籍《ChatGPT原理与实战》。
沈盛宇
资深算法工程师,南京云问网络技术有限公司算法组负责人。擅长结合用户业务场景,针对性设计知识图谱、问答、检索、多模态、AIGC等的相关算法和落地方案。在结合客户现有产品体系,推动数据中台和算法平台结合,从而提升服务质量方面,有丰富实战经验。曾获得多项国家专利,参与制定和撰写《IDP术语标准》《人工智能-智能助理能力等级评估标准》《人工智能标准化与开源研究报告》《ChatGPT原理与实战》等多项国家级人工智能标准和书籍。
李特丽
资深大模型应用专家,LangChain中文社区联合创始人,开发LangChain等多个大模型开发框架的中文网,帮助中国开发者快速学习AI开发框架,撰写书籍《LangChain入门指南》。
杜振东
资深NLP技术专家和AI技术专家,南京云问科技NLP研究院院长,国家人工智能标准委专家、AIIA 人工智能技术专家、CCF智能机器人专业组首批委员。拥有10年机器学习与文本挖掘经验,8年中文自然语言处理实战经验,参与制定6项国家人工智能总体组标准,编写书籍《会话式AI》《人工智能实践录》《ChatGPT原理与实战》等。
汪鹏
资深NLP技术专家和AI技术专家,拥有多年NLP落地经验。擅长结合用户场景,针对性地设计图谱、问答、检索、多模态、AIGC等相关的算法和落地方案。在Kaggle获得多枚奖牌,等级master。拥有公众号“NLP前沿”。
谷清水
毕业于清华大学,有国内多家大厂工作经历,7年深度学习项目开发经验。在KDD-CUP等机器学习竞赛中多次获奖,持有多项发明专利。知乎ID:“战士金”。
卞龙鹏
某上市公司资深AI算法工程师,多年互联网一线工作经验,10年机器学习与数据挖掘经验。持多项发明专利,发表多篇SCI文章,主攻机器视觉、模式识别、自然语言处理。
目录▼
《大模型RAG实战:RAG原理、应用与系统构建》
前 言
第一部分 基础
第1章 RAG与大模型应用 2
1.1 大模型应用的方向:RAG 2
1.1.1 什么是RAG 2
1.1.2 RAG与模型微调的对比 5
1.1.3 RAG带来的范式改变 5
1.2 为什么需要RAG 6
1.2.1 大模型的知识更新问题 6
1.2.2 大模型生成结果的不可解释性问题 8
1.2.3 大模型的数据泄露问题 8
1.2.4 大模型的训练成本问题 9
1.3 RAG的工作流程 9
1.3.1 数据准备 10
1.3.2 数据召回 11
1.3.3 答案生成 12
1.4 RAG的优缺点 12
1.4.1 RAG的优点 12
1.4.2 RAG的缺点 13
1.5 RAG的使用场景 14
1.6 RAG面临的挑战 16
1.6.1 LLM的伸缩法则与知识库
大小的关系 16
1.6.2 相似度搜索的性能问题 17
1.7 本章小结 19
第2章 语言模型基础 20
2.1 Transformer 20
2.1.1 词嵌入 24
2.1.2 编码器 35
2.1.3 解码器 39
2.1.4 解码头 41
2.2 自动编码器 41
2.2.1 ELMo 42
2.2.2 BERT 43
2.3 自回归模型 47
2.3.1 GPT 48
2.3.2 LLaMA 53
2.4 本章小结 56
第3章 文本召回模型 58
3.1 文本召回模型基础 58
3.2 稠密向量检索模型 61
3.2.1 SimCSE 61
3.2.2 SBERT 63
3.2.3 CoSENT 64
3.2.4 WhiteBERT 65
3.2.5 SGPT 66
3.3 稀疏向量检索模型 67
3.3.1 朴素词袋模型 67
3.3.2 TF-IDF 68
3.3.3 BM25 70
3.4 重排序模型 71
3.5 本章小结 72
第二部分 原理
第4章 RAG核心技术与优化方法 74
4.1 提示词工程 74
4.1.1 提示词工程基础 74
4.1.2 RAG场景下的提示词
设计 81
4.2 文本切块 83
4.2.1 固定大小文本切块 84
4.2.2 基于NLTK的文本切块 85
4.2.3 特殊格式文本切块 85
4.2.4 基于深度学习模型的文本
切块 86
4.3 向量数据库 87
4.3.1 Faiss 88
4.3.2 Milvus 92
4.3.3 Weaviate 93
4.3.4 Chroma 93
4.3.5 Qdrant 93
4.4 召回环节优化 94
4.4.1 短文本全局信息增强 94
4.4.2 召回内容上下文扩充 95
4.4.3 文本多向量表示 96
4.4.4 查询内容优化 98
4.4.5 召回文本重排序 101
4.4.6 多检索器融合 102
4.4.7 结合元数据召回 104
4.5 效果评估 107
4.5.1 召回环节评估 107
4.5.2 模型回答评估 109
4.6 LLM能力优化 115
4.6.1 LLM微调 115
4.6.2 FLARE 117
4.6.3 Self-RAG 119
4.7 本章小结 120
第5章 RAG范式演变 121
5.1 基础RAG系统 121
5.1.1 基础流程 121
5.1.2 存在的问题 122
5.2 先进RAG系统 125
5.3 大模型主导的RAG系统 127
5.4 多模态RAG系统 131
5.5 本章小结 135
第6章 RAG系统训练 136
6.1 RAG系统的训练难点 136
6.2 训练方法 138
6.3 独立训练 138
6.4 序贯训练 139
6.4.1 冻结召回模块 140
6.4.2 冻结生成模块 141
6.5 联合训练 143
6.5.1 异步更新索引 143
6.5.2 批近似 147
6.6 本章小结 149
第三部分 实战
第7章 基于LangChain实现RAG
应用 152
7.1 LangChain基础模块 152
7.2 基于LangChain实现RAG 156
7.3 基于Streamlit搭建一个ChatPDF可视化应用 158
7.4 本章小结 161
第8章 RAG系统构建与微调
实战 162
8.1 向量模型构建 162
8.1.1 模型选型 162
8.1.2 训练数据构造 163
8.1.3 向量模型训练 166
8.1.4 向量模型联合训练 167
8.2 大模型指令微调 175
8.3 复杂问题处理 179
8.3.1 微调数据构造 180
8.3.2 微调数据处理 194
8.3.3 复杂问题推理处理 200
8.4 本章小结 203
《大型语言模型实战指南:应用实践与场景落地》
前言
第1章 大型语言模型基础?1
1.1 Transformer基础?1
1.2 常用的大型语言模型?4
1.2.1 GPT系列模型?4
1.2.2 OPT模型?11
1.2.3 Bloom模型?12
1.2.4 GLM系列模型?12
1.2.5 LLaMA系列模型?14
1.2.6 Baichuan系列模型?16
1.2.7 Qwen系列模型?18
1.2.8 Skywork模型?19
1.3 领域大型语言模型
文摘▼
《大模型RAG实战:RAG原理、应用与系统构建》
这是一本全面讲解RAG技术原理、实战应用与系统构建的著作。作者结合自身丰富的实战经验,详细阐述了RAG的基础原理、核心组件、优缺点以及使用场景,同时探讨了RAG在大模型应用开发中的变革与潜力。书中不仅揭示了RAG技术背后的数学原理,还通过丰富的案例与代码实现,引导读者从理论走向实践,轻松掌握RAG系统的构建与优化。无论你是深度学习初学者,还是希望提升RAG应用技能的开发者,本书都将为你提供宝贵的参考与指导。
《大型语言模型实战指南:应用实践与场景落地》
这是一本系统梳理并深入解析大模型的基础理论、算法实现、数据构造流程、模型微调方法、偏好对齐方法的著作,也是一本能手把手教你构建角色扮演、信息抽取、知识问答、AI Agent等各种强大的应用程序的著作。本书得到了零一万物、面壁智能、通义千问、百姓AI、澜舟科技等国内主流大模型团队的负责人的高度评价和鼎力推荐。





