正版
世界模型:从预测、规划到具身智能
- 书名
- 世界模型:从预测、规划到具身智能
- 作者
- 蒲源,牛雅哲 主编
- 出版社
- 电子工业出版社
- 出版时间
- 2026-10-01
- ISBN
- 9787121537103
- 货号
- 1204657192
- 品相
- 全新
- 分类
- 当代·工业
- 书名
- 世界模型:从预测、规划到具身智能
- 作者
- 蒲源,牛雅哲 主编
- 出版社
- 电子工业出版社
- 出版时间
- 2026-10-01
- ISBN
- 9787121537103
- 货号
- 1204657192
- 品相
- 全新
- 分类
- 当代·工业
作者简介▼
蒲源 上海人工智能实验室前沿探索中心研究员,本科毕业于哈尔滨工业大学,硕士毕业于中国科学技术大学。开源决策智能组织OpenDILab核心算法专家和架构师。在强化学习、蒙特卡洛树搜索、高性能计算等领域有长期深度科研积累。
牛雅哲 上海人工智能实验室前沿探索中心研究员,本科毕业于北京航空航天大学,博士毕业于香港中文大学。开源决策智能组织OpenDILab负责人。在强化学习、分布式系统、大模型训练基建等领域有多年研发经验,OpenDILab是上海人工智能实验室开源体系的重要组成部分,自 2021 年世界人工智能大会正式开源以来,团队主导研发了覆盖学术与工业级规模的决策 AI 平台体系。截至2026年8月,在GitHub中获得星标(Star)数量超3万,在人工智能顶级会议和期刊上发表30余篇论文,涵盖 DI-engine(通用决策智能引擎)、LightZero(MCTS 统一基准框架)、LightRFT(大模型强化微调框架)、GenerativeRL(生成式强化学习框架)、PPO×Family(决策智能公开课)等开源项目。OpenDILab 具备完整的决策智能训练与部署框架,包含应用生态层、算法抽象层、分布式管理层和分布式执行层,支持从单机到千级 CPU/GPU 联合调度的全尺度系统优化,致力于推进学术界最新、最全成果的融合贯通,以及产业界复杂问题的标准化解决。团队始终秉持为自主人工智能决策系统构建核心技术基础的愿景,助力AI技术向更高层次的通用智能时代迈进。
目录▼
第一部分认知基石
第1章绪论3
1.1智能的本质:在不确定性中进行预测与规划3
1.1.1智能的多维定义3
1.1.2不确定性:物理世界的本质特征4
1.1.3预测与规划:智能的双翼5
1.1.4人类智能中的预测与规划8
1.2世界模型:连接感知与行动的桥梁9
1.2.1世界模型的定义与功能9
1.2.2无模型与有模型方法的对比13
1.3技术演进路线15
1.3.1从无模型到有模型15
1.3.2从判别式到生成式16
1.3.3迈向基础世界模型18
1.4本章小结21
第2章学习与搜索的数学基础22
2.1序列决策问题与马尔可夫决策过程23
2.1.1马尔可夫决策过程与马尔可夫性质23
2.1.2策略、价值函数与贝尔曼方程24
2.1.3求解马尔可夫决策过程的经典方法25
2.2从分类到预测:策略与价值的函数近似26
2.2.1神经网络作为通用函数近似器26
2.2.2价值函数近似:从Q-Learning到DQN27
2.2.3策略函数近似:策略梯度方法28
2.2.4变分推断30
2.2.5从无模型到有模型强化学习32
2.3规划方法概览33
2.3.1模型预测控制33
2.3.2经典启发式搜索34
2.3.3基于梯度的轨迹优化35
2.3.4符号规划35
2.3.5规划方法的对比与选择36
2.4蒙特卡洛树搜索37
2.4.1规划范式37
2.4.2从Rollout算法到MCTS38
2.4.3MCTS四步法39
2.4.4UCB算法与UCT算法:探索与利用的平衡41
2.4.5MCTS的理论性质42
2.5学习与搜索的互补43
2.5.1系统1:神经网络的快速直觉43
2.5.2系统2:MCTS的深思熟虑44
2.5.3双系统协作:AlphaZero的成功范式44
2.5.4系统2的两种形式46
2.6实践案例:构建一个基于纯搜索的决策智能体46
2.6.1井字棋环境定义47
2.6.2MCTS节点与核心算法实现48
2.6.3案例小结与扩展思考53
2.7本章小结53
第二部分决策导向的世界模型
第3章神经网络引导的搜索57
3.1策略价值网络的融合架构58
3.1.1引入神经网络的必要性分析59
3.1.2双头结构59
3.1.3训练目标65
3.2探索与利用的平衡65
3.2.1MCTS中的探索与利用65
3.2.2PUCT:先验引导的探索机制66
3.2.3Dirichlet噪声与温度参数68
3.2.4在不同训练阶段的探索与利用平衡71
3.3自我博弈:从零开始的数据生成与策略迭代72
3.3.1为什么需要自我博弈72
3.3.2自我博弈的完整流程73
3.3.3自我博弈的理论洞察75
3.3.4收敛性分析76
3.4实践案例:以五子棋为例探究AlphaZero的实现78
3.4.1环境定义:五子棋78
3.4.2策略价值网络80
3.4.3基于PUCT的MCTS81
3.4.4自我博弈训练循环83
3.4.5运行示例与性能分析85
3.4.6KataGo与ELFOpenGo的启示与扩展探究86
3.5本章小结87
第4章基于隐状态空间的规划89
4.1从AlphaZero到通用智能90
4.1.1决策环境规则的局限性90
4.1.2有模型强化学习的演进路径91
4.2规划范式的演变:从生成式重建到隐状态空间预测92
4.2.1分离式学习与联合式学习92
4.2.2基于重建的表征学习94
4.2.3基于价值等价原理的表征学习96
4.3联合嵌入预测架构97
4.3.1JEPA家族的演进98
4.3.2I-JEPA、V-JEPA2与VL-JEPA100
4.4无需规则的隐状态空间规划:MuZero104
4.4.1隐状态空间模型构建105
4.4.2隐状态空间内的MCTS106
4.4.3端到端联合训练107
4.4.4基于重分析的样本效率提升107
4.5MuZero家族的演进108
4.6实践案例:MuZero网络架构的实现109
4.6.1环境设置与具体实现109
4.6.2隐状态空间内的MCTS实现114
4.6.3端到端的训练流程115
4.6.4训练动力学与表征特性分析116
4.7本章小结117
第5章基于隐状态空间规划的相关进展118
5.1连续动作空间中的采样与规划118
5.1.1SampledMuZero算法设计118
5.1.2基于采样的策略提升120
5.1.3树搜索与策略提升123
5.2随机与部分可观测环境的适应性124
5.2.1后状态:在搜索树中引入随机性124
5.2.2随机模型与离散码本126
5.2.3StochasticMuZero模型设计、训练与推断127
5.3高效模型学习与采样策略130
5.3.1EfficientZero与高效模型学习130
5.3.2MENTS与最大熵策略133
5.3.3GumbelMuZero与策略提升135
5.4树搜索时间成本优化136
5.4.1WU-UCT:并行化MCTS136
5.4.2V-MCTS:虚拟扩展与自适应终止规则140
5.4.3实践案例:SampledMuZero的实现141
5.5本章小结145
第三部分生成导向的世界模型
第6章基于循环状态空间的规划149
6.1动力学的概率表征:从循环神经网络到循环状态空间模型150
6.1.1确定性循环动力学的局限性150
6.1.2循环状态空间模型154
6.2在“梦境”中学习:基于想象的策略优化157
6.2.1视界困境与不确定性:从MVE到STEVE158
6.2.2分支回放策略与可控误差:MBPO159
6.2.3隐状态空间中的想象优化:Dreamer系列160
6.3架构演进:从Dreamer到通用世界模型163
6.3.1骨干网络革新:S4WM与结构化状态空间世界模型164
6.3.2多模态世界模型:语言作为未来预测信号166
6.3.3针对特定瓶颈的结构化改造167
6.4实践案例:Dreamer的实现169
6.5本章小结200
第7章基于Transformer的世界模型202
7.1从循环状态空间模型到Transformer202
7.1.1序列依赖建模202
7.1.2计算效率与记忆机制204
7.1.3扩展定律206
7.2基于离散隐状态空间的方法208
7.2.1IRIS:离散自回归想象209
7.2.2Δ-IRIS:上下文感知的词元化与高效建模213
7.3基于连续与混合隐状态空间的方法214
7.3.1STORM:随机性与确定性的混合建模215
7.3.2UniZero:统一的可扩展隐状态空间规划217
7.4实践案例:UniZero的实现220
7.4.1配置与启动220
7.4.2核心源码解析与结果分析221
7.5本章小结228
第8章基于扩散模型构建世界模型230
8.1生成模型基础230
8.1.1生成对抗网络231
8.1.2变分自编码器232
8.1.3归一化流模型234
8.1.4扩散模型235
8.1.5流匹配与扩散模型的统一视角238
8.1.6扩散模型为何适合构建世界模型241
8.2DiffusionTransformer242
8.2.1从U-Net到Transformer的范式转变242
8.2.2DiT架构的核心设计243
8.2.3扩散模型的扩展定律246
8.2.4StableDiffusion3与相关进展250
8.3视频生成模型252
8.3.1视频生成模型概览253
8.3.2视频扩散模型的数学基础254
8.3.3扩散模型的能力与挑战:以Sora为例256
8.3.4大规模视频生成的公开方案:MovieGen258
8.3.5基于自回归世界模型的VideoPoet259
8.4扩散模型与世界模型:以DIAMOND为例261
8.5视频生成模型与物理规律263
8.6实践案例:基于DiT的图像生成266
8.6.1实现过程与核心源码解析267
8.6.2模型训练与结果分析272
8.7本章小结274
第9章基于交互的世界模型276
9.1多模态统一表征277
9.1.1视觉词元化277
9.1.2时空表征的离散化278
9.1.3统一序列接口280
9.2多模态大模型的架构演变:从连接器范式到原生多模态281
9.3全模态模型285
9.3.1Qwen3-Omni架构286
9.3.2联合训练与高层世界模型288
9.4动作条件生成与控制289
9.4.1无监督动作发现290
9.4.2多模态可控生成292
9.5实践案例:Qwen3-Omni交互式多模态推理294
9.5.1交互式生成实现过程294
9.5.2官方仓库的结果展示299
9.6本章小结300
第四部分具身世界模型
第10章视觉-语言-动作模型与机器人控制305
10.1VLA范式:视觉、语言与动作统一建模305
10.1.1从专用策略到通用机器人策略306
10.1.2统一文本与动作生成309
10.1.3从语义泛化到动作推理311
10.2联合微调:保持语义能力并注入控制能力313
10.2.1异构数据的统一提示模板313
10.2.2联合微调带来的迁移与泛化316
10.2.3公开机器人数据集与跨形态数据生态316
10.3离散动作控制的其他进展318
10.3.1OpenVLA:双视觉编码器与参数高效适配318
10.3.2GR-2:通过视频预测辅助动作规划322
10.4实践案例:基于OpenVLA的指令跟随微调323
10.4.1动作量化与词元映射324
10.4.2模型构建与LoRA配置325
10.4.3加载量化模型与模型训练326
10.4.4闭环推理与控制328
10.5本章小结330
第11章通用具身策略332
11.1问题设定333
11.2基于扩散模型构建控制策略334
11.2.1基于扩散模型的条件动作生成与动作块建模334
11.2.2多峰动作分布建模336
11.2.3从分数匹配到流匹配337
11.3GenerativeRL:扩散策略的实践框架338
11.4π系列341
11.4.1π0:基于预训练视觉语言模型的连续控制341
11.4.2π05:开放世界泛化与动作表示扩展343
11.4.3π?06:从静态模仿走向经验回流345
11.5跨形态与跨任务的泛化能力构建345
11.5.1核心问题:共享什么,适配什么345
11.5.2代表性工作及更多相关进展346
11.6虚实结合:利用世界模型生成训练数据349
11.6.1先扩大视觉分布,再扩大物理分布349
11.6.2世界模型:从环境随机化到环境生成350
11.7本章小结352
第12章智能体强化学习353
12.1范式转变:从基于人类反馈的强化学习到智能体强化学习354
12.1.1基于人类反馈的强化学习:单步决策的马尔可夫决策过程354
12.1.2智能体强化学习:时间扩展的部分可观测马尔可夫决策过程355
12.1.3核心强化学习算法357
12.2世界模型视角下的智能体能力360
12.2.1规划360
12.2.2推理:从系统1到系统2364
12.2.3工具使用:扩展世界模型的边界367
12.2.4记忆:动态世界模型的状态维护369
12.2.5自我提升:世界模型的在线学习370
12.2.6感知371
12.3统一视角:世界模型、强化学习与搜索的三位一体373
12.3.1认知架构的核心公式373
12.3.2组件解析与协同机制373
12.3.3从AlphaZero到智能体强化学习375
12.3.4通往通用人工智能的统一路径376
12.4挑战与未来方向376
12.4.1因果性与泛化:从统计学习到因果理解376
12.4.2可信性与安全:从黑箱决策到可验证远见377
12.4.3规模化与效率:从测试时计算到自适应认知377
12.4.4具身化与物理锚定:从语言空间到物理世界378
12.4.5小结与延伸阅读378
12.5本章小结379
结语381
参考文献385
文摘▼
本书以“世界模型”为主线,介绍从决策智能基础到通用智能体的技术演进过程。全书内容沿两条脉络展开。第一条脉络追踪世界模型本身的发展:从依赖人工规则和模拟器的树搜索(如AlphaZero),到MuZero在隐状态空间中学习价值等价表示并结合树搜索规划,再到基于循环状态空间的预测模型(Dreamer系列)――世界模型从封闭的规则逐步演变为可以从数据中学习进化的环境动力学模型和系统。第二条脉络关注应用领域的拓展:从虚拟仿真环境走向真实物理世界,探讨自回归世界模型、交互式生成模型,以及视觉-语言-动作模型的技术原理与规模化扩展方式,分析这些方法如何突破模拟与现实的边界。两条脉络在智能体强化学习中交汇:世界模型不仅是环境的“模拟器”,也是支撑自主决策的核心组件。
本书兼顾理论推导与工程实现,精以详尽的代码示例与前沿研究解读,旨在帮助读者建立从数学理论到实践应用的完整知识体系,既适用于希望深人了解世界模型、智能体的读者,也适合作为高等院校计算机及相关专业的师生参考用书。





