新書推薦：
《
人才基因（凝聚30年人才培育经验与智慧）
》
售價：HK$
103.4
《
深度学习详解
》
售價：HK$
114.8
《
李白传（20世纪文史学家李长之经典传记）
》
售價：HK$
45.8
《
津轻：日本无赖派文学代表太宰治自传性随笔集
》
售價：HK$
66.7
《
河流之齿
》
售價：HK$
59.8
《
新经济史革命：计量学派与新制度学派
》
售價：HK$
89.7
《
盗墓笔记之秦岭神树4
》
售價：HK$
57.3
《
战胜人格障碍
》
售價：HK$
66.7
|
| 編輯推薦： |
《强化学习》
"系统梳理强化学习的相关理论和知识
《统计强化学习：现代机器学习方法》
"日本人工智能领域知名学者杉山将教授所著，学习和研究强化学习技术的重要参考书籍。
|
| 內容簡介： |
《强化学习》
本书共有19章，分为六大部分，详细介绍了强化学习中各领域的基本理论和新进展，内容包括：MDP、动态规划、蒙特卡罗方法、批处理强化学习、TD学习、Q学习、策略迭代的小二乘法、迁移学习、贝叶斯强化学习、、一阶逻辑MDP、层次式强化学习、演化计算、预测性定义状态表示、去中心化的部分可观察MDP、博弈论和多学习器强化学习等内容，并阐述强化学习与心理和神经科学、游戏领域、机器人领域的关系和应用，后提出未来发展趋势及研究热点问题，有助于年轻的研究者了解整个强化学习领域，发现新的研究方向。本书适合作为高等院校机器学习相关课程的参考书，也可作为人工智能领域从业技术人员的参考用书。
《统计强化学习：现代机器学习方法》
本书从现代机器学习的视角介绍了统计强化学习的基本概念和实用算法。它涵盖了各种类型的强化学习方法，包括基于模型的方法和与模型无关的方法，策略迭代和策略搜索方法。
|
| 關於作者： |
《强化学习》
马可威宁（Marco Wiering）在荷兰格罗宁根大学人工智能系工作，他发表过各种强化学习主题的文章，研究领域包括强化学习、机器学习、深度学习、目标识别、文本学习，进化计算、机器人等。
马丁范奥特罗（Martijn van Otterlo）是荷兰奈梅亨大学认知人工智能小组的一员。主要研究领域是强化学习在环境中的知识表示。
《统计强化学习：现代机器学习方法》
杉山将（Masashi Sugiyama） 东京大学教授，研究兴趣为机器学习与数据挖掘的理论、算法和应用。2007年获得IBM学者奖，以表彰其在机器学习领域非平稳性方面做出的贡献。2011年获得日本信息处理协会颁发的Nagao特别研究员奖，以及日本文部科学省颁发的青年科学家奖，以表彰其对机器学习密度比范型的贡献。
|
| 目錄：
|
《强化学习》
译者序
序言
前言
作者清单
第一部分 绪论
第1章 强化学习和马尔可夫决策过程 2
1.1 简介 2
1.2 时序决策 3
1.2.1 接近时序决策 4
1.2.2 在线学习与离线学习 4
1.2.3 贡献分配 5
1.2.4 探索运用的平衡 5
1.2.5 反馈、目标和性能 5
1.2.6 表达 6
1.3 正式的框架 6
1.3.1 马尔可夫决策过程 7
1.3.2 策略 9
1.3.3 最优准则和减量 9
1.4 价值函数和贝尔曼方程 10
1.5 求解马尔可夫决策过程 12
1.6 动态规划：基于模型的解决方案 13
1.6.1 基本的动态规划算法 13
1.6.2 高效的动态规划算法 17
1.7 强化学习：无模型的解决方案 19
1.7.1 时序差分学习 20
1.7.2 蒙特卡罗方法 23
1.7.3 高效的探索和价值更新 24
1.8 总结 27
参考文献 27
第二部分 高效的解决方案框架
第2章 批处理强化学习 32
2.1 简介 32
2.2 批处理强化学习问题 33
2.2.1 批处理学习问题 33
2.2.2 增长批处理学习问题 34
2.3 批处理强化学习算法的基础 34
2.4 批处理强化学习算法 37
2.4.1 基于核的近似动态规划 37
2.4.2 拟合Q迭代 39
2.4.3 基于最小二乘的策略迭代 40
2.4.4 识别批处理算法 41
2.5 批处理强化学习理论 42
2.6 批处理强化学习的实现 43
2.6.1 神经拟合Q迭代 44
2.6.2 控制应用中的神经拟合Q迭代算法 45
2.6.3 面向多学习器的批处理强化学习 46
2.6.4 深度拟合Q迭代 48
2.6.5 应用／发展趋势 49
2.7 总结 50
参考文献 50
第3章 策略迭代的最小二乘法 53
3.1 简介 53
3.2 预备知识：经典策略迭代算法 54
3.3 近似策略评估的最小二乘法 55
3.3.1 主要原则和分类 55
3.3.2 线性情况下和矩阵形式的方程 57
3.3.3 无模型算法的实现 60
3.3.4 参考文献 62
3.4 策略迭代的在线最小二乘法 63
3.5 例子：car-on-the-hill 64
3.6 性能保障 66
3.6.1 渐近收敛性和保证 66
3.6.2 有限样本的保证 68
3.7 延伸阅读 73
参考文献 74
第4章 学习和使用模型 78
4.1 简介 78
4.2 什么是模型 79
4.3 规划 80
4.4 联合模型和规划 82
4.5 样本复杂度 84
4.6 分解域 86
4.7 探索 88
4.8 连续域 91
4.9 实证比较 93
4.10 扩展 95
4.11 总结 96
参考文献 97
第5章 强化学习中的迁移：框架和概观 101
5.1 简介 101
5.2 强化学习迁移的框架和分类 102
5.2.1 迁移框架 102
5.2.2 分类 104
5.3 固定状态动作空间中从源到目标迁移的方法 108
5.3.1 问题形式化 108
5.3.2 表示迁移 109
5.3.3 参数迁移 110
5.4 固定状态动作空间中跨多任务迁移的方法 111
5.4.1 问题形式化 111
5.4.2 实例迁移 111
5.4.3 表示迁移 112
5.4.4 参数迁移 113
5.5 不同状态动作空间中从源到目标任务迁移的方法 114
5.5.1 问题形式化 114
5.5.2 实例迁移 115
5.5.3 表示迁移 115
5.5.4 参数迁移 116
5.6 总结和开放性问题 116
参考文献 117
第6章 探索的样本复杂度边界 122
6.1 简介 122
6.2 预备知识 123
6.3 形式化探索效率 124
6.3.1 探索的样本复杂度和PAC-MDP 124
6.3.2 遗憾最小化 125
6.3.3 平均损失 127
6.3.4 贝叶斯框架 127
6.4 通用PAC-MDP定理 128
6.5 基于模型的方法 130
6.5.1 Rmax 130
6.5.2 Rmax的泛化 132
6.6 无模型方法 138
6.7 总结 141
参考文献 141
第三部分 建设性的表征方向
第7章 连续状态和动作空间中的强化学习 146
7.1 简介 146
7.1.1 连续域中的马尔可夫决策过程 147
7.1.2 求解连续MDP的方法 148
7.2 函数逼近 149
7.2.1 线性函数逼近 150
7.2.2 非线性函数逼近 153
7.2.3 更新参数 154
7.3 近似强化学习 157
7.3.1 数值逼近 157
7.3.2 策略逼近 162
7.4 双极车杆实验 168
7.5 总结 171
参考文献 171
第8章 综述：求解一阶逻辑马尔可夫决策过程 179
8.1 关系世界中的顺序决策简介 179
8.1.1 马尔可夫决策过程：代表性和可扩展性 180
8.1.2 简短的历史和与其他领域的联系 181
8.2 用面向对象和关系扩展马尔可夫决策过程 183
8.2.1 关系表示与逻辑归纳 183
8.2.2 关系型马尔可夫决策过程 184
8.2.3 抽象问题和求解 184
8.3 基于模型的解决方案 186
8.3.1 贝尔曼备份的结构 186
8.3.2 确切的基于模型的算法 187
8.3.3 基于近似模型的算法 190
8.4 无模型的解决方案 192
8.4.1 固定泛化的价值函数学习 192
8.4.2 带自适应泛化的价值函数 193
8.4.3 基于策略的求解技巧 196
8.5 模型、层级、偏置 198
8.6 现在的发展 201
8.7 总结和展望 203
参考文献 204
第9章 层次式技术 213
9.1 简介 213
9.2 背景 215
9.2.1 抽象动作 215
9.2.2 半马尔可夫决策问题 216
9.2.3 结构 217
9.2.4 状态抽象 218
9.2.5 价值函数分解 219
9.2.6 优化 220
9.3 层次式强化学习技术 220
9.3.1 选项 221
9.3.2 HAMQ学习 222
9.3.3 MAXQ 223
9.4 学习结构 226
9.5 相关工作和当前研究 228
9.6 总结 230
参考文献 230
第10章 针对强化学习的演化计算 235
10.1 简介 235
10.2 神经演化 237
10.3 TWEANN 239
10.3.1 挑战 239
10.3.2 NEAT 240
10.4 混合方法 241
10.4.1 演化函数近似 242
10.4.2 XCS 243
10.5 协同演化 245
10.5.1 合作式协同演化 245
10.5.2 竞争式协同演化 246
10.6 生成和发展系统 247
10.7 在线方法 249
10.7.1 基于模型的技术 249
10.7.2 在线演化计算 250
10.8 总结 251
参考文献 251
第四部分 概率模型
第11章 贝叶斯强化学习 260
11.1 简介 260
11.2 无模型贝叶斯强化学习 261
11.2.1 基于价值函数的算法 261
11.2.2 策略梯度算法 264
11.2.3 演员评论家算法 266
11.3 基于模型的贝叶斯强化学习 268
11.3.1 由POMDP表述的贝叶斯强化学习 268
11.3.2 通过动态规划的贝叶斯强化学习 269
11.3.3 近似在线算法 271
11.3.4 贝叶斯多任务强化学习 272
11.3.5 集成先验知识 273
11.4 有限样本分析和复杂度问题 274
11.5 总结和讨论 275
参考文献 275
第12章 部分可观察的马尔可夫决策过程 279
12.1 简介 279
12.2 部分可观察环境中的决策 280
12.2.1 POMDP模型 280
12.2.2 连续和结构化的表达 281
12.2.3 优化决策记忆 282
12.2.4 策略和价值函数 284
12.3 基于模型的技术 285
12.3.1 基于MDP的启发式解决方案 285
12.3.2 POMDP的值迭代 286
12.3.3 确切的值迭代 288
12.3.4 基于点的值迭代方法 290
12.3.5 其他近似求解方法 291
12.4 无先验模型的决策 292
12.4.1 无记忆技术 292
12.4.2 学习内部记忆 292
12.5 近期研究趋势 294
参考文献 295
第13章 预测性定义状态表示 300
13.1 简介 300
13.1.1 状态是什么 301
13.1.2 哪一个状态表示 301
13.1.3 为什么使用预测性定义模型 302
13.2 PSR 303
13.2.1 历史及测试 303
13.2.2 测试的预测 304
13.2.3 系统动态向量 304
13.2.4 系统动态矩阵 305
13.2.5 充分的数据集 305
13.2.6 状态 306
13.2.7 更新状态 306
13.2.8 线性PSR 307
13.2.9 线性PSR与POMDP的关联 307
13.2.10 线性PSR的理论结果 308
13.3 PSR模型学习 308
13.3.1 发现问题 308
13.3.2 学习问题 309
13.3.3 估计系统动态矩阵 309
13.4 规划与PSR 309
13.5 PSR的扩展 310
13.6 其他具有预测性定义状态的模型 311
13.6.1 可观测算子模型 311
13.6.2 预测线性高斯模型 312
13.6.3 时序差分网络 312
13.6.4 分集自动机 312
13.6.5 指数族PSR 313
13.6.6 转换PSR 313
13.7 总结 313
参考文献 314
第14章 博弈论和多学习器强化学习 317
14.1 简介 317
14.2 重复博弈 319
14.2.1 博弈论 319
14.2.2 重复博弈中的强化学习 322
14.3 顺序博弈 325
14.3.1 马尔可夫博弈 326
14.3.2 马尔可夫博弈中的强化学习 327
14.4 在多学习器系统中的稀疏交互 330
14.4.1 多等级学习 330
14.4.2 协调学习与稀疏交互 331
14.5 延伸阅读 334
参考文献 334
第15章 去中心化的部分可观察马尔可夫决策过程 338
15.1 简介 338
15.2 Dec-POMDP框架 339
15.3 历史状态与策略 340
15.3.1 历史状态 341
15.3.2 策略 341
15.3.3 策略的结构 342
15.3.4 联合策略的质量 343
15.4 有限域的Dec-POMDP的解决方案 344
15.4.1 穷举搜索和Dec-POMDP复杂性 344
15.4.2 交替最大化 344
15.4.3 Dec-POMDP的最优价值函数 345
15.4.4 前推法：启发式搜索 348
15.4.5 后推法：动态规划 350
15.4.6 其他有限域的方法 353
15.5 延伸阅读 353
15.5.1 一般化和特殊问题 353
15.5.2 有限Dec-POMDP 354
15.5.3 强化学习 355
15.5.4 通信 356
参考文献 356
第五部分 其他应用领域
第16章 强化学习与心理和神经科学之间的关系 364
16.1 简介 364
16.2 经典（巴甫洛夫）条件反射 365
16.2.1 行为 365
16.2.2 理论 366
16.2.3 小结和其他注意事项 367
16.3 操作性（工具性）条件反射 368
16.3.1 动作 368
16.3.2 理论 369
16.3.3 基于模型的控制与无模型的控制 370
16.3.4 小结和其他注意事项 371
16.4 多巴胺 371
16.4.1 多巴胺作为奖励预测误差 372
16.4.2 多巴胺的强化信号的作用 372
16.4.3 小结和其他注意事项 373
16.5 基底神经节 373
16.5.1 基底神经节概述 374
16.5.2 纹状体的神经活动 374
16.5.3 皮质基神经节丘脑循环 375
16.5.4 小结和其他注意事项 377
16.6 总结 378
参考文献 378
第17章 游戏领域的强化学习 387
17.1 简介 387
17.1.1 目标和结构 387
17.1.2 范围 388
《统计强化学习：现代机器学习方法》
译者序
序
前言
作者简介
第一部分 简介
第1章 强化学习介绍3
1.1 强化学习3
1.2 数学形式化8
1.3 本书结构11
1.3.1 模型无关策略迭代11
1.3.2 模型无关策略搜索12
1.3.3 基于模型的强化学习13
第二部分 模型无关策略迭代
第2章 基于值函数近似的策略迭代17
2.1 值函数17
2.1.1 状态值函数17
2.1.2 状态-动作值函数18
2.2 最小二乘策略迭代19
2.2.1 瞬时奖赏回归20
2.2.2 算法21
2.2.3 正则化23
2.2.4 模型选择25
2.3 本章小结26
第3章 值函数近似中的基函数设计27
3.1 图中的高斯核27
3.1.1 MDP-诱导图27
3.1.2 通用高斯核28
3.1.3 测地线高斯核29
3.1.4 扩展到连续状态空间30
3.2 图解说明30
3.2.1 配置30
3.2.2 测地线高斯核31
3.2.3 通用高斯核33
3.2.4 图拉普拉斯特征基33
3.2.5 扩散小波35
3.3 数值示例35
3.3.1 机器人手臂控制35
3.3.2 机器人导航39
3.4 本章小结46
第4章 策略迭代中的样本重用47
4.1 形式化47
4.2 离策略值函数近似48
4.2.1 片段重要性加权49
4.2.2 每次决策的重要性加权50
4.2.3 自适应的每次决策重要性加权50
4.2.4 图解说明51
4.3 展平参数的自动选择54
4.3.1 重要性加权交叉验证54
4.3.2 图解说明55
4.4 样本重用策略迭代56
4.4.1 算法56
4.4.2 图解说明56
4.5 数值示例58
4.5.1 倒立摆58
4.5.2 小车爬山61
4.6 本章小结64
第5章 策略迭代中的主动学习65
5.1 主动学习的高效探索65
5.1.1 问题配置65
5.1.2 泛化误差的分解66
5.1.3 估计泛化误差67
5.1.4 设计采样策略68
5.1.5 图解说明69
5.2 主动策略迭代72
5.2.1 具有主动学习的样本重用策略迭代72
5.2.2 图解说明73
5.3 数值示例74
5.4 本章小结76
第6章 鲁棒策略迭代79
6.1 策略迭代中的鲁棒性和可靠性79
6.1.1 鲁棒性79
6.1.2 可靠性80
6.2 最小绝对策略迭代81
6.2.1 算法81
6.2.2 图解说明81
6.2.3 性质82
6.3 数值示例83
6.4 可能的拓展88
6.4.1 Huber损失88
6.4.2 pinball损失89
6.4.3 deadzone-linear损失90
6.4.4 切比雪夫逼近90
6.4.5 条件风险值91
6.5 本章小结92
第三部分 模型无关策略搜索
第7章 梯度上升的直接策略搜索95
7.1 形式化95
7.2 梯度方法96
7.2.1 梯度上升96
7.2.2 方差约简的基线减法98
7.2.3 梯度估计量的方差分析99
7.3 自然梯度法101
7.3.1 自然梯度上升101
7.3.2 图解说明103
7.4 计算机图形中的应用：艺术家智能体104
7.4.1 东方山水画绘画104
7.4.2 状态、动作和瞬时奖赏的设计106
7.4.3 实验结果111
7.5 本章小结113
第8章 期望最大化的直接策略搜索117
8.1 期望最大化方法117
8.2 样本重用119
8.2.1 片段重要性加权119
8.2.2 每次决策的重要性加权122
8.2.3 自适应的每次决策重要性加权123
8.2.4 展平参数的自动选择123
8.2.5 样本重用的加权奖赏回归125
8.3 数值示例125
8.4 本章小结131
第9章 策略优先搜索133
9.1 形式化133
9.2 基于参数探索的策略梯度134
9.2.1 策略优先的梯度上升134
9.2.2 方差约简的基线减法135
9.2.3 梯度估计量的方差分析136
9.2.4 数值示例138
9.3 策略优先搜索中的样本重用142
9.3.1 重要性加权142
9.3.2 基线减法的方差约简144
9.3.3 数值示例146
9.4 本章小结153
第四部分 基于模型的强化学习
第10章 转移模型估计157
10.1 条件密度估计157
10.1.1 基于回归的方法157
10.1.2 -邻域核密度估计158
10.1.3 最小二乘条件密度估计159
10.2 基于模型的强化学习161
10.3 数值示例162
10.3.1 连续型链条游走162
10.3.2 人形机器人控制167
10.4 本章小结171
第11章 转移模型估计的维度约简173
11.1 充分维度约简173
11.2 平方损失条件熵173
11.2.1 条件独立174
11.2.2 利用SCE进行维度约简175
11.2.3 SCE与平方损失互信息的关系176
11.3 数值示例176
11.3.1 人工和标准数据集176
11.3.2 人形机器人179
11.4 本章小结182
参考文献183
|
| 內容試閱：
|
《强化学习》
强化学习在越来越多的实际问题中取得了突破性成果。基于强化学习的AlphaGo围棋程序连挫人类围棋冠军，赚足了眼球，而随后出现的新一代AlphaGo Zero则以100：0大败AlphaGO。AlphaGo是谷歌旗下DeepMind公司研发的人工智能下棋软件，主要由策略网络（Policy Network）、快速走子（Fast Rollout）、价值网络（Value Network）三个部分组成，并通过蒙特卡罗树搜索（Monte Carlo Tree Search）把三个部分有机连接，形成一个完整的系统。升级版的AlphaGo Zero最大限度地降低了人类棋谱的先验知识，完全通过强化学习的自我对弈提升棋力，青出于蓝而胜于蓝。现在强化学习的主攻热点转向了游戏以及机器人领域，强化学习在解决更多实际问题方面大有可为，同时也激发起强化学习研究领域的活力和热度。
强化学习是机器学习中与监督学习以及无监督学习平行的一种类型，它是（自主）智能体完成与外界环境交互任务的重要手段，通过最大化奖励函数的学习方法获取从环境状态到行为的映射函数。强化学习成为一个独立研究分支已有超过50年的历史，而20世纪80年代提出的马尔可夫决策过程（Markov Decision Process，MDP）构成了现代强化学习的基本描述框架。之后强化学习在理论、算法、应用上取得了长足的发展。对于真正想要在强化学习领域进行创新研究的学者而言，需要扎扎实实地研读强化学习方面的经典书籍和
文献。
本书的编著者开篇就提出了目标：写一本值得向同学、同事及领域研究者推荐的讨论强化学习最新技术的好书。本书的特色鲜明，值得一读。第一是主题新颖。本书主要聚焦于发生在2000年到2012年间的最新发展。我们可以从第二～四部分看到发生在强化学习领域的最新动向和最新技术。撰写本书的作者以年轻学者为主，这也从一个侧面印证了本书的新颖度。第二是体例完整、涵盖的研究领域广泛。本书包含19章，其中第1章对强化学习的基本算法和框架做了全面的介绍，之后的17章对常规解决框架、构建性问题表示、概率建模手段以及经典应用领域进行详细评述，而最后一章则纵览全书进行讨论和发散。第三是组织精巧。内容从前到后具有一定的递增性，但又保持了各部分的相对独立性，方便读者根据兴趣选读相应篇章。最后，本书时刻围绕前沿性和开放性问题。作者在大胆发表自己的真知烁见的同时，不忘客观地审视当前的不足。这是本书不同于市面上很多书籍的重要特质。所以本书可以让你迅速跟上强化学习的发展现状。
本书的翻译工作由中国科学院计算机网络信息中心的赵地研究员发起并组建翻译团队。其中赵地研究员负责第1、2和8章的翻译工作，中国科学院大学的刘莹教授负责前言、第3～7章和第12章的翻译任务，清华大学的邓仰东教授承担第9～11章的翻译工作，湘潭大学的欧阳建权教授主持第13～16章的翻译，最后第17～19章的翻译由哈尔滨工业大学的苏统华教授完成。除了每章的负责人，还有很多研究生参与了部分翻译工作，特此向他们表示感谢。
本书几乎涵盖了经典强化学习的全部内容，甚至包括作为深度强化学习萌芽的重要成果DFQ。但毕竟因时间问题未能及时顾及最近几年才发展出来的更多深度强化学习技术。我们的翻译团队也期待能在未来再次合作，推出围绕深度强化学习的专著。
由于本书涉及的广度和深度较大，加上译者水平有限，译文中难免存在一些问题，真诚地希望读者朋友们批评指正。
最后要向机械工业出版社的朱劼编辑和唐晓琳编辑表示深深的谢意，她们在流程管理和文字编辑上提供的帮助对于本书的顺利出版至关重要。
2018年4月
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
