课程进度 24% · 第4/14章第4/14章 · 标签 1/3
— 1 —
蒙特卡洛方法概述
基本概念
蒙特卡洛方法是一类通过采样和统计来解决问题的方法。在强化学习中，蒙特卡洛方法通过采样完整的状态-动作序列来学习价值函数和最优策略，不需要环境模型的完整知识。
核心思想：通过大量随机采样和实际经验来估计期望值和概率分布。
主要方法
- 首次访问MC方法：只考虑每个回合中状态或状态-动作对的首次出现
- 每次访问MC方法：考虑每个回合中状态或状态-动作对的所有出现
- 探索起始MC方法：通过随机选择初始状态-动作对来保证探索
- 离线MC控制：基于完整回合数据进行策略评估和改进
— 2 —
算法流程
首次访问MC预测
- 初始化价值函数和回报计数器
- 生成一个回合的经验
- 对回合中首次出现的每个状态
- 计算该状态后续的回报
- 更新价值函数估计
MC控制
- 初始化Q函数和策略
- 生成回合经验
- 对每个状态-动作对更新Q值
- 改进策略（ε-贪婪）
- 重复直到收敛
应用场景
- 博弈游戏：如围棋、国际象棋等回合制游戏
- 金融市场：投资组合优化、风险评估
- 机器人控制：路径规划、动作序列学习
- 推荐系统：用户行为序列分析