Actor-Critic算法概述

基本概念

Actor-Critic算法是一种结合了策略梯度和值函数估计的强化学习方法。它由两个主要组件组成：Actor（演员）负责选择动作，Critic（评论家）负责评估动作的价值。这种架构结合了策略梯度的优势（直接优化策略）和值函数方法的优势（减少方差）。

核心思想：Actor-Critic算法通过分离策略（Actor）和价值评估（Critic）来同时获得策略梯度的直接性和值函数方法的稳定性。

算法原理

• Actor-Critic架构：Actor(策略网络π(a|s,θ))，Critic(值函数网络V(s,ω))
• 优势函数：A(s,a) = Q(s,a) - V(s) = r + γV(s') - V(s)
• 策略梯度更新：∇θJ(θ) = E[∇θlog(π(a|s,θ)) * A(s,a)]
• 值函数更新：TD误差: δ = r + γV(s') - V(s)