Proceso de Decisión de Markov

Un modelo matemático para la toma de decisiones secuencial bajo incertidumbre definido por el tuple (S, A, P, R, γ): espacio de estados S, conjunto de acciones A, kernel de transición P(s'|s,a), función de recompensa R(s,a) y factor de descuento γ; las decisiones (políticas) asignan a estados acciones o distribuciones sobre acciones.

Modelo formal para problemas de decisión secuencial en los que un agente observa un estado, elige una acción y el sistema transita a un siguiente estado según probabilidades de transición que dependen únicamente del estado y la acción presentes (propiedad de Markov); una función de recompensa asigna pagos inmediatos y el objetivo es maximizar la recompensa acumulada esperada en un horizonte (desco