Resolvendo o Grid World Com MDP

Agora que formalizamos o Grid World como um Processo de Decisão de Markov (MDP), podemos aplicar algoritmos de Reinforcement Learning para encontrar a política ótima ${\pi }^{}$. A política ótima é aquela que maximiza a recompensa total esperada a longo prazo para o agente.

Para encontrar a política ótima, vamos dissecar a estrutura do MDP como ferramenta para resolver o Grid World.

Formulação MDP do Grid World

Vamos dedicar um minuto, ou dez, para lembrar em que porto desta jornada estamos. Até agora definimos o seguinte:

1. Estados $(S)$: O conjunto de todas as células da grade. Cada célula $(x,y)$ representa um estado.

2. Ações $(A)$: O conjunto de ações possíveis: $A=\{\text{Norte},\text{Sul},\text{Leste},\text{Oeste}\}$.

3. Função de Transição $(P)$: $P(s^{\prime }|s,a)$ define a probabilidade de transitar para o estado $s^{\prime }$ ao executar a ação $a$ no estado $s$. No Grid World estocástico que estamos estudando, teremos:

   • $0.8$ de probabilidade de se mover na direção pretendida.
   • $0.1$ de probabilidade de se mover para cada um dos lados perpendiculares.
   • Se a ação levar a uma colisão com a parede, o agente permanece no estado $s$.

   Eu havia usado $10\mathrm{\%}$ e $80\mathrm{\%}$. Se a atenta leitora não entendeu a mudança, este não é um artigo para você.