OCTAVO SEMESTRE | LICENCIATURA EN MATEMÁTICAS
En general, una cadena de Markov es un sistema en un tiempo discreto, que en cada instante se encuentra en un estado distinto. La cantidad total de estados es finita, y en cada instante se pasa de un estado a otro con unas probabilidades fijas que dependen sólo del estado actual, y no del resto de la historia del sistema. Es habitual disponer los posibles estados del sistema en un grafo, y poner una arista entre dos vértices 𝑖 y 𝑗 cuando el sistema puede evolucionar del estado 𝑖 al estado 𝑗 en un sólo instante de tiempo, con probabilidad positiva.
Los estados de las Cadenas de Markov se clasifican en: Estado alcanzable. Dados dos estados 𝑖 y 𝑗 , una trayectoria de 𝑖 a 𝑗 es una secuencia de
transiciones que comienza en 𝑖 y termina en 𝑗, tal que cada transición en la secuencia tiene una
probabilidad positiva de ocurrir. Un estado 𝑗 es alcanzable desde el estado 𝑖 si hay una trayectoria que conduzca de 𝑖 a 𝑗.
Estados que se comunican. Se dice que dos estados 𝑖 y 𝑗 se comunican si 𝑗 es alcanzable desde 𝑖, y de igual manera 𝑖 es alcanzable desde 𝑗.
Conjunto cerrado. Un conjunto de estados 𝑆 de una Cadena de Markov es cerrado si ningún estado fuera de 𝑆 es alcanzable desde algún estado en 𝑆.
Estado absorbente. Es un estado en el que 𝑝𝑖𝑖 = 1 𝑝𝑖𝑗 = 0. Siempre que se entra en un estado absorbente, no se sale de él; un estado absorbente es un conjunto cerrado que contiene sólo un estado. FIGURA 6. ESTADO ADSORBENTE
Figura 6. Estado adsorbente. El estado 3 es adsorbente. (Tomado Wikipedia. Imágenes)
28 UnADM | DCEIT| PT2
