Chaînes de Markov

Échauffement

Trois questions rapides sur des leçons déjà vues.

Découvrir

Il pleut aujourd'hui. Il pleut demain avec la probabilité $0{,}6$ . Quelle est la probabilité qu'il ne pleuve pas demain ?

$0{,}4$
$0{,}6$

L'idée clé

La probabilité de l'état suivant ne dépend que de l'état présent.

Figure non à l'échelle

La matrice de transition $P$ a pour coefficient $p_{ij}$ la probabilité de passer de $i$ à $j$ . Chaque ligne a pour somme 1.

La distribution après $n$ transitions est $\pi_n = \pi_0P^n$ . Le coefficient $(i ; j)$ de $P^n$ est la probabilité d'aller de $i$ à $j$ en $n$ transitions.

Exemple corrigé

$P = \begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}5 & 0{,}5 \end{pmatrix}$ et $\pi_0 = \begin{pmatrix} 1 & 0 \end{pmatrix}$ . Calcule $\pi_1$ .

\pi_1 = \pi_0P

Ligne × matrice.

\pi_1 = \begin{pmatrix} 0{,}9 & 0{,}1 \end{pmatrix}

On lit la première ligne.

À toi, guidé

À toi : dans la même chaîne, que vaut la probabilité d'être dans l'état 2 après une étape, en partant de l'état 2 ?

0{,}5

Coefficient (2 ; 2).

Entraînement ★

Dans une chaîne à deux états, $p_{11} = \dfrac{ 8 }{10}$ . Que vaut $p_{12}$ ?
Dans une chaîne à deux états, $p_{11} = \dfrac{ 6 }{10}$ . Que vaut $p_{12}$ ?
Dans une chaîne à deux états, $p_{11} = \dfrac{ 7 }{10}$ . Que vaut $p_{12}$ ?

Attention !

Entraînement ★★

$P = \begin{pmatrix} \dfrac{ 5 }{10} & 1 - \dfrac{ 5 }{10} \\ \dfrac{ 6 }{10} & 1 - \dfrac{ 6 }{10} \end{pmatrix}$ et $\pi_0 = \begin{pmatrix} \dfrac{1}{2} & \dfrac{1}{2} \end{pmatrix}$ . Calcule la première coordonnée de $\pi_1$ .
$P = \begin{pmatrix} \dfrac{ 7 }{10} & 1 - \dfrac{ 7 }{10} \\ \dfrac{ 4 }{10} & 1 - \dfrac{ 4 }{10} \end{pmatrix}$ et $\pi_0 = \begin{pmatrix} \dfrac{1}{2} & \dfrac{1}{2} \end{pmatrix}$ . Calcule la première coordonnée de $\pi_1$ .

Dans une matrice de transition à deux états, la première ligne est $\left(\dfrac{ 8 }{10} ; p\right)$ . Que vaut $p$ ?

Une chaîne reste dans l'état 1 avec la probabilité $\dfrac{ 5 }{10}$ à chaque pas. Partant de l'état 1, quelle est la probabilité d'y rester deux fois de suite ?

Bilan

Trois questions pour vérifier que c'est acquis.

Dans une chaîne à deux états, $p_{11} = \dfrac{ 8 }{10}$ . Que vaut $p_{12}$ ?
Dans une chaîne à deux états, $p_{11} = \dfrac{ 6 }{10}$ . Que vaut $p_{12}$ ?
Dans une chaîne à deux états, $p_{11} = \dfrac{ 7 }{10}$ . Que vaut $p_{12}$ ?

Fiche résumé

Chaînes de Markov

$\pi_n = \pi_0P^n$ .
Lignes de $P$ : somme 1.

Attention : lis $p_{ij}$ de $i$ vers $j$ .

À propos de cette leçon