Chaînes de Markov

Imprimer le chapitre

Toutes les leçons du chapitre, prêtes pour le papier. Les séries d'exercices sont notées A, B, C… et corrigées à la fin.

Pour obtenir un PDF, choisis « Enregistrer au format PDF » dans la fenêtre d'impression.

1. Chaînes de Markov

Échauffement

Trois questions rapides sur des leçons déjà vues.

Découvrir

Il pleut aujourd'hui. Il pleut demain avec la probabilité 0,60{,}6. Quelle est la probabilité qu'il ne pleuve pas demain ?

  1. 0,40{,}4
  2. 0,60{,}6

L'idée clé

La probabilité de l'état suivant ne dépend que de l'état présent.

Figure non à l'échelle

La matrice de transition PP a pour coefficient pijp_{ij} la probabilité de passer de ii à jj. Chaque ligne a pour somme 1.

La distribution après nn transitions est πn=π0Pn\pi_n = \pi_0P^n. Le coefficient (i;j)(i ; j) de PnP^n est la probabilité d'aller de ii à jj en nn transitions.

Exemple corrigé

P=(0,90,10,50,5)P = \begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}5 & 0{,}5 \end{pmatrix} et π0=(10)\pi_0 = \begin{pmatrix} 1 & 0 \end{pmatrix}. Calcule π1\pi_1.

π1=π0P\pi_1 = \pi_0P
Ligne × matrice.
π1=(0,90,1)\pi_1 = \begin{pmatrix} 0{,}9 & 0{,}1 \end{pmatrix}
On lit la première ligne.

À toi, guidé

À toi : dans la même chaîne, que vaut la probabilité d'être dans l'état 2 après une étape, en partant de l'état 2 ?

0,50{,}5
Coefficient (2 ; 2).

Entraînement ★

  1. Dans une chaîne à deux états, p11=810p_{11} = \dfrac{ 8 }{10}. Que vaut p12p_{12} ?
  2. Dans une chaîne à deux états, p11=610p_{11} = \dfrac{ 6 }{10}. Que vaut p12p_{12} ?
  3. Dans une chaîne à deux états, p11=710p_{11} = \dfrac{ 7 }{10}. Que vaut p12p_{12} ?

Attention !

Entraînement ★★

  1. P=(5101−5106101−610)P = \begin{pmatrix} \dfrac{ 5 }{10} & 1 - \dfrac{ 5 }{10} \\ \dfrac{ 6 }{10} & 1 - \dfrac{ 6 }{10} \end{pmatrix} et π0=(1212)\pi_0 = \begin{pmatrix} \dfrac{1}{2} & \dfrac{1}{2} \end{pmatrix}. Calcule la première coordonnée de π1\pi_1.
  2. P=(7101−7104101−410)P = \begin{pmatrix} \dfrac{ 7 }{10} & 1 - \dfrac{ 7 }{10} \\ \dfrac{ 4 }{10} & 1 - \dfrac{ 4 }{10} \end{pmatrix} et π0=(1212)\pi_0 = \begin{pmatrix} \dfrac{1}{2} & \dfrac{1}{2} \end{pmatrix}. Calcule la première coordonnée de π1\pi_1.
  1. Dans une matrice de transition à deux états, la première ligne est (810;p)\left(\dfrac{ 8 }{10} ; p\right). Que vaut pp ?
  1. Une chaîne reste dans l'état 1 avec la probabilité 510\dfrac{ 5 }{10} à chaque pas. Partant de l'état 1, quelle est la probabilité d'y rester deux fois de suite ?

Bilan

Trois questions pour vérifier que c'est acquis.

  1. Dans une chaîne à deux états, p11=810p_{11} = \dfrac{ 8 }{10}. Que vaut p12p_{12} ?
  2. Dans une chaîne à deux états, p11=610p_{11} = \dfrac{ 6 }{10}. Que vaut p12p_{12} ?
  3. Dans une chaîne à deux états, p11=710p_{11} = \dfrac{ 7 }{10}. Que vaut p12p_{12} ?

Fiche résumé

Chaînes de Markov

  • πn=π0Pn\pi_n = \pi_0P^n.
  • Lignes de PP : somme 1.

Attention : lis pijp_{ij} de ii vers jj.

2. Distributions invariantes

Échauffement

Trois questions rapides sur des leçons déjà vues.

Découvrir

Une distribution π\pi vérifie πP=π\pi P = \pi. Que se passe-t-il à l'étape suivante ?

  1. La distribution ne change pas
  2. Elle double

L'idée clé

On cherche π\pi en résolvant un système.

π\pi est invariante si πP=π\pi P = \pi et si ses coefficients ont pour somme 1.

Exemple corrigé

P=(0,90,10,50,5)P = \begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}5 & 0{,}5 \end{pmatrix}. Trouve π=(ab)\pi = \begin{pmatrix} a & b \end{pmatrix}.

0,9a+0,5b=a0{,}9a + 0{,}5b = a, donc 0,5b=0,1a0{,}5b = 0{,}1a
Première coordonnée de πP = π.
a=5ba = 5b, donc 6b=16b = 1
a + b = 1.
π=(5616)\pi = \begin{pmatrix} \dfrac{5}{6} & \dfrac{1}{6} \end{pmatrix}
Solution.

À toi, guidé

À toi : si a=3ba = 3b et a+b=1a + b = 1, que vaut bb ?

14\dfrac{1}{4}
4b = 1.

Entraînement ★

  1. On trouve a=5ba = 5b et a+b=1a + b = 1. Que vaut bb ?
  2. On trouve a=9ba = 9b et a+b=1a + b = 1. Que vaut bb ?
  3. On trouve a=7ba = 7b et a+b=1a + b = 1. Que vaut bb ?

Attention !

Entraînement ★★

  1. P=(1−9109106101−610)P = \begin{pmatrix} 1 - \dfrac{ 9 }{10} & \dfrac{ 9 }{10} \\ \dfrac{ 6 }{10} & 1 - \dfrac{ 6 }{10} \end{pmatrix}. Trouve la première coordonnée aa de la distribution invariante.
  2. P=(1−5105107101−710)P = \begin{pmatrix} 1 - \dfrac{ 5 }{10} & \dfrac{ 5 }{10} \\ \dfrac{ 7 }{10} & 1 - \dfrac{ 7 }{10} \end{pmatrix}. Trouve la première coordonnée aa de la distribution invariante.
  1. Problème final. P=(1−2102106101−610)P = \begin{pmatrix} 1 - \dfrac{ 2 }{10} & \dfrac{ 2 }{10} \\ \dfrac{ 6 }{10} & 1 - \dfrac{ 6 }{10} \end{pmatrix}.
  1. Comment vérifier qu'une distribution π\pi est invariante pour la matrice de transition PP ?
    1. On vérifie que πP=π\pi P = \pi
    2. On vérifie que Pπ=PP\pi = P
    3. On vérifie que π=1\pi = 1
  1. Une distribution sur deux états s'écrit (610;b)\left(\dfrac{ 6 }{10} ; b\right). Que vaut bb ?

Bilan

Trois questions pour vérifier que c'est acquis.

  1. On trouve a=5ba = 5b et a+b=1a + b = 1. Que vaut bb ?
  2. On trouve a=9ba = 9b et a+b=1a + b = 1. Que vaut bb ?
  3. On trouve a=7ba = 7b et a+b=1a + b = 1. Que vaut bb ?

Fiche résumé

Distribution invariante

  • πP=π\pi P = \pi.
  • Somme des coefficients : 1.

Attention : n'oublie pas la condition de somme.

Corrigé: Chaînes de Markov

1. Chaînes de Markov

A

  1. 15\frac{1}{5}
  2. 25\frac{2}{5}
  3. 310\frac{3}{10}

B

  1. 1120\frac{11}{20}
  2. 1120\frac{11}{20}

C

  1. 15\frac{1}{5}

D

  1. 14\frac{1}{4}

E

  1. 15\frac{1}{5}
  2. 25\frac{2}{5}
  3. 310\frac{3}{10}

2. Distributions invariantes

A

  1. 16\frac{1}{6}
  2. 110\frac{1}{10}
  3. 18\frac{1}{8}

B

  1. 25\frac{2}{5}
  2. 712\frac{7}{12}

C

  1. 34\frac{3}{4}

D

  1. On vérifie que πP=π\pi P = \pi

E

  1. 25\frac{2}{5}

F

  1. 16\frac{1}{6}
  2. 110\frac{1}{10}
  3. 18\frac{1}{8}