Modèles de Markov et modèles de Markov cachés

Un système évolutif a besoin d'un état à chaque instant et d'une règle pour passer à l'instant suivant. Une chaîne de Markov à temps discret enregistre ces états à intervalles réguliers. Choisis ensemble l'état et le pas de temps : la météo quotidienne et la position d'un robot relevée chaque seconde décrivent des processus différents.

Ce que l'état courant doit contenir

La propriété de Markov du premier ordre s'écrit :

Une fois l'état courant connu, les états antérieurs n'apportent aucune information supplémentaire sur l'état suivant. Il s'agit d'une indépendance conditionnelle, pas d'une indépendance entre états consécutifs. Connaître la météo d'hier peut aider à prédire celle de demain lorsque celle d'aujourd'hui est inconnue.

Une chaîne nécessite une distribution initiale, $P(X_1)$, et un modèle de transition. Nous utilisons des transitions homogènes dans le temps : les mêmes probabilités s'appliquent à chaque étape. Certains textes d'intelligence artificielle parlent d'hypothèse de stationnarité. En théorie des probabilités, les lois conjointes d'un processus stationnaire restent inchangées lorsqu'on décale le temps ; des transitions fixes ne suffisent pas à le garantir. En revanche, une chaîne homogène dans le temps qui démarre selon une loi stationnaire vérifie cette condition.

Lire une matrice de transition

Pour la météo, prenons les états Ensoleillé (S) et Couvert (C). Les lignes indiquent l'état courant et les colonnes l'état suivant :

Depuis Ensoleillé, le lendemain est ensoleillé avec une probabilité de 0,8 et couvert avec une probabilité de 0,2. Depuis Couvert, ces probabilités sont de 0,4 et 0,6. La somme de chaque ligne vaut 1, car elle énumère toutes les destinations à partir d'un état initial. Les colonnes ne doivent pas nécessairement avoir pour somme 1. Un diagramme d'états représente le même tableau avec des flèches, y compris des flèches qui reviennent au même état.

Certains ouvrages transposent cette convention. Avant de calculer, lis la définition d'un élément : ici $T_{ij}=P(X_{t+1}=j\mid X_t=i)$. Utiliser des nombres corrects dans le mauvais sens donne une prédiction erronée.

Multiplier le long d'un chemin

Un chemin donné utilise sa probabilité initiale et une transition pour chaque déplacement :

Si le jour 1 est certainement ensoleillé, le chemin Ensoleillé, Ensoleillé, Couvert, Couvert a pour probabilité :

Le premier déplacement contribue pour 0,8, le changement pour 0,2 et le maintien du temps couvert pour 0,6. Multiplier des fréquences quotidiennes séparées ferait perdre les liens entre les jours. Dans un réseau bayésien, ces liens sont les flèches de $X_1\to X_2\to X_3\to \cdots$.

Garder assez d'historique dans l'état

Un modèle du second ordre dépend des deux dernières valeurs. Transforme-le en modèle du premier ordre en définissant l'état comme le couple (hier ; aujourd'hui). Deux états météorologiques donnent alors quatre couples possibles. Une transition depuis (Ensoleillé ; Couvert) ne peut mener qu'à un couple commençant par Couvert, car les couples adjacents doivent se recouvrir. Pour un processus d'ordre $k$, conserve ensemble les $k$ dernières valeurs ; les algorithmes restent du premier ordre, tandis que le nombre d'états combinés augmente.

Une chaîne occupe un état à chaque instant, mais tu ne sais pas forcément lequel. Une distribution des états stocke cette incertitude sous la forme d'un vecteur ligne. Ses éléments donnent les probabilités des états possibles, pas des proportions de temps au sein d'une même étape.

Additionner toutes les façons d'atteindre une destination

Pour prédire un temps Ensoleillé demain, considère les deux façons d'y parvenir : aujourd'hui peut être Ensoleillé ou Couvert. Pondère chaque transition par la probabilité de son état de départ :

Pour le vecteur complet, cela donne $p_{t+1}=p_{t}T$. Après $k$ déplacements, $p_{t+k}=p_t{T}^k$. Cette mise à jour est parfois appelée algorithme avant simplifié, la version sans observations du filtrage des modèles de Markov cachés.

Étudier la chaîne météorologique

Utilise les lignes (0,8 ; 0,2) depuis Ensoleillé et (0,4 ; 0,6) depuis Couvert. Pars d'un jour certainement ensoleillé : $p_1=(1;0)$. Un déplacement donne $p_2=(\mathrm{0,8};\mathrm{0,2})$. Pour le jour 3, la contribution à Ensoleillé est $\mathrm{0,8}\times \mathrm{0,8}=\mathrm{0,64}$ depuis Ensoleillé et $\mathrm{0,2}\times \mathrm{0,4}=\mathrm{0,08}$ depuis Couvert. Additionne-les pour obtenir 0,72. Les contributions à Couvert sont $\mathrm{0,8}\times \mathrm{0,2}=\mathrm{0,16}$ et $\mathrm{0,2}\times \mathrm{0,6}=\mathrm{0,12}$, soit 0,28.

Ainsi, $p_3=(\mathrm{0,72};\mathrm{0,28})$. Une mise à jour supplémentaire donne $P(X_4=S)=\mathrm{0,72}\times \mathrm{0,8}+\mathrm{0,28}\times \mathrm{0,4}=\mathrm{0,688}$ et $P(X_4=C)=\mathrm{0,312}$. Garde toutes les décimales entre les étapes et arrondis les résultats affichés à la fin.

Vérifier le sens et l'orientation

Chaque résultat doit être positif ou nul et la somme de ses éléments doit valoir 1. Avec la convention en lignes, place la distribution à gauche. Utiliser à la place $T{p}_1^{𝖳}$ donne la colonne (0,8 ; 0,4), dont le total est de 1,2. Ce calcul sélectionne les probabilités d'atteindre Ensoleillé depuis deux états de départ différents ; il ne répartit pas une croyance initiale entre les destinations.

La valeur 0,72 au jour 3 signifie que, parmi de nombreuses simulations indépendantes dont le jour 1 est ensoleillé, environ 72 % auront un jour 3 ensoleillé. Elle ne décrit ni un cycle météorologique fixe ni un jour ensoleillé à 72 %.

Pourquoi la prédiction reste réalisable

Une mise à jour sur une matrice dense à $S$ états coûte $O(S^2)$ opérations. Elle résume tous les chemins passés dans le vecteur courant, de sorte que le coût par déplacement reste le même au fil du temps. Énumérer tous les chemins depuis un départ connu nécessiterait en revanche $S^{t-1}$ chemins à l'instant $t$.

Pour cette chaîne météorologique, les probabilités successives d'un temps ensoleillé se rapprochent de $2\mathrm{/}3$. Si $s_t=P(X_t=S)$, alors $s_{t+1}=\mathrm{0,4}+\mathrm{0,4}{s}_t$. En soustrayant $2\mathrm{/}3$, on voit que l'écart est multiplié par 0,4 à chaque étape. D'autres chaînes peuvent se comporter différemment ; la convergence nécessite les conditions étudiées avec les lois stationnaires.

Tu peux aussi simuler une trajectoire. Tire l'état initial, puis effectue un tirage selon la ligne de transition correspondant à l'état occupé. Depuis Ensoleillé, un tirage aléatoire uniforme inférieur à 0,8 sélectionne Ensoleillé ; un tirage supérieur ou égal à 0,8 sélectionne Couvert. Répéter de nombreuses simulations permet d'estimer la même distribution prédite et introduit l'idée d'échantillonnage utilisée par les filtres particulaires.

Une distribution peut rester inchangée alors que les trajectoires individuelles continuent d'évoluer. Une loi stationnaire décrit cet équilibre. Elle est utile pour les prévisions à long terme, mais son existence seule ne dit pas si une chaîne s'en rapproche depuis un état initial donné.

Résoudre les équations d'équilibre

Un vecteur ligne stationnaire satisfait $\pi =\pi T$ ainsi que ${\sum }_j{\pi }_j=1$ et ses éléments sont positifs ou nuls. Pour la chaîne météorologique, le flux de probabilité d'Ensoleillé vers Couvert doit équilibrer le flux inverse :

La première équation donne ${\pi }_S=2{\pi }_C$. Par substitution, $3{\pi }_C=1$, donc $\pi =(2\mathrm{/}3;1\mathrm{/}3)$. Pour une chaîne à deux états dont les probabilités de changement sont $a$ de l'état 1 à l'état 2 et $b$ de 2 à 1, ${\pi }_1=b\mathrm{/}(a+b)$ lorsque $a+b>0$.

Pour davantage d'états, écris une équation de flux entrant par état. Remplace l'une d'elles par l'équation qui impose une somme égale à 1 et résous le système linéaire. Les seules équations d'équilibre laissent l'échelle indéterminée. Enfin, multiplie le vecteur proposé par la matrice pour le vérifier.

Pour les stations de vélos partagés A, B, C, prends les lignes (0,6 ; 0,2 ; 0,2), (0,1 ; 0,8 ; 0,1) et (0,2 ; 0,2 ; 0,6). La solution est (0,25 ; 0,5 ; 0,25). Par exemple, la probabilité entrante en B est $\mathrm{0,25}(\mathrm{0,2})+\mathrm{0,5}(\mathrm{0,8})+\mathrm{0,25}(\mathrm{0,2})=\mathrm{0,5}$. Une probabilité uniforme ne satisferait pas cette vérification.

Distinguer trois questions

Irréductible signifie que chaque état permet d'atteindre tout autre état, éventuellement en plusieurs déplacements. Apériodique signifie que les retours ne sont pas enfermés dans un cycle fixe de plus d'une étape. Tous les éléments de la matrice météorologique sont strictement positifs, donc les deux conditions sont satisfaites. Dans une chaîne finie irréductible, les probabilités stationnaires donnent aussi les proportions à long terme d'étapes passées dans chaque état, même lorsque la périodicité empêche la convergence de la distribution à un instant donné.

Deux contre-exemples révélateurs

Si deux états alternent systématiquement, la distribution à partir d'un premier état certain alterne entre (1 ; 0) et (0 ; 1). Le vecteur stationnaire unique est (0,5 ; 0,5), mais ces prédictions ne s'en approchent jamais. Sur une longue trajectoire, chaque état occupe néanmoins la moitié des étapes.

Si les deux états sont absorbants, chacun reste indéfiniment dans son état. Tout vecteur (q ; 1 − q) est stationnaire : il n'existe donc pas d'équilibre unique commun à tous les départs. Ces exemples montrent pourquoi l'unicité, la convergence et les moyennes temporelles nécessitent des vérifications distinctes.

La distribution initiale décrit le départ ; elle n'est égale à une loi stationnaire que si l'on démarre à l'équilibre. Des probabilités de transition fixes décrivent la loi du modèle, pas sa distribution courante. PageRank utilise les probabilités stationnaires pour classer les pages dans un modèle d'internaute aléatoire. Les méthodes de Monte-Carlo par chaînes de Markov construisent une chaîne ayant une loi stationnaire voulue afin que sa trajectoire à long terme fournisse des échantillons.

Un relevé de capteur renseigne sur un état sans le révéler parfaitement. Dans un modèle de Markov caché, l'état évolue au fil du temps et chaque état produit une observation. Un robot peut connaître le relevé de son capteur de distance tout en restant incertain de sa position.

Définir trois modèles de probabilité

Un modèle de Markov caché nécessite une distribution initiale des états, un modèle de transition et un modèle d'observation :

L'état caché est une variable discrète. Le modèle d'observation, aussi appelé modèle d'émission, donne la vraisemblance de chaque observation dans chaque état. Nous attribuons directement une distribution a priori à $X_1$ et y observons $E_1$. Les textes qui partent d'un état $X_0$ non observé effectuent à la place une transition avant la première observation.

L'état possède la propriété de Markov du premier ordre. L'observation à un instant ne dépend que de l'état à cet instant : $P(E_t\mid X_{1:t},E_{1:t-1})=P(E_t\mid X_t)$. Dans un réseau bayésien, trace une chaîne d'états cachés et ajoute une flèche de chaque état vers son observation.

Construire le modèle du panneau solaire

La météo cachée est Ensoleillé ou Couvert, avec les lignes de transition (0,8 ; 0,2) et (0,4 ; 0,6). Les deux états initiaux ont une probabilité de 0,5. La production quotidienne du panneau est Élevée ou Faible :

La somme de chaque ligne du modèle d'observation vaut 1. Un jour couvert peut quand même produire une quantité Élevée : Élevée ne permet donc pas d'identifier Ensoleillé avec certitude. De même, $P(L\mid C)=\mathrm{0,7}$ décrit la production les jours couverts. Pour déterminer $P(C\mid L)$, il faut aussi la distribution a priori et la formule de Bayes.

Calculer la probabilité conjointe des états et des observations

Pour un chemin d'états et une séquence d'observations donnés :

Pour Couvert, Couvert, Ensoleillé avec Faible, Faible, Élevée, pars de $\mathrm{0,5}\times \mathrm{0,7}=\mathrm{0,35}$. Rester couvert et observer Faible donne $\mathrm{0,35}\times \mathrm{0,6}\times \mathrm{0,7}=\mathrm{0,147}$. Passer à Ensoleillé et observer Élevée donne $\mathrm{0,147}\times \mathrm{0,4}\times \mathrm{0,8}=\mathrm{0,04704}$.

Les observations peuvent être dépendantes même si aucune flèche ne les relie directement. Un temps couvert persistant favorise la succession de relevés Faible. Conditionner par les états cachés supprime cette dépendance. Une observation actualise la croyance de l'observateur ; observer Faible ne fait pas en soi changer la météo.

Choisir la question d'inférence

Les trois mêmes modèles permettent de réaliser les cinq tâches. Ce qui change, ce sont les variables conservées, celles qui sont éliminées par sommation et le choix entre sommer sur les chemins ou sélectionner le plus grand score de chemin.

La définition de l'état détermine ce que le modèle peut mémoriser. Un modèle temporel utile conserve les informations nécessaires pour prédire l'état suivant, tout en gardant un coût d'inférence raisonnable. Ses probabilités doivent aussi tenir compte des données et des défaillances de capteurs qu'il rencontrera.

Choisir assez d'informations pour l'état

La position seule peut être insuffisante pour un objet qui se déplace avec inertie : les positions antérieures révèlent sa direction. Ajouter la vitesse permet à l'état courant d'expliquer cette direction. Ajoute la saison si la dynamique en dépend. Ces choix rendent l'approximation de Markov plus raisonnable ; ils déterminent quelles informations sont transmises à l'étape suivante.

Une grandeur continue peut être placée sur une grille. Des températures de 10 °C à 20 °C par pas de 0,1 °C donnent 101 valeurs, bornes comprises. Un espacement plus fin augmente le nombre d'états. Combiner plusieurs grandeurs discrétisées multiplie leurs nombres de valeurs, et l'inférence exacte sur une matrice dense coûte $O(S^2)$ par étape.

Compter les paramètres libres

Une ligne de probabilités à $r$ éléments possède $r-1$ paramètres libres, car la somme de ses éléments fixe le dernier. Avec $S$ états et $O$ valeurs d'observation, un modèle de Markov caché sans restriction nécessite donc

paramètres libres : distribution a priori, transitions et émissions. Le modèle solaire à deux états et deux productions en nécessite $1+2+2=5$. Compter chaque élément du tableau reviendrait à compter les contraintes sur la somme des lignes comme des choix supplémentaires.

Factoriser l'état avec un réseau bayésien dynamique

Un réseau bayésien dynamique conserve plusieurs variables d'état et attribue à chacune ses propres parents. Il peut exprimer des dépendances locales sans construire une immense table de transition non factorisée. Vingt variables booléennes donnent $2^{20}=1048576$ états conjoints ; une table de transition non factorisée comporte $2^{40}$ éléments. Si chaque variable booléenne de l'étape suivante a trois parents booléens, sa table nécessite huit probabilités, donc les 20 variables en nécessitent $20\times 8=160$.

Un réseau bayésien dynamique discret peut être transformé en modèle de Markov caché en traitant chaque affectation complète comme un état. Le stockage factorisé est compact, mais l'inférence exacte peut quand même devenir coûteuse lorsque les dépendances relient de nombreuses variables. Les méthodes particulaires peuvent échantillonner directement ces affectations.

Estimer les lignes à partir des données

Lorsque les états sont étiquetés, utilise les effectifs conditionnels. Quarante lendemains ensoleillés sur 50 transitions enregistrées depuis Ensoleillé donnent $P(S\to S)=40\mathrm{/}50=\mathrm{0,8}$. Le dénominateur compte les transitions qui partent d'Ensoleillé, pas tous les jours du relevé. Un état en fin de relevé n'a pas de successeur observé.

Des effectifs nuls produisent des probabilités nulles par maximum de vraisemblance. La correction par ajout de un attribue un pseudo-effectif à chaque destination et augmente le total de la ligne en conséquence. Elle évite d'exclure une transition simplement parce qu'elle n'apparaît pas dans un petit relevé d'entraînement. Lorsque les états sont cachés, Baum-Welch alterne entre le calcul des effectifs attendus lissés et la réestimation des paramètres.

Prévoir les défaillances dans le modèle d'observation

Si tous les états possibles attribuent une vraisemblance nulle à un relevé, une mise à jour a un total nul et ne peut pas être normalisée. Une petite composante de contamination peut attribuer une certaine probabilité aux relevés inhabituels. Un mélange normalisé prend la forme $P(e\mid x)=\mathrm{0,99}{P}_{\mathrm{r}\mathrm{e}\mathrm{g}\mathrm{u}\mathrm{l}\mathrm{a}\mathrm{r}}(e\mid x)+\mathrm{0,01}{P}_{\mathrm{o}\mathrm{u}\mathrm{t}\mathrm{l}\mathrm{i}\mathrm{e}\mathrm{r}}(e)$. Les deux distributions composantes doivent être normalisées.

L'effet d'un relevé dépend des rapports de vraisemblance entre les états. Des vraisemblances égales laissent la croyance prédite inchangée après normalisation. Une faible vraisemblance dans chaque état peut tout de même être informative si les vraisemblances diffèrent fortement les unes des autres en proportion.

Le filtrage suit l'état caché courant à l'aide de toutes les observations disponibles jusqu'ici. Son résultat est une distribution de croyance, $f_t(x)=P(X_t=x\mid e_{1:t})$. Tu actualises cette distribution compacte lorsqu'un nouveau relevé arrive, sans conserver tous les chemins antérieurs possibles.

Prédire, pondérer, normaliser

Pour une étape ultérieure, fais d'abord évoluer la croyance à l'aide du modèle de transition :

Pondère ensuite chaque destination par la vraisemblance de la nouvelle observation, puis normalise :

La prédiction décrit les états que le système peut avoir atteints. La mise à jour à partir de l'observation applique la formule de Bayes au nouvel instant. Avec une distribution a priori sur $X_1$, commence par pondérer cette distribution par la première observation ; aucun déplacement ne la précède.

Jour 1 : observer Faible

Utilise le modèle du panneau solaire : distribution a priori (0,5 ; 0,5), lignes de transition (0,8 ; 0,2) et (0,4 ; 0,6), et vraisemblances de Faible (0,2 ; 0,7). La pondération donne $\mathrm{0,5}(\mathrm{0,2})=\mathrm{0,10}$ pour Ensoleillé et $\mathrm{0,5}(\mathrm{0,7})=\mathrm{0,35}$ pour Couvert. Le total est de 0,45. Divise chaque poids par ce total pour obtenir $f_1=(2\mathrm{/}9;7\mathrm{/}9)\approx (\mathrm{0,2222};\mathrm{0,7778})$.

Jour 2 : observer à nouveau Faible

La prédiction donne ${\bar{f}}_2(S)=(2\mathrm{/}9)(\mathrm{0,8})+(7\mathrm{/}9)(\mathrm{0,4})=22\mathrm{/}45\approx \mathrm{0,4889}$. Couvert a une probabilité de $23\mathrm{/}45\approx \mathrm{0,5111}$. Les nouveaux poids sont $22\mathrm{/}225\approx \mathrm{0,0978}$ et $161\mathrm{/}450\approx \mathrm{0,3578}$. Leur total est $41\mathrm{/}90\approx \mathrm{0,4556}$, ce qui donne $f_2=(44\mathrm{/}205;161\mathrm{/}205)\approx (\mathrm{0,2146};\mathrm{0,7854})$.

La deuxième observation Faible n'augmente que légèrement la croyance en un temps couvert. L'évolution vers l'équilibre de la chaîne, qui favorise le temps ensoleillé, entre en concurrence avec la nouvelle observation qui favorise Couvert. Appliquer Faible directement à la croyance d'hier ferait manquer cette évolution.

Jour 3 : observer Élevée

La prédiction donne ${\bar{f}}_3=(498\mathrm{/}1025;527\mathrm{/}1025)\approx (\mathrm{0,4859};\mathrm{0,5141})$. Les vraisemblances d'Élevée sont (0,8 ; 0,3), donc les poids sont approximativement (0,3887 ; 0,1542). Divise-les par leur total, environ 0,5429, pour obtenir $f_3\approx (\mathrm{0,7159};\mathrm{0,2841})$.

Élevée est $\mathrm{0,8}\mathrm{/}\mathrm{0,3}\approx \mathrm{2,67}$ fois plus probable dans l'état Ensoleillé que dans l'état Couvert. Ce rapport de vraisemblance déplace les chances en faveur d'Ensoleillé. Une vraisemblance élevée seule est moins informative que sa valeur par rapport à celle de l'état concurrent.

Assurer la fiabilité d'un filtre en ligne

Une étape sur une matrice dense coûte $O(S^2)$ en temps et stocke $O(S)$ éléments de croyance, indépendamment de la longueur de l'historique. Il s'agit d'une élimination de variables exacte : chaque état passé est éliminé par sommation au fur et à mesure.

Normalise à chaque observation. Sans mise à l'échelle, le vecteur stocke les probabilités conjointes des états et des observations, qui peuvent devenir trop petites pour être représentées en virgule flottante. Conserve séparément les totaux écartés si tu as besoin de la vraisemblance des observations. Un total nul nécessite de rétablir le modèle ou le support des particules ; une division ne peut pas y remédier.

Notre formule avec des vecteurs lignes est $f_{t+1}\propto (f_{t}T)O_{t+1}$, où la matrice diagonale contient les nouvelles vraisemblances. Pour des croyances sous forme de vecteurs colonnes, la formule équivalente est $f_{t+1}\propto O_{t+1}{T}^{𝖳}{f}_t$. Mélanger ces conventions est une source fréquente d'erreurs.

Une croyance filtrée permet de répondre à deux questions utiles : que peut-il se passer ensuite, et dans quelle mesure le modèle a-t-il expliqué les relevés déjà obtenus ? Les deux utilisent les mêmes modèles de transition et d'observation, mais leurs réponses décrivent des grandeurs aléatoires différentes.

Prédire sans relevés futurs

Pour une prévision à $k$ étapes, applique $k$ fois la matrice de transition à la dernière croyance filtrée :

Aucune mise à jour par une observation ne s'applique à une étape future non observée. Après les observations Faible, Faible, Élevée dans le modèle solaire, la croyance du jour 3 est environ (0,7159 ; 0,2841). Une prédiction donne $P(X_4=S)\approx \mathrm{0,7159}(\mathrm{0,8})+\mathrm{0,2841}(\mathrm{0,4})=\mathrm{0,6864}$. En poursuivant avec les valeurs non arrondies, on obtient les probabilités d'un temps ensoleillé 0,6745, 0,6698, 0,6679 et 0,6672.

Elles se rapprochent de $2\mathrm{/}3$. La chaîne perd progressivement sa dépendance à la dernière croyance. Le temps de mélange indique le nombre d'étapes nécessaires pour arriver à une distance choisie de l'équilibre, quel que soit l'état de départ. Une prévision proche de l'équilibre conserve une faible influence des observations courantes ; elle n'est pas exactement remise à zéro.

La prédiction n'augmente pas nécessairement l'incertitude à chaque étape. À partir de (0,5 ; 0,5), cette chaîne météorologique prédit (0,6 ; 0,4), une distribution plus concentrée. La convergence concerne la perte de dépendance à la croyance initiale ; elle n'impose pas que les prévisions deviennent uniformes.

Prévoir une observation

Une prévision de production est la moyenne des vraisemblances du modèle d'observation sur les états prédits :

Pour une production Élevée le jour 4, utilise la prédiction de l'état du jour 4, pas le résultat du filtrage du jour 3 : $\mathrm{0,6864}(\mathrm{0,8})+\mathrm{0,3136}(\mathrm{0,3})\approx \mathrm{0,6432}$. La probabilité d'un temps ensoleillé et celle d'une production Élevée diffèrent, car les deux états météorologiques peuvent donner une production Élevée.

Conserver les totaux du filtrage

Avant la normalisation de chaque mise à jour, son total est la probabilité de l'observation sachant les précédentes. Notons-la $c_t=P(e_t\mid e_{1:t-1})$. La formule des probabilités composées donne

Pour Faible, Faible, Élevée, les totaux sont environ 0,45, 0,4556 et 0,5429. Leur produit, calculé avant arrondissement, est de 0,1113. Il s'agit d'une somme sur tous les chemins cachés compatibles avec les observations. Le meilleur chemin contribue à lui seul pour 0,04704, soit seulement une partie du total.

Un parcours avant non normalisé donne la même vraisemblance en additionnant ses éléments finaux. Un parcours normalisé est plus stable, à condition de conserver les totaux. Pour les longues séquences, stocke $\log P(e_{1:t})={\sum }_i\log c_i$ au lieu de multiplier de minuscules valeurs. Ici, le logarithme népérien vaut environ −2,196.

Comparer les modèles sur les mêmes observations

Une vraisemblance mesure dans quelle mesure un modèle explique une séquence d'observations donnée. Pour comparer les modèles de Markov cachés de mots candidats sur un même enregistrement, calcule le score de cet enregistrement selon chaque modèle et combine-le avec les probabilités a priori des mots pour déterminer leurs probabilités a posteriori. Les séquences plus longues ont généralement des vraisemblances brutes plus petites : une valeur plus faible obtenue pour un enregistrement plus long ne montre donc pas à elle seule que le modèle est moins bon.

Une observation ultérieure peut modifier ta croyance sur un état antérieur. Le lissage estime $P(X_k\mid e_{1:t})$ pour $k<t$. Il est utile pour reconstituer une trajectoire enregistrée ou lorsqu'une application peut attendre un peu avant de fournir une estimation passée.

Séparer les observations à l'instant visé

Le filtrage a déjà résumé les observations jusqu'à l'instant $k$ par $f_k(x)=P(X_k=x\mid e_{1:k})$. Un message arrière résume les observations restantes sous forme de vraisemblance, $b_k(x)=P(e_{k+1:t}\mid X_k=x)$. Combine-les état par état :

Normalise les produits sur l'ensemble des états. Les observations ultérieures sont pondérées selon leur vraisemblance pour chaque état candidat à l'instant $k$.

Faire remonter la vraisemblance des observations futures

Au dernier instant, il n'y a pas d'observation ultérieure, donc $b_t(x)=1$ pour chaque état. En remontant d'une étape, on obtient

Pour chaque successeur possible, multiplie la probabilité de l'atteindre, la vraisemblance de son observation et la vraisemblance des observations futures restantes. Additionne ensuite sur les successeurs. Un message arrière est une fonction de vraisemblance sur les états de départ possibles, pas une distribution des états ; la somme de ses éléments ne doit pas nécessairement valoir 1.

Lisser le jour 2 dans l'exemple solaire

Les observations sont Faible, Faible, Élevée. Après les deux relevés Faible, la croyance filtrée du jour 2 est environ (0,2146 ; 0,7854). Pour le dernier relevé Élevée, la vraisemblance arrière depuis un jour 2 ensoleillé est $\mathrm{0,8}(\mathrm{0,8})+\mathrm{0,2}(\mathrm{0,3})=\mathrm{0,70}$. Depuis un jour 2 couvert, elle est $\mathrm{0,4}(\mathrm{0,8})+\mathrm{0,6}(\mathrm{0,3})=\mathrm{0,50}$.

Multiplie : les produits sont environ $\mathrm{0,2146}(\mathrm{0,70})=\mathrm{0,1502}$ et $\mathrm{0,7854}(\mathrm{0,50})=\mathrm{0,3927}$. Normalise leurs valeurs non arrondies pour obtenir une probabilité de 0,2767 que le jour 2 soit ensoleillé. La production Élevée du jour 3 rend un jour 2 ensoleillé plus probable que ne l'indiquait la probabilité filtrée initiale de 0,2146.

Continuer jusqu'au jour 1

La vraisemblance arrière depuis Ensoleillé au jour 1 est $\mathrm{0,8}(\mathrm{0,2})(\mathrm{0,70})+\mathrm{0,2}(\mathrm{0,7})(\mathrm{0,50})=\mathrm{0,182}$. Depuis Couvert, elle est $\mathrm{0,4}(\mathrm{0,2})(\mathrm{0,70})+\mathrm{0,6}(\mathrm{0,7})(\mathrm{0,50})=\mathrm{0,266}$. Combine-les avec $f_1=(2\mathrm{/}9;7\mathrm{/}9)$ et normalise. La probabilité lissée d'un temps ensoleillé est d'environ 0,1635, contre 0,2222 auparavant : les observations futures comprennent une autre production Faible ainsi que la production Élevée finale.

Les observations ultérieures ne déplacent pas nécessairement toutes les estimations passées dans le même sens. Au dernier instant, le lissage et le filtrage coïncident, puisqu'il n'existe pas d'observation ultérieure.

Organiser le calcul

L'algorithme avant-arrière stocke d'abord toutes les croyances avant, puis calcule les messages arrière et les produits normalisés. Pour $t$ étapes et $S$ états, le calcul sur une matrice dense coûte $O(S^{2}t)$ et stocke $O(St)$ valeurs. Le lissage à retard fixe fournit l'état situé à un nombre fixe d'étapes avant le présent, en échangeant un délai contre des observations supplémentaires.

Inverser la liste des observations et exécuter un filtre ordinaire constitue un autre calcul. La récursion arrière utilise les transitions avant d'origine et les vraisemblances des observations futures ; elle n'introduit pas de nouvelle distribution initiale a priori à la fin de l'enregistrement. Les probabilités lissées des états fournissent aussi des effectifs attendus pour l'apprentissage par Baum-Welch.

La réponse recherchée est parfois une seule explication complète des observations. Le décodage de Viterbi trouve la séquence d'états cachés la plus probable. Il tient compte des transitions entre les états, que des choix séparés de l'état le plus probable à chaque instant peuvent ignorer.

Changer l'objectif

La cible est $\arg {\max }_{x_{1:t}}P(x_{1:t}\mid e_{1:t})$. Tous les candidats ont le même dénominateur associé aux observations : maximiser le score conjoint $P(x_{1:t},e_{1:t})$ sélectionne donc le même chemin. Ce score diffère d'une probabilité a posteriori de l'état final, qui additionne tous les chemins aboutissant à cet état.

Avec les observations solaires Élevée, Faible, les états individuellement les plus probables après lissage sont Ensoleillé le jour 1 et Couvert le jour 2. Pourtant, Ensoleillé, Ensoleillé est le chemin complet le plus probable : sa probabilité a posteriori est d'environ 0,3282, contre 0,2872 pour Ensoleillé, Couvert. En présence de transitions interdites, des états individuellement plausibles peuvent même former un chemin impossible.

Garder le meilleur début de chemin pour chaque état final

Soit $m_t(j)$ le meilleur score conjoint du chemin et des observations aboutissant à l'état $j$. Initialise $m_1(j)=P(X_1=j)P(e_1\mid j)$. Utilise ensuite

Enregistre le prédécesseur qui maximise l'expression sous forme de pointeur de retour. Les chemins qui aboutissent au même état ont les mêmes prolongements futurs possibles : un début de chemin de score inférieur peut donc être éliminé. L'algorithme avant additionne les débuts de chemin concurrents ; Viterbi en sélectionne le maximum.

Remplir le treillis pour Faible, Faible, Élevée

Les scores initiaux sont (0,10 ; 0,35). Au jour 2, les candidats pour Ensoleillé avant émission sont $\mathrm{0,10}(\mathrm{0,8})=\mathrm{0,08}$ et $\mathrm{0,35}(\mathrm{0,4})=\mathrm{0,14}$. Garde le second et multiplie-le par 0,2 pour obtenir 0,028, avec un pointeur vers Couvert. Pour Couvert, compare 0,02 à 0,21 ; multiplier le plus grand par 0,7 donne 0,147, avec aussi un pointeur vers Couvert.

Au jour 3, Ensoleillé compare $\mathrm{0,028}(\mathrm{0,8})=\mathrm{0,0224}$ à $\mathrm{0,147}(\mathrm{0,4})=\mathrm{0,0588}$. Multiplier le plus grand par la vraisemblance 0,8 d'Élevée donne 0,04704. Couvert compare 0,0056 à 0,0882 ; multiplier le plus grand par 0,3 donne 0,02646. Les deux pointeurs finaux mènent à Couvert au jour 2.

Remonter depuis la fin

Le plus grand score final est 0,04704 pour Ensoleillé. Suis son pointeur jusqu'à Couvert au jour 2, puis celui-ci jusqu'à Couvert au jour 1. Inverse ce parcours arrière pour obtenir Couvert, Couvert, Ensoleillé. La division par la vraisemblance des observations, 0,1113, donne sa probabilité a posteriori, environ 0,4226.

Choisir séparément le plus grand score de chaque colonne ferait perdre les liens enregistrés avec les prédécesseurs. Le vecteur des scores finaux ne peut pas non plus être normalisé pour obtenir une croyance filtrée : il ne conserve qu'un chemin par état, pas la somme de leurs probabilités.

Utiliser les logarithmes pour les longues séquences

Les produits peuvent devenir trop petits pour être représentés. Stocke plutôt les scores logarithmiques :

Les logarithmes préservent l'ordre : le chemin et les pointeurs restent donc inchangés. Les probabilités nulles deviennent moins l'infini. De manière équivalente, les opposés des scores logarithmiques transforment le décodage en recherche d'un chemin de coût minimal dans un graphe organisé en couches temporelles, ou treillis. Viterbi sur une matrice dense coûte $O(S^{2}t)$ en temps et stocke $O(St)$ pointeurs. Si plusieurs chemins ont le même score maximal, chacun est une explication la plus probable valide.

Un tableau de probabilités devient difficile à stocker lorsque l'espace d'états est immense. Les croyances continues ne disposent généralement pas non plus d'un tableau fini. Un filtre particulaire représente une croyance à l'aide d'états échantillonnés, ce qui permet de concentrer le calcul sur une population de possibilités de taille raisonnable.

Représenter les probabilités par des particules

Chaque particule est un état complet, pas un objet physique distinct. Après rééchantillonnage, toutes les particules ont le même poids et la probabilité estimée d'un état est la proportion de particules qui l'occupent. Dix particules réparties en sept Ensoleillé et trois Couvert représentent la croyance (0,7 ; 0,3).

Tire les particules initiales selon $P(X_1)$. Une distribution a priori de (0,5 ; 0,5) donne des effectifs attendus égaux, mais n'impose pas que chaque échantillon aléatoire soit réparti également. Selon notre convention temporelle, pondère ces particules initiales par la première observation et rééchantillonne avant toute transition.

Faire passer le temps en échantillonnant les transitions

À chaque étape ultérieure, déplace chaque particule indépendamment selon la ligne de transition correspondant à son état courant. Avec les lignes météorologiques (0,8 ; 0,2) et (0,4 ; 0,6), sept particules Ensoleillé et trois Couvert donnent après déplacement un nombre attendu de particules Ensoleillé de $7(\mathrm{0,8})+3(\mathrm{0,4})=\mathrm{6,8}$.

Un échantillon réalisé pourrait contenir six particules Ensoleillé et quatre Couvert. Un effectif attendu peut être fractionnaire ; un nombre de particules effectivement obtenu doit être entier. Garder exactement 6,8 particules ne serait pas un algorithme d'échantillonnage.

Pondérer par le relevé

Supposons que la nouvelle production solaire soit Faible. Chaque particule Ensoleillé reçoit une vraisemblance de 0,2 ; chaque particule Couvert reçoit 0,7. Les six particules Ensoleillé ont un poids total de $6(\mathrm{0,2})=\mathrm{1,2}$ et les quatre particules Couvert de $4(\mathrm{0,7})=\mathrm{2,8}$. Sur un poids total de 4,0, Ensoleillé a une probabilité pondérée de 0,3 et Couvert de 0,7.

Les effectifs comptent autant que les poids individuels des particules. Normaliser seulement 0,2 et 0,7 ignorerait la part de probabilité prédite que représentait chaque groupe. La pondération réutilise la même mise à jour de Bayes que le filtrage exact sur cette prédiction échantillonnée.

Rééchantillonner une nouvelle population

Tire dix particules avec remise, chaque ancienne particule étant sélectionnée proportionnellement à son poids. Chaque nouveau tirage est Ensoleillé avec une probabilité de 0,3 et Couvert avec une probabilité de 0,7. Le nombre attendu de particules Ensoleillé est de trois, même si une exécution peut en donner deux, quatre ou un autre nombre. Plusieurs copies sont possibles ; elles représentent une masse de probabilité.

Ramène les particules obtenues à des poids égaux. L'observation a déjà influencé le choix des particules copiées ; conserver les anciens poids de vraisemblance la compterait une seconde fois. L'itération suivante déplace cette nouvelle population avant de traiter l'observation suivante.

Comparer avec la mise à jour exacte

Le filtrage exact à partir de (0,7 ; 0,3) prédit (0,68 ; 0,32). L'observation Faible donne ensuite les poids (0,136 ; 0,224), donc la probabilité a posteriori exacte d'Ensoleillé est $\mathrm{0,136}\mathrm{/}\mathrm{0,36}\approx \mathrm{0,3778}$. Le résultat pondéré de l'exécution avec particules était de 0,3, car le mouvement aléatoire n'a produit que six particules Ensoleillé. Le rééchantillonnage introduit une autre source de variation.

La boucle comprend donc l'initialisation, la pondération par la première observation et le rééchantillonnage, puis la répétition du mouvement, de la pondération et du rééchantillonnage. Avant le rééchantillonnage, lis les proportions pondérées ; après, lis les effectifs. Une étape coûte environ $O(N)$ pour $N$ particules lorsque les coûts d'échantillonnage et de pondération des états sont fixes. Pour deux états météorologiques, le filtrage exact est plus simple. Les méthodes particulaires deviennent utiles lorsqu'un état de grande taille ou continu ne dispose pas d'un filtre exact compact de coût raisonnable.

Une estimation par particules est aléatoire : sa qualité dépend donc à la fois de la taille de la population et des endroits où les particules subsistent. Davantage de particules améliorent l'approximation, mais une grande population peut rester inefficace lorsque presque toute son information utile repose sur quelques échantillons.

Comprendre l'échelle de précision

Pour une estimation d'une probabilité $p$ à partir d'échantillons indépendants, l'erreur type est environ $\sqrt{p(1-p)\mathrm{/}N}$. Avec $p=\mathrm{0,3}$, elle vaut environ 0,046 pour 100 échantillons et 0,0046 pour 10 000. L'erreur d'un filtre particulaire suit souvent à peu près la même échelle $1\mathrm{/}\sqrt{N}$, bien que les particules rééchantillonnées soient dépendantes et que la difficulté du modèle compte aussi.

Quadrupler la population réduit approximativement l'erreur de moitié ; la doubler ne suffit pas. Pour un historique d'observations fixé, augmenter le nombre de particules permet à un filtre particulaire convergent de se rapprocher de la croyance exacte. Cela ne rend pas exacte une exécution avec un nombre fini de particules et ne supprime pas les erreurs du modèle sous-jacent. Fixe une graine aléatoire pour obtenir des comparaisons reproductibles, ou compare les résultats de plusieurs exécutions.

Distinguer deux défaillances

Sans rééchantillonnage, multiplier les vraisemblances sur de nombreuses étapes peut laisser presque toutes les particules avec un poids négligeable. Le rééchantillonnage remplace ces particules peu utiles par des copies d'états utiles. Mais il peut aussi effacer une position possible qui correspond temporairement moins bien aux observations.

Le rééchantillonnage seul ne peut pas recréer une région absente. Pour la retrouver, il faut que les tirages de mouvement l'atteignent ou qu'un autre mécanisme y introduise des particules. Si les transitions rendent cette région presque inaccessible, le rétablissement peut être lent. Ajouter de petites perturbations aléatoires ou remplacer une petite proportion des particules par de nouvelles peut aider, mais ces choix doivent respecter la représentation de l'état et l'approximation recherchée.

Traiter un poids total nul

Si chaque particule reçoit un poids nul, les probabilités de rééchantillonnage ne sont pas définies. L'observation peut être possible ailleurs dans le modèle même si la population échantillonnée a manqué ces états. Réinitialise selon une distribution adaptée, comme la distribution a priori ou une distribution uniforme sur les états valides, et vérifie le modèle d'observation. Une composante de contamination non nulle peut réduire ces défaillances. Si le modèle lui-même exclut l'observation partout, davantage de particules ne peuvent pas résoudre le problème à elles seules.

Choisir une représentation adaptée au modèle

Le filtrage avant exact convient aux petits espaces d'états discrets. Un filtre de Kalman est exact lorsque la distribution a priori est gaussienne et que les modèles de transition et d'observation sont linéaires à bruit gaussien ; une moyenne et une covariance décrivent alors la croyance. Un filtre particulaire peut traiter des modèles non linéaires et des croyances présentant des pics séparés.

Une seule distribution gaussienne ne peut pas représenter fidèlement un robot probablement situé dans l'un ou l'autre de deux couloirs éloignés, mais peu probablement entre les deux. Des groupes de particules peuvent conserver les deux possibilités. Pour un modèle de suivi linéaire gaussien, la représentation de Kalman évite généralement un bruit d'échantillonnage inutile.

Dans un réseau bayésien dynamique, chaque particule contient une affectation complète de toutes les variables d'état. Tire les variables de l'étape suivante dans l'ordre topologique selon leurs modèles conditionnels sachant leurs parents. La factorisation réduit le travail par échantillon par rapport à l'énumération de chaque état conjoint, même si les croyances de grande dimension peuvent encore nécessiter de nombreuses particules pour couvrir leurs régions importantes.

Le suivi associe un mouvement incertain à des mesures bruitées. L'état caché peut contenir la position et la vitesse ; les observations peuvent provenir d'un GPS, d'un radar ou d'une caméra. Le filtrage transmet une distribution des positions plausibles d'un relevé au suivant.

Se localiser dans un couloir de cinq cases

Un robot occupe l'une des cinq cases, avec des portes aux cases 1 et 4. Son capteur signale une porte avec une probabilité de 0,9 devant une porte et de 0,2 ailleurs. Pars d'une distribution uniforme, avec une probabilité de 0,2 par case. Un signalement de porte donne les poids (0,18 ; 0,04 ; 0,04 ; 0,18 ; 0,04), soit un total de 0,48.

La croyance actualisée est $(\mathrm{0,375};1\mathrm{/}12;1\mathrm{/}12;\mathrm{0,375};1\mathrm{/}12)\mathrm{.}$ Les deux cases avec porte restent plausibles. Ne sélectionner qu'un seul pic ferait perdre la symétrie que le capteur n'a pas encore départagée.

Déplacer toute la croyance

Le robot essaie de se déplacer d'une case vers la droite. Il y parvient avec une probabilité de 0,8 et reste sur place avec une probabilité de 0,2 ; depuis la case 5, il reste avec certitude sur place contre le mur. Chaque case reçoit des contributions de toutes les cases de départ depuis lesquelles elle est accessible.

La case 1 reçoit $\mathrm{0,375}(\mathrm{0,2})=\mathrm{0,075}$. La case 2 reçoit $\mathrm{0,375}(\mathrm{0,8})+(1\mathrm{/}12)(\mathrm{0,2})\approx \mathrm{0,3167}$. Les cases 3 et 4 reçoivent environ 0,0833 et 0,1417. La case 5 reçoit $(\mathrm{0,375})(\mathrm{0,8})+1\mathrm{/}12\approx \mathrm{0,3833}$ : les arrivées depuis la case 4 et toute la masse de probabilité déjà présente en case 5 y restent.

La prédiction est environ (0,0750 ; 0,3167 ; 0,0833 ; 0,1417 ; 0,3833). Traiter la frontière comme un autre déplacement ordinaire de probabilité 0,8 ferait perdre de la probabilité au-delà du couloir modélisé.

Observer l'absence de porte

La vraisemblance de l'absence de porte est de 0,1 dans les cases 1 et 4 et de 0,8 ailleurs. La multiplication de la prédiction non arrondie donne un poids total d'environ 0,6483. La normalisation produit (0,0116 ; 0,3907 ; 0,1028 ; 0,0219 ; 0,4730).

Les positions probables sont maintenant les cases 2 et 5, juste après les deux portes. La croyance reste multimodale, avec des pics séparés. Un relevé de capteur est une observation, pas une mesure de la position réelle ; conserver plusieurs possibilités laisse aux mouvements et aux relevés ultérieurs l'occasion de les départager.

Étendre la méthode aux robots réels

Dans la localisation de Monte-Carlo, une particule est une pose : une position en mètres et une orientation. Déplace chaque pose selon le mouvement commandé auquel s'ajoute du bruit, puis pondère-la selon la concordance entre les distances observées et celles prédites à partir d'une carte connue. Une population initiale concentrée suit une position de départ connue ; une population dispersée permet une localisation globale.

Si la carte est aussi inconnue, inclus-la dans l'état caché. La localisation et cartographie simultanées, ou SLAM, estime ensemble la carte et la pose. Avec plusieurs objets, un autre problème est l'association de données : déterminer à quel objet appartient chaque détection. Des affectations différentes produisent des hypothèses de trajectoires différentes.

Le suivi d'un véhicule peut combiner une prédiction du mouvement avec des relevés GPS. À 15 m/s avec des étapes d'une seconde, le mouvement attendu est d'environ 15 m entre deux relevés. Un modèle de Kalman adapté combine le mouvement incertain et la mesure pour réduire l'effet des relevés bruités. Un modèle de transition qui ne prévoit aucune fluctuation du mouvement réel peut exclure la trajectoire réelle, même si ses calculs sont corrects.

Les modèles de séquences peuvent inférer des étiquettes aussi bien que des états physiques. Un système de reconnaissance de la parole relie un signal sonore évolutif à des mots possibles. Un système d'étiquetage morphosyntaxique relie les mots observés à des étiquettes grammaticales cachées. Tous deux doivent évaluer les choix en contexte au fil du temps.

Associer l'adéquation au son et la probabilité de la langue

La reconnaissance de la parole cherche la séquence de mots ayant la plus grande probabilité a posteriori :

Le modèle acoustique $P(s\mid w)$ évalue dans quelle mesure les mots expliquent le son ; le modèle de langue $P(w)$ évalue leur plausibilité a priori. Le dénominateur commun $P(s)$ ne modifie pas le classement. Une vraisemblance acoustique n'est pas en elle-même une probabilité a posteriori des mots.

Pour illustrer les scores, compare « il a vu le maire » et « il a vu la mer ». Les vraisemblances acoustiques sont de 0,0004 et 0,0005 ; les probabilités du modèle de langue sont de 0,00002 et 0,000001. Le premier produit est $8\times {10}^{-9}$ et le second $5\times {10}^{-10}$. Le contexte linguistique fait gagner la première phrase malgré sa vraisemblance acoustique légèrement plus faible.

Transformer le signal audio en séquence temporelle

Une méthode courante utilise des trames de 25 ms qui se chevauchent et commencent toutes les 10 ms, ce qui donne environ 100 vecteurs de caractéristiques par seconde. Les vecteurs sont les observations. Les états cachés représentent des parties de sons de parole, ou phones, souvent avec des états pour le début, le milieu et la fin. Un dictionnaire de prononciation relie les mots aux phones.

Les boucles sur un même état permettent à un état sonore d'occuper plusieurs trames. Sans souplesse dans la durée, un changement de vitesse d'élocution nécessiterait un alignement fixe, souvent inadapté, entre les trames et les états sonores. Différents chemins d'états expriment différents alignements du même enregistrement observé.

Représenter un contexte linguistique court

Un modèle bigramme approche une séquence de mots par $P(w_1){\prod }_{i=2}^{n}P(w_i\mid w_{i-1})$. Un trigramme utilise les deux mots précédents. Estime ces probabilités conditionnelles à partir des effectifs dans les textes. L'hypothèse de Markov est ici une approximation pratique : les relations grammaticales et sémantiques à longue portée peuvent dépasser un ou deux mots précédents.

Viterbi peut trouver le meilleur chemin d'états à travers des modèles de phones et de mots reliés. Pour un grand vocabulaire, la recherche en faisceau élimine les chemins partiels moins prometteurs afin de réduire le travail. Une fois éliminé, un chemin ne peut plus gagner : un faisceau étroit peut donc manquer le meilleur chemin complet. De plus, chercher le meilleur chemin d'états unique pour une séquence de mots est un objectif différent de la sommation de tous ses alignements possibles.

Utiliser la même structure pour les étiquettes

Dans l'étiquetage morphosyntaxique, les états sont les étiquettes et les observations sont les mots. Les transitions évaluent $P({\acute{\mathrm{e}}\mathrm{t}\mathrm{i}\mathrm{q}\mathrm{u}\mathrm{e}\mathrm{t}\mathrm{t}\mathrm{e}}_i\mid {\acute{\mathrm{e}}\mathrm{t}\mathrm{i}\mathrm{q}\mathrm{u}\mathrm{e}\mathrm{t}\mathrm{t}\mathrm{e}}_{i-1})$ ; les émissions évaluent $P({\mathrm{m}\mathrm{o}\mathrm{t}}_i\mid {\acute{\mathrm{e}}\mathrm{t}\mathrm{i}\mathrm{q}\mathrm{u}\mathrm{e}\mathrm{t}\mathrm{t}\mathrm{e}}_i)$. Dans « Les poules du couvent couvent », « couvent » peut désigner un bâtiment religieux ou l'action des poules. Le chemin d'étiquettes doit tenir compte à la fois des vraisemblances des mots et des transitions entre étiquettes.

Situer les modèles de Markov cachés dans la reconnaissance de la parole

Les systèmes à grand vocabulaire des années 1980 au début des années 2010 associaient couramment des modèles de Markov cachés à des modèles acoustiques de mélanges gaussiens. Vers 2010–2012, les modèles acoustiques neuronaux ont pris de l'importance dans des systèmes hybrides associant réseaux de neurones profonds et modèles de Markov cachés. Les systèmes neuronaux modernes de bout en bout peuvent transformer le signal audio en texte sans modèle de Markov caché explicite. Les idées communes d'alignement incertain, d'évaluation des séquences et de programmation dynamique restent utiles, et les modèles de Markov cachés apparaissent aussi dans des applications comme la recherche de gènes dans l'ADN.