Raisonnement probabiliste et réseaux bayésiens

Un agent peut ne voir qu'une partie de son environnement. Un capteur peut être bruité et une action peut avoir plusieurs issues. La probabilité permet à l'agent d'attribuer un degré de croyance à chaque possibilité et de réviser ces croyances lorsque des informations arrivent.

Mondes, événements et variables

L'univers, $\mathrm{\Omega }$, énumère toutes les issues possibles. Ses issues sont incompatibles et exhaustives : une seule se produit. Un événement est un ensemble de ces issues, par exemple « le bus est en retard ». Sa probabilité est la somme des probabilités de ses issues.

Une variable aléatoire attribue une valeur à chaque issue. Son domaine énumère les valeurs possibles. Par exemple, $Weather$ a pour domaine $\{sun,cloud,rain\}$. Écris les variables avec une majuscule et les valeurs en minuscules. Pour la variable booléenne $Rain$, $r$ signifie vrai et $\mathrm{\neg }r$ signifie faux. La virgule dans $P(r,t)$ signifie « et ».

Les probabilités sont comprises entre 0 et 1, et la somme des probabilités de toutes les issues vaut 1. Les événements complémentaires vérifient $P(\mathrm{\neg }a)=1-P(a)$. Une loi indique la probabilité de chaque valeur d'une variable ; une probabilité a priori décrit la croyance avant de prendre en compte les observations considérées.

Lire une table conjointe

Une loi conjointe donne la probabilité de chaque combinaison de valeurs. Voici un modèle de la météo et du bus :

Les six cases représentent les six mondes possibles et leur somme vaut 1. Le total d'une ligne est la probabilité de cette météo : la somme d'une ligne n'a donc pas à valoir 1. Pour la pluie, $P(rain)=\mathrm{0,08}+\mathrm{0,12}=\mathrm{0,20}$. La colonne des retards donne $P(late)=\mathrm{0,10}+\mathrm{0,12}+\mathrm{0,12}=\mathrm{0,34}$.

Cette opération est la marginalisation, ou élimination par sommation. Pour garder $X$ et supprimer $Y$, utilise $P(x)={\sum }_{y}P(x,y)$. Additionne sur toutes les valeurs de la variable supprimée, y compris les valeurs fausses pour les variables booléennes.

Compter une intersection une seule fois

L'événement « pluie ou retard » comprend chaque case de la ligne pluie ou de la colonne retard. Sa probabilité est

La soustraction retire l'intersection comptée deux fois. En général, $P(a\vee b)=P(a)+P(b)-P(a,b)$. Additionner simplement les probabilités marginales donnerait 0,54 et compterait deux fois le monde avec pluie et retard.

Pourquoi les tables complètes deviennent coûteuses

Une table conjointe complète permet de répondre à toute requête de probabilité portant sur ses variables, mais sa taille augmente rapidement. Chaque variable booléenne supplémentaire double le nombre de mondes. Avec $n$ variables booléennes, il y a $2^n$ valeurs et $2^n-1$ nombres libres, puisque la dernière valeur est fixée par le total de 1. Trente variables booléennes nécessitent 1 073 741 824 valeurs. Les modèles compacts stockeront les dépendances locales au lieu d'énumérer explicitement chaque monde.

Un bus en retard modifie les conditions météorologiques qui semblent probables. La probabilité conditionnelle se concentre sur les mondes compatibles avec une observation, puis mesure leurs proportions relatives. La probabilité obtenue après prise en compte des observations est une probabilité a posteriori.

Relier le dénominateur à l'observation

Pour une observation de probabilité positive,

Dans le modèle de la météo et du bus, les valeurs correspondant au retard pour soleil, nuage et pluie sont 0,10, 0,12 et 0,12. Leur total est de 0,34. Ainsi $P(rain\mid late)=\mathrm{0,12}\mathrm{/}\mathrm{0,34}\approx \mathrm{0,353}$. En inversant la question, on obtient $P(late\mid rain)=\mathrm{0,12}\mathrm{/}\mathrm{0,20}=\mathrm{0,6}$. Les deux calculs utilisent la même case conjointe, mais chacun divise par la probabilité de sa propre observation.

La loi conditionnelle complète est $P(Weather\mid late)\approx ⟨\mathrm{0,294};\mathrm{0,353};\mathrm{0,353}⟩$. La somme de ces valeurs vaut 1 car elles décrivent les différentes valeurs de la météo pour une observation fixée. Les trois vraisemblances $P(late\mid sun)=\mathrm{0,2}$, $P(late\mid cloud)=\mathrm{0,4}$ et $P(late\mid rain)=\mathrm{0,6}$ utilisent des conditions différentes et leur somme n'a pas à valoir 1.

Produits et probabilités composées

En réarrangeant la définition, on obtient la règle du produit :

En l'appliquant plusieurs fois, on obtient la formule des probabilités composées :

Tout ordre des variables convient. L'indépendance n'est pas nécessaire à cette identité ; elle permettra plus tard de raccourcir les listes de conditions.

Sélectionner, additionner et normaliser

Pour une variable de requête $X$, des observations $e$ et des variables cachées $Y$, l'énumération utilise

Sélectionne d'abord les mondes compatibles avec les observations. Élimine ensuite toutes les variables cachées par sommation, en gardant un total distinct pour chaque valeur de la variable de requête. Divise enfin ces totaux par leur somme. La constante de normalisation $\alpha$ est l'inverse de cette somme, qui vaut $P(e)$.

Considère les variables booléennes Grippe ($F$), Fièvre ($V$) et Toux ($K$). Leur table conjointe complète est :

Pour trouver $P(F\mid v)$, garde les lignes avec fièvre et élimine la toux par sommation. Les totaux sont $\mathrm{0,056}+\mathrm{0,024}=\mathrm{0,08}$ pour la grippe et $\mathrm{0,018}+\mathrm{0,072}=\mathrm{0,09}$ sans grippe. Normalise par 0,17 pour obtenir $P(f\mid v)\approx \mathrm{0,471}$.

Si la toux est aussi observée, ne garde que les deux lignes avec fièvre et toux. Alors $P(f\mid v,k)=\mathrm{0,056}\mathrm{/}\mathrm{0,074}\approx \mathrm{0,757}$. Pour la fièvre sans toux, $P(f\mid v,\mathrm{\neg }k)=\mathrm{0,024}\mathrm{/}\mathrm{0,096}=\mathrm{0,25}$. Additionner sur la toux ferait perdre cette observation supplémentaire. Un total brut comme 0,08 est une probabilité conjointe, pas la probabilité conditionnelle demandée.

Un agent sait souvent comment une cause produit une observation, mais doit raisonner dans l'autre sens. Un modèle de panne peut décrire la fréquence à laquelle un composant endommagé déclenche une alerte. Après l'alerte, l'agent a besoin de la probabilité que le composant soit endommagé.

Inverser correctement une probabilité conditionnelle

Les deux expressions d'une probabilité conjointe données par la règle du produit donnent la formule de Bayes :

Ici $P(c)$ est la probabilité a priori, $P(e\mid c)$ la vraisemblance et $P(c\mid e)$ la probabilité a posteriori. Le dénominateur comprend toutes les façons dont l'observation peut se produire. Pour une cause booléenne, la formule des probabilités totales donne

Pour plus de deux valeurs de la cause, inclus un terme pour chaque valeur. Tu peux aussi calculer, pour chaque cause, un score égal au produit de la vraisemblance par la probabilité a priori, puis normaliser les scores.

Étudier un exemple de maladie rare

Supposons qu'une maladie touche 1 % d'une population. Un test est positif chez 90 % des personnes malades et 5 % des personnes saines. La probabilité d'un résultat positif est

La probabilité d'être malade et d'avoir un test positif est de 0,009, donc

Les fréquences naturelles rendent le dénominateur plus facile à comprendre. Parmi 10 000 personnes, 100 sont malades et 90 d'entre elles ont un test positif. Parmi 9 900 personnes saines, 495 ont un test positif. Il y a 585 résultats positifs au total ; 90 concernent des personnes malades.

La sensibilité de 90 % répond à « À quelle fréquence le test d'une personne malade est-il positif ? » Elle ne répond pas à « À quelle fréquence une personne dont le test est positif est-elle malade ? » La négligence du taux de base donne trop peu de poids à la probabilité a priori. Une maladie rare touche au départ beaucoup moins de personnes ; les faux positifs issus du groupe plus nombreux de personnes saines peuvent donc dépasser les vrais positifs. Si la sensibilité et le taux de faux positifs restent fixes, modifier la prévalence modifie néanmoins la probabilité a posteriori.

Un résultat négatif utilise les vraisemblances complémentaires :

Actualiser à l'arrivée de nouvelles observations

La probabilité a posteriori obtenue après une observation devient la probabilité a priori pour la suivante. Si le résultat d'un second test est conditionnellement indépendant du premier sachant l'état de santé, un nouveau résultat positif donne

Garde la première probabilité a posteriori sans l'arrondir pendant les calculs successifs. L'indépendance conditionnelle compte : des mesures répétées d'un même capteur défectueux peuvent partager une erreur ; multiplier leurs vraisemblances comme si les observations étaient indépendantes peut donc exagérer l'actualisation.

Les informations préalables restent présentes dans chaque condition pertinente :

Cela permet à un agent d'actualiser ses croyances au sein de la population ou de la situation qu'il connaît déjà, à l'aide de sa probabilité a priori actuelle et des vraisemblances appropriées.

Certaines observations modifient leurs probabilités respectives ; d'autres n'apportent aucune information supplémentaire lorsqu'une condition pertinente est connue. L'indépendance permet de déterminer quand une longue expression de probabilité peut être remplacée par des éléments plus petits.

L'indépendance concerne toutes les valeurs

Des événements sont indépendants lorsque $P(a,b)=P(a)P(b)$. Pour des variables, cette égalité doit être vérifiée pour chaque paire de valeurs. Une seule paire qui ne la vérifie pas établit la dépendance. Dans la table météo, $P(rain,late)=\mathrm{0,12}$, tandis que $P(rain)P(late)=\mathrm{0,20}(\mathrm{0,34})=\mathrm{0,068}$ : la météo et l'état du bus sont donc dépendants.

Des événements incompatibles de probabilités positives sont dépendants : apprendre que l'un s'est produit ramène la probabilité de l'autre à zéro. Des événements indépendants peuvent se produire ensemble. Si $n$ variables booléennes sont toutes mutuellement indépendantes, seules $n$ probabilités sont nécessaires, contre $2^n-1$ pour une table conjointe sans restriction.

Savoir ce qui est fixé

L'indépendance conditionnelle, notée $X\perp Y\mid Z$, signifie que

L'égalité est vérifiée pour chaque combinaison de valeurs pertinente. De façon équivalente, connaître $Y$ n'apporte rien de plus sur $X$ une fois $Z$ connue.

Dans le modèle de la grippe, $P(k\mid v,f)=P(k\mid f)=\mathrm{0,7}$ et $P(k\mid v,\mathrm{\neg }f)=P(k\mid \mathrm{\neg }f)=\mathrm{0,2}$. La fièvre et la toux sont conditionnellement indépendantes sachant l'état de grippe. Sans cette condition, elles sont dépendantes : $P(k)=\mathrm{0,25}$, tandis que $P(k\mid v)=\mathrm{0,074}\mathrm{/}\mathrm{0,17}\approx \mathrm{0,435}$. La fièvre modifie la croyance concernant la grippe, ce qui modifie la croyance concernant la toux.

L'indépendance sans observation et l'indépendance sachant une observation sont deux affirmations distinctes. Observer un effet commun peut même rendre dépendantes deux causes auparavant indépendantes.

Classer avec le modèle bayésien naïf

Un modèle bayésien naïf suppose que les caractéristiques sont conditionnellement indépendantes sachant une classe. Sa loi a posteriori est

Une classe booléenne avec $n$ caractéristiques booléennes nécessite $1+2n$ probabilités. L'hypothèse peut être imparfaite tout en permettant une classification utile, mais des caractéristiques corrélées peuvent conduire à des probabilités excessivement confiantes.

Pour les pourriels, posons $P(spam)=\mathrm{0,3}$. Le mot « offre » apparaît avec une probabilité de 0,4 dans les pourriels et de 0,05 dans les messages légitimes. Le mot « gagnant » apparaît avec les probabilités 0,2 et 0,01. Lorsque les deux mots sont présents, les scores sont $\mathrm{0,3}(\mathrm{0,4})(\mathrm{0,2})=\mathrm{0,024}$ pour les pourriels et $\mathrm{0,7}(\mathrm{0,05})(\mathrm{0,01})=\mathrm{0,00035}$ pour les messages légitimes. La normalisation donne $P(spam\mid o,w)\approx \mathrm{0,986}$.

L'absence fournit aussi une observation. Si « offre » est présent mais « gagnant » absent, les scores deviennent $\mathrm{0,3}(\mathrm{0,4})(\mathrm{0,8})=\mathrm{0,096}$ et $\mathrm{0,7}(\mathrm{0,05})(\mathrm{0,99})=\mathrm{0,03465}$, ce qui donne une probabilité a posteriori de pourriel d'environ 0,735. Utilise le complément de la vraisemblance pour une caractéristique booléenne absente. Une vraisemblance nulle rend tout le score de la classe nul ; un événement possible ne devrait donc pas recevoir une valeur nulle simplement parce qu'il était absent d'un petit échantillon de données.

Un réseau bayésien représente une loi conjointe à l'aide d'un graphe orienté acyclique et de tables de probabilités locales. Chaque nœud est une variable aléatoire. Une flèche entrant dans un nœud indique l'un de ses parents ; suivre les flèches ne doit jamais ramener au nœud de départ.

Un modèle de trajet domicile-travail

Utilise cinq variables booléennes : Pluie ($R$), Accident ($A$), Trafic dense ($T$), Retard ($L$) et port d'un Parapluie ($U$). Les flèches sont $R\to T$, $A\to T$, $T\to L$ et $R\to U$. La pluie et l'accident ont pour probabilités a priori $P(r)=\mathrm{0,2}$ et $P(a)=\mathrm{0,1}$.

La table de probabilités conditionnelles du trafic dépend des deux parents :

Les autres tables donnent $P(l\mid t)=\mathrm{0,6}$, $P(l\mid \mathrm{\neg }t)=\mathrm{0,1}$, $P(u\mid r)=\mathrm{0,9}$ et $P(u\mid \mathrm{\neg }r)=\mathrm{0,2}$. Chaque affectation des parents sélectionne une loi sur les valeurs de l'enfant. Pour les nœuds booléens, ne stocke que la probabilité du vrai ; la probabilité du faux est son complément. Ainsi $P(\mathrm{\neg }t\mid r,\mathrm{\neg }a)=\mathrm{0,3}$.

Calculer la probabilité d'un monde complet

Le réseau définit sa loi conjointe par

Pour la pluie, l'absence d'accident, un trafic dense, un retard et un parapluie, sélectionne une valeur pour chaque nœud :

Les facteurs décrivent respectivement la pluie, l'absence d'accident, le trafic avec ces valeurs des parents, le retard avec un trafic dense et l'utilisation d'un parapluie sous la pluie. Omettre un nœud donne un produit incomplet. Choisir 0,95 pour le trafic décrirait aussi un accident et ne correspondrait donc pas au monde évalué.

La formule découle de la formule des probabilités composées dans un ordre topologique, avec les parents avant les enfants. Les indépendances conditionnelles du réseau permettent de remplacer, dans chaque condition, toutes les variables précédentes par les seuls parents.

Compter les paramètres et distinguer les probabilités marginales

Un nœud booléen ayant $k$ parents booléens nécessite $2^k$ probabilités libres. Plus généralement, un nœud ayant $d$ valeurs et $k$ parents ayant chacun $d$ valeurs nécessite $(d-1)d^k$ probabilités. Le réseau du trajet nécessite $1+1+4+2+2=10$ nombres ; une loi conjointe complète sur ses cinq variables booléennes en nécessite 31. Trente nœuds booléens ayant chacun au plus cinq parents nécessitent au plus 960 nombres, contre plus d'un milliard pour une loi conjointe complète sans restriction.

Une valeur d'une table de probabilités conditionnelles répond à une question où tous les parents sont fixés. Pour trouver une probabilité marginale, calcule une moyenne sur les valeurs manquantes des parents. Ici

les quatre termes pondérant les lignes du trafic par les probabilités de leurs parents. De même, $P(t\mid r)=\mathrm{0,1}(\mathrm{0,95})+\mathrm{0,9}(\mathrm{0,7})=\mathrm{0,725}$. Ce n'est pas la valeur 0,7 d'une seule ligne.

Les flèches vont souvent de la cause vers l'effet car cela rend le modèle compact et compréhensible. Formellement, elles représentent une factorisation et des affirmations d'indépendance. Un graphe à deux nœuds inversé peut représenter la même loi conjointe avec des tables différentes ; une flèche seule n'établit pas la causalité.

Un réseau utile omet les dépendances inutiles tout en conservant celles dont la loi a besoin. Choisir peu de parents peut économiser de nombreuses valeurs dans les tables, mais chaque omission engage le modèle à affirmer une indépendance.

Construire le réseau selon un ordre

Choisis les variables et leurs domaines, puis ordonne les variables. Pour chaque variable, sélectionne un ensemble minimal de variables antérieures qui la rend indépendante des autres variables antérieures. Ajoute des flèches depuis ces parents et remplis sa table de probabilités conditionnelles à partir du jugement d'experts ou de probabilités estimées sur des effectifs.

Un ordre plaçant les causes en premier pour le modèle du trajet produit quatre flèches et dix probabilités libres. Un autre ordre valide est $L,T,U,R,A$, avec les ensembles de parents $T:\{L\}$, $U:\{T\}$, $R:\{T,U\}$ et $A:\{T,R\}$. Cela utilise six flèches et $1+2+2+4+4=13$ nombres. Sachant l'état du trafic, la pluie modifie la croyance concernant un accident ; la pluie doit donc rester parmi les parents de l'accident dans cet ordre.

Tout ordre peut représenter la loi si chaque nœud reçoit suffisamment de parents. Donner à chaque nœud tous les nœuds antérieurs comme parents fonctionne toujours, mais ne permet aucune compression. Un ordre diagnostique peut aussi nécessiter des probabilités plus difficiles à apprécier, comme celle de la pluie sachant le trafic et la présence d'un parapluie. Omettre un parent nécessaire impose une fausse indépendance ; ajouter un parent inutile agrandit la table.

Deux règles d'indépendance locale

La propriété de Markov locale affirme qu'un nœud est indépendant de ses non-descendants sachant ses parents. Dans le réseau du trajet, $L\perp \{R,A,U\}\mid T$ et $U\perp \{A,T,L\}\mid R$. Une fois le trafic connu, les autres variables n'apportent plus d'information sur le retard.

La couverture de Markov d'un nœud contient ses parents, ses enfants et les autres parents de ses enfants. Sachant ces variables, le nœud est indépendant de toute variable extérieure à la couverture. La couverture de la pluie est $\{T,U,A\}$ : l'accident en fait partie car il est l'autre parent du trafic. La couverture du trafic est $\{R,A,L\}$ et celle du retard ne contient que $\{T\}$. La couverture permet des mises à jour locales même lorsque le réseau entier est grand.

Remplacer une grande table par une structure

Un nœud déterministe est une fonction fixe de ses parents, comme $Late=Traffic\vee Strike$. Ses lignes contiennent des zéros et des uns. Un OU bruité permet à chaque cause vraie d'échouer indépendamment. Si la cause $i$ a une probabilité d'inhibition $q_i$, l'effet n'est absent que si toutes les causes actives échouent :

Supposons qu'un accident échoue à provoquer un embouteillage avec une probabilité de 0,2 et que des travaux échouent avec une probabilité de 0,4. Un accident seul donne une probabilité d'embouteillage de 0,8 ; des travaux seuls donnent 0,6. Lorsque les deux se produisent, la probabilité de ne pas avoir d'embouteillage est $\mathrm{0,2}(\mathrm{0,4})=\mathrm{0,08}$, donc la probabilité d'embouteillage est de 0,92.

Un OU bruité simple ne donne aucun effet lorsqu'aucune cause n'est active. Une cause de fuite, représentée comme une cause toujours présente, permet à l'effet de provenir de causes non répertoriées. Le modèle utilise une probabilité d'inhibition par cause au lieu d'une table sans restriction de $2^k$ lignes. Cette économie provient de l'indépendance des échecs des causes ; des interactions arbitraires nécessitent un modèle plus riche.

La d-séparation permet de trouver les indépendances conditionnelles garanties par le graphe d'un réseau. Elle examine les chemins sans exiger que les flèches pointent dans le sens du parcours. Le sens des flèches reste toutefois important, car il détermine le comportement de chaque nœud intermédiaire.

Trois configurations de chemins

Dans une chaîne, connaître la variable intermédiaire rend la variable précédente sans apport supplémentaire. Dans $R\to T\to L$, la pluie n'apporte plus d'information sur le retard une fois le trafic connu. Dans une fourche, connaître la cause commune a le même effet : un parapluie n'apporte plus d'information sur le trafic une fois la pluie connue.

Un collisionneur, ou effet commun, fonctionne à l'inverse. Le chemin $R\to T\leftarrow A$ est bloqué en l'absence d'observation du trafic ou de ses descendants. Observer le trafic ou le retard en aval ouvre le collisionneur. Des causes qui étaient indépendantes peuvent alors renseigner l'une sur l'autre.

Effet d'explication concurrente

Dans le modèle du trajet, $P(a\mid r)=P(a)=\mathrm{0,1}$. Un trafic dense augmente la probabilité d'accident jusqu'à environ 0,235. Ajouter la pluie la réduit à $P(a\mid t,r)\approx \mathrm{0,131}$ ; ajouter l'absence de pluie donne $P(a\mid t,\mathrm{\neg }r)\approx \mathrm{0,308}$. La pluie explique une partie du trafic observé, ce qui rend l'accident moins nécessaire comme explication. C'est l'effet d'explication concurrente.

Vérifier chaque chemin

Pour tester $X\perp Y\mid Z$ :

1. Énumère tous les chemins non orientés entre les variables de requête.
2. Pour chaque nœud interne, détermine si le chemin forme un collisionneur ou un non-collisionneur.
3. Bloque un chemin s'il possède un non-collisionneur observé ou un collisionneur dont ni lui-même ni aucun descendant n'est observé.
4. Conclus à la d-séparation uniquement si tous les chemins sont bloqués.

Pour le parapluie et l'accident, le seul chemin est $U\leftarrow R\to T\leftarrow A$. Sans observation, le trafic le bloque, donc $U\perp A$. Sachant le retard, le collisionneur du trafic s'ouvre et la pluie reste non observée ; le chemin devient donc actif. Le modèle numérique donne $P(u\mid l)\approx \mathrm{0,434}$ mais $P(u\mid a,l)\approx \mathrm{0,356}$.

Si le retard et la pluie sont tous deux observés, le collisionneur du trafic reste ouvert, mais la pluie bloque le chemin en tant que non-collisionneur observé. Ainsi $U\perp A\mid L,R$. Ouvrir une partie d'un chemin ne supprime pas un blocage ailleurs.

Le parapluie et le retard sont reliés par le chemin $U\leftarrow R\to T\to L$. Il est actif sans observation et bloqué par la pluie ou par le trafic. Par exemple, $P(l\mid u,r)=P(l\mid r)=\mathrm{0,4625}$.

Interpréter la garantie du graphe

La d-séparation est correcte : l'indépendance est vérifiée pour toute loi conforme au graphe. Un chemin actif signifie que l'indépendance n'est pas garantie. Certaines valeurs des tables de probabilités conditionnelles peuvent néanmoins rendre les variables indépendantes par coïncidence. Dans un graphe à plusieurs chemins, examiner un seul chemin bloqué ne suffit pas : un autre peut rester actif.

Un réseau stocke une loi conjointe sous forme d'éléments locaux. L'inférence exacte les combine pour répondre à une requête, en additionnant sur les variables dont les valeurs restent inconnues. L'énumération est la façon directe de procéder.

Distinguer les trois rôles des variables

Dans $P(X\mid e)$, $X$ est la variable de requête et $e$ fixe les observations. Toute autre variable est cachée. Remplace la loi conjointe par le produit du réseau dans la formule générale d'énumération :

Calcule un total non normalisé pour chaque valeur de la variable de requête, puis divise par leur somme. Les valeurs observées restent fixes dans chaque produit. Les variables cachées parcourent leurs domaines entiers.

Pour le modèle du trajet, avec les flèches $R\to T\leftarrow A$, $T\to L$ et $R\to U$, la requête $P(R\mid l)$ laisse cachés l'accident, le trafic et le parapluie. Chaque terme complet utilise $P(R)P(A)P(T\mid R,A)P(l\mid T)P(U\mid R)$.

Supprimer une feuille sans incidence

Le parapluie n'a aucun descendant observé et n'est ni la variable de requête ni une observation. Additionner sa table de probabilités conditionnelles sur les deux valeurs donne ${\sum }_{u^{\mathrm{\prime }}}P(u^{\mathrm{\prime }}\mid r)=1$ pour chaque valeur de pluie. Sa contribution disparaît.

Plus généralement, garde les variables de requête, les variables observées et tous leurs ancêtres. Les autres variables peuvent être supprimées en additionnant d'abord sur les feuilles sans incidence, puis en remontant. Cela concerne leur contribution à cette requête ; un nœud non observé peut compter dans une autre requête.

Calculer les deux totaux pour la pluie

Les tables du trajet donnent $P(r)=\mathrm{0,2}$, $P(a)=\mathrm{0,1}$, les probabilités de trafic 0,95, 0,7, 0,8 et 0,2 pour les combinaisons de parents $(r,a),(r,\mathrm{\neg }a),(\mathrm{\neg }r,a),(\mathrm{\neg }r,\mathrm{\neg }a)$, et les probabilités de retard 0,6 avec trafic et 0,1 sans trafic.

Avec pluie et accident, additionne les possibilités de trafic : $\mathrm{0,95}(\mathrm{0,6})+\mathrm{0,05}(\mathrm{0,1})=\mathrm{0,575}$. Avec pluie et sans accident, le résultat est $\mathrm{0,7}(\mathrm{0,6})+\mathrm{0,3}(\mathrm{0,1})=\mathrm{0,45}$. Pondère par les probabilités d'accident, puis par celle de la pluie :

Sans pluie, les totaux internes correspondants sont 0,5 et 0,2, ce qui donne

Normalise par $\mathrm{0,0925}+\mathrm{0,184}=\mathrm{0,2765}$. La réponse est $P(R\mid l)\approx ⟨\mathrm{0,335};\mathrm{0,665}⟩$ pour vrai et faux. Donner 0,0925 reviendrait à donner l'événement conjoint, avant conditionnement.

Garder les sommes liées à leurs dépendances

Un facteur ne peut sortir d'une somme que si aucun de ses arguments ne dépend de la variable sur laquelle porte la sommation. Par exemple, $P(r)$ peut sortir de la somme sur les accidents ; $P(t\mid r,a^{\mathrm{\prime }})$ ne le peut pas, car l'accident est un argument parent.

Si le parapluie est observé, il ne disparaît plus par sommation. Avec $P(u\mid r)=\mathrm{0,9}$ et $P(u\mid \mathrm{\neg }r)=\mathrm{0,2}$, la nouvelle probabilité a posteriori est $\mathrm{0,08325}\mathrm{/}(\mathrm{0,08325}+\mathrm{0,0368})\approx \mathrm{0,693}$. L'énumération peut s'exécuter en profondeur d'abord avec peu de mémoire, mais elle parcourt un nombre exponentiel d'affectations cachées et répète des calculs partiels.

L'énumération répète du travail car de nombreux mondes complets partagent le même calcul partiel. L'élimination de variables stocke ces résultats partiels sous forme de facteurs et les réutilise. Elle calcule la même loi a posteriori exacte dans un ordre de calcul différent.

Facteurs, produits et observations

Un facteur associe des nombres positifs ou nuls aux affectations de ses variables. Les tables de probabilités conditionnelles sont les facteurs initiaux, mais les facteurs intermédiaires n'ont pas à avoir une somme égale à 1. Prends en compte une observation en conservant la valeur observée. Pour l'observation du retard, $P(l\mid T)$ est un facteur portant sur le trafic, de valeurs 0,6 et 0,1.

Le produit de facteurs multiplie les valeurs correspondantes et utilise l'union de leurs ensembles de variables. Multiplier $P(A)$ et $P(T\mid R,A)$ donne un facteur portant sur la pluie, l'accident et le trafic. L'élimination par sommation de l'accident consiste à additionner les valeurs qui ne diffèrent que par la valeur de l'accident.

Pour chaque variable cachée, multiplie tous les facteurs qui la contiennent, élimine-la par sommation et remplace ces facteurs par le résultat. Garde les facteurs qui ne la mentionnent pas. À la fin, multiplie les facteurs restants et normalise sur les valeurs de la variable de requête.

Éliminer l'accident, puis le trafic

Pour $P(R\mid l)$, supprime la feuille non observée du parapluie. Pars de $P(R)$, $P(A)$, $P(T\mid R,A)$ et $P(l\mid T)$. L'élimination de l'accident donne

Ses valeurs pour un trafic présent sont $f_1(r,t)=\mathrm{0,1}(\mathrm{0,95})+\mathrm{0,9}(\mathrm{0,7})=\mathrm{0,725}$ et $f_1(\mathrm{\neg }r,t)=\mathrm{0,1}(\mathrm{0,8})+\mathrm{0,9}(\mathrm{0,2})=\mathrm{0,26}$. Les valeurs pour un trafic absent sont 0,275 et 0,74.

Élimine maintenant le trafic :

Cela donne $f_2(r)=\mathrm{0,725}(\mathrm{0,6})+\mathrm{0,275}(\mathrm{0,1})=\mathrm{0,4625}$ et $f_2(\mathrm{\neg }r)=\mathrm{0,26}(\mathrm{0,6})+\mathrm{0,74}(\mathrm{0,1})=\mathrm{0,23}$. La multiplication par la probabilité a priori de pluie donne $⟨\mathrm{0,0925};\mathrm{0,184}⟩$. Divise par 0,2765 pour obtenir $⟨\mathrm{0,335};\mathrm{0,665}⟩$.

Éliminer d'abord le trafic fonctionne aussi. Le facteur $g(R,A)={\sum }_{t^{\mathrm{\prime }}}P(t^{\mathrm{\prime }}\mid R,A)P(l\mid t^{\mathrm{\prime }})$ a pour valeurs 0,575, 0,45, 0,5 et 0,2. La pondération par la probabilité a priori d'accident produit ensuite les deux mêmes vraisemblances du retard.

Choisir un ordre qui garde les facteurs petits

Un facteur portant sur $k$ variables à $d$ valeurs comporte $d^k$ valeurs. Le plus grand ensemble de variables d'un facteur intermédiaire domine généralement le coût. Supposons qu'une variable cachée $Z$ pointe vers les variables booléennes $X_1,\dots ,X_n$, chacune ayant un enfant observé $Y_i$, et que la requête porte sur $X_n$. Éliminer d'abord $Z$ multiplie les facteurs dans une table portant sur $Z,X_1,\dots ,X_n$, puis laisse $2^n$ valeurs. Éliminer d'abord les autres $X_i$ réduit au contraire chaque branche à un facteur portant sur $Z$ ; le plus grand produit porte seulement sur $Z,X_i$ et comporte quatre valeurs.

Un polyarbre comporte au plus un chemin non orienté entre deux nœuds quelconques. Avec un bon ordre, l'inférence est linéaire par rapport à la taille totale des tables de probabilités conditionnelles. L'inférence exacte générale et la recherche de l'ordre d'élimination optimal sont NP-difficiles. Une heuristique pratique choisit une variable qui crée un petit facteur à l'étape suivante. Garde la variable de requête jusqu'à la normalisation. Multiplier tout un facteur par une constante positive laisse la réponse normalisée inchangée.

Lorsque les sommes exactes sont trop coûteuses, un agent peut simuler des affectations et estimer les probabilités à partir de leurs fréquences. L'échantillonnage produit une approximation dont la qualité dépend de la quantité d'information utile contenue dans les tirages.

Transformer un nombre aléatoire en valeur

Tire un nombre uniforme $u$ dans $[0;1[$. Découpe cet intervalle en parties dont les longueurs sont égales aux probabilités. Pour les probabilités météo $⟨\mathrm{0,5};\mathrm{0,3};\mathrm{0,2}⟩$, le soleil occupe $[0;\mathrm{0,5}[$, les nuages $[\mathrm{0,5};\mathrm{0,8}[$ et la pluie $[\mathrm{0,8};1[$. Un tirage de 0,63 donne des nuages. Pour une variable booléenne, choisis vrai si le tirage est inférieur à sa probabilité d'être vraie.

Échantillonner les parents avant les enfants

L'échantillonnage ancestral parcourt les variables dans un ordre topologique. Chaque nœud est échantillonné selon la ligne de sa table de probabilités conditionnelles sélectionnée par les valeurs échantillonnées de ses parents. Le terme ancestral désigne ici le tirage dans le réseau avant de conditionner la population d'échantillons sur les observations de la requête.

Dans le modèle du trajet, utilise l'ordre $R,A,T,L,U$ et les tirages 0,13, 0,57, 0,40, 0,81 et 0,35 :

1. La pluie est vraie car $\mathrm{0,13}<\mathrm{0,2}$.
2. L'accident est faux car $\mathrm{0,57}\ge \mathrm{0,1}$.
3. Le trafic est vrai car $\mathrm{0,40}<P(t\mid r,\mathrm{\neg }a)=\mathrm{0,7}$.
4. Le retard est faux car $\mathrm{0,81}\ge P(l\mid t)=\mathrm{0,6}$.
5. Le parapluie est vrai car $\mathrm{0,35}<P(u\mid r)=\mathrm{0,9}$.

L'affectation est $(r,\mathrm{\neg }a,t,\mathrm{\neg }l,u)$. Sa probabilité de génération est $\mathrm{0,2}(\mathrm{0,9})(\mathrm{0,7})(\mathrm{0,4})(\mathrm{0,9})=\mathrm{0,04536}$, exactement sa probabilité selon la loi conjointe du réseau. Échantillonner un enfant avant ses parents laisserait indéterminée la ligne de la table de probabilités conditionnelles nécessaire.

Estimer des probabilités à partir des effectifs

La proportion d'échantillons ancestraux contenant un retard estime $P(l)$, qui vaut 0,2765 dans ce modèle. L'estimateur est convergent : lorsque le nombre de tirages indépendants augmente, il converge vers la probabilité réelle. Une exécution plus longue peut encore fluctuer. L'erreur typique d'échantillons indépendants évolue comme $1\mathrm{/}\sqrt{N}$ ; quadrupler le nombre d'échantillons la divise donc approximativement par deux, mais le doubler ne suffit pas.

Conditionner par échantillonnage par rejet

L'échantillonnage par rejet génère des affectations ancestrales et écarte celles qui contredisent les observations. Ne compte les valeurs de la variable de requête que parmi les affectations conservées. Par exemple, supposons que 280 des 1 000 affectations contiennent un retard et que 94 d'entre elles contiennent aussi la pluie. Alors $P(r\mid l)\approx 94\mathrm{/}280\approx \mathrm{0,336}$. Diviser par 1 000 estimerait plutôt l'événement conjoint pluie et retard.

Un échantillon peut être abandonné dès qu'il contredit une observation, ce qui économise le reste du travail de simulation. La proportion attendue d'échantillons conservés reste $P(e)$. Le retard seul en conserve environ 28 % ; le retard avec parapluie environ 12 %, puisque $P(l,u)=\mathrm{0,12005}$. De nombreuses observations peuvent rendre leur combinaison rare même si chacune est ordinaire prise isolément. Si aucun échantillon ne survit, l'estimation conditionnelle est indéfinie et un échantillonnage plus utile est nécessaire.

L'échantillonnage par rejet passe du temps à créer des affectations inutilisables. La pondération par la vraisemblance garde chaque variable observée fixe et compense par un poids. Les échantillons dont les valeurs cachées rendent les observations probables contribuent davantage.

Construire une affectation pondérée

Commence chaque échantillon avec un poids de 1. Parcours les nœuds dans un ordre topologique. Échantillonne un nœud non observé à l'aide des valeurs actuelles de ses parents. Pour un nœud observé, garde sa valeur observée et multiplie le poids par la probabilité de cette valeur dans la table de probabilités conditionnelles :

Seules les probabilités des observations entrent dans ce poids. Les probabilités des nœuds échantillonnés déterminent déjà la fréquence de génération de leurs affectations. Les multiplier dans le poids reviendrait à les compter deux fois.

Deux échantillons dans le modèle du trajet

Pour $P(R\mid l,u)$, garde le retard et le parapluie vrais. Échantillonne la pluie, l'accident et le trafic. Les probabilités de trafic pour $(r,a),(r,\mathrm{\neg }a),(\mathrm{\neg }r,a),(\mathrm{\neg }r,\mathrm{\neg }a)$ sont 0,95, 0,7, 0,8 et 0,2, avec les probabilités a priori $P(r)=\mathrm{0,2}$ et $P(a)=\mathrm{0,1}$.

Les tirages 0,13, 0,57 et 0,40 donnent pluie, absence d'accident et trafic dense. Le retard fixé contribue par $P(l\mid t)=\mathrm{0,6}$ ; le parapluie fixé contribue par $P(u\mid r)=\mathrm{0,9}$. Le poids de l'échantillon est $\mathrm{0,6}(\mathrm{0,9})=\mathrm{0,54}$.

Les tirages 0,66, 0,05 et 0,92 donnent au contraire absence de pluie, accident et absence de trafic dense. Les vraisemblances des observations sont maintenant $P(l\mid \mathrm{\neg }t)=\mathrm{0,1}$ et $P(u\mid \mathrm{\neg }r)=\mathrm{0,2}$, donc le poids est de 0,02. Les deux échantillons correspondent aux observations car ces valeurs ont été fixées, mais leurs contributions diffèrent fortement.

Normaliser les poids, pas le nombre d'échantillons

Estime une probabilité de requête par

L'estimation de la pluie à partir des deux échantillons est $\mathrm{0,54}\mathrm{/}(\mathrm{0,54}+\mathrm{0,02})\approx \mathrm{0,964}$. Elle est loin de la probabilité a posteriori exacte d'environ 0,693 ; deux tirages sont trop peu nombreux pour représenter les affectations cachées pertinentes. Avec de nombreux tirages, le rapport pondéré converge vers la loi a posteriori. Diviser 0,54 par deux ne produirait pas une estimation de probabilité conditionnelle.

La correction fonctionne car multiplier la probabilité d'échantillonnage par le poids des observations restitue le produit conjoint complet. La normalisation élimine la probabilité commune des observations et laisse la loi conditionnelle.

Reconnaître la concentration des poids

Les observations fixées influencent l'échantillonnage de leurs descendants, puisque ceux-ci les utilisent dans les lignes de leurs parents. Les variables en amont restent tirées sans retour des observations situées en aval. Si des observations rares se trouvent aux feuilles, la plupart des affectations en amont peuvent mal les expliquer. Leurs poids sont minuscules et quelques affectations peuvent dominer le résultat.

La pondération par la vraisemblance utilise souvent les calculs plus efficacement que l'échantillonnage par rejet, mais « aucun échantillon rejeté » ne signifie pas que tous les échantillons sont aussi informatifs. Une longue exécution avec des poids très inégaux peut encore donner une estimation instable. Examine quelles affectations portent le poids total lorsque tu compares les résultats de plusieurs exécutions.

L'échantillonnage de Gibbs conserve une affectation complète et modifie une variable non observée à la fois. Chaque modification est tirée selon la loi conditionnelle de la variable sachant les valeurs actuelles de toutes les autres variables. La séquence forme un échantillonneur de Monte-Carlo par chaînes de Markov, ou MCMC.

Démarrer une chaîne et garder les observations fixes

Fixe les observations à leurs valeurs observées et initialise les variables restantes. En présence de zéros déterministes, pars d'une affectation compatible avec les observations et de probabilité conjointe positive. Choisis une variable non observée à mettre à jour, calcule une probabilité pour chacune de ses valeurs possibles, normalise et tire la nouvelle valeur. Toutes les autres valeurs restent en place pendant cette étape. La répétition du processus permet aux observations d'influencer les croyances en amont comme en aval.

Seule la couverture de Markov du nœud choisi est nécessaire : ses parents, ses enfants et les autres parents de ses enfants. Les facteurs extérieurs à cette couverture ne changent pas lorsque la valeur choisie change ; ils s'annulent donc lors de la normalisation. La formule locale est

Les enfants gardent leurs valeurs actuelles pendant que chaque valeur candidate du parent choisi est essayée. Les valeurs de leurs tables de probabilités conditionnelles peuvent donc changer même si les enfants ne sont pas rééchantillonnés.

Mettre à jour la pluie dans le modèle du trajet

Garde le retard et le parapluie vrais. Supposons que l'état caché courant soit absence de pluie, absence d'accident et trafic dense. La couverture de la pluie est le trafic, le parapluie et l'accident. Pour une pluie vraie, le score local est

Pour une pluie fausse, le score est $\mathrm{0,8}(\mathrm{0,2})(\mathrm{0,2})=\mathrm{0,032}$. La normalisation donne $P(r\mid \text{couverture})=\mathrm{0,126}\mathrm{/}\mathrm{0,158}\approx \mathrm{0,797}$. Un tirage uniforme de 0,40 rend donc la pluie vraie. Le facteur du retard est absent de cette mise à jour car le trafic reste fixe et ce facteur est constant pour les deux valeurs candidates de la pluie.

Mettre à jour le trafic avec la nouvelle valeur de pluie

La couverture du trafic est la pluie, l'accident et le retard. Ses deux scores sont $\mathrm{0,7}(\mathrm{0,6})=\mathrm{0,42}$ pour un trafic dense et $\mathrm{0,3}(\mathrm{0,1})=\mathrm{0,03}$ pour son absence. Sa probabilité d'être vrai est donc $\mathrm{0,42}\mathrm{/}\mathrm{0,45}\approx \mathrm{0,933}$. Pour une mise à jour de l'accident avec pluie et trafic dense fixés, la probabilité d'être vrai est $\mathrm{0,095}\mathrm{/}(\mathrm{0,095}+\mathrm{0,63})\approx \mathrm{0,131}$.

Compter les états et laisser le temps au mélange

Après chaque mise à jour, l'affectation complète peut compter comme un échantillon, y compris si la valeur choisie reste inchangée. Écarte une période de chauffe initiale pour réduire l'influence de l'initialisation. Lorsque la chaîne converge, la fréquence de la pluie à long terme se rapproche d'environ 0,693 pour cette requête.

Les états successifs partagent presque toutes leurs valeurs et sont corrélés. Ils contiennent moins d'information indépendante que le même nombre de tirages indépendants. Lorsque toutes les valeurs des tables de probabilités conditionnelles sont strictement comprises entre 0 et 1, des mises à jour répétées appropriées peuvent atteindre chaque état et converger vers la loi a posteriori. Des contraintes déterministes peuvent piéger une chaîne qui modifie une seule variable à la fois ; des relations presque déterministes peuvent la faire évoluer très lentement.

L'échantillonnage ancestral tire selon la loi conjointe ; le rejet filtre ces tirages ; la pondération par la vraisemblance fixe les observations et pondère les affectations ; Gibbs met à jour plusieurs fois un état à observations fixées. Conditionner uniquement sur les parents donnerait une mauvaise loi locale pour une mise à jour de Gibbs, car cela omettrait les observations des enfants.

Les probabilités décrivent ce qui peut arriver ; les utilités décrivent à quel point les issues sont souhaitables. Une fonction d'utilité attribue des nombres plus élevés aux issues préférées. Une action incertaine est une loterie, qui énumère les issues et leurs probabilités.

Calculer la moyenne des utilités des issues possibles

L'espérance d'utilité d'une action est

Multiplie l'utilité de chaque issue par sa probabilité et additionne. Le principe d'espérance d'utilité maximale choisit l'action dont le résultat est le plus élevé. L'issue dont l'utilité individuelle est la plus élevée n'appartient pas nécessairement à la meilleure action, et l'issue la plus probable ne détermine pas à elle seule le choix. Une décision judicieuse peut tout de même produire un mauvais résultat par hasard.

Pourquoi des préférences cohérentes fondent ce principe

La théorie de l'utilité utilise ces exigences de rationalité :

• Comparabilité : deux loteries quelconques peuvent être comparées, y compris avec une indifférence.
• Transitivité : préférer A à B et B à C implique de préférer A à C.
• Continuité : une issue intermédiaire peut être égalée par une loterie entre de meilleures et de moins bonnes issues.
• Substituabilité : une issue ou une loterie indifférente peut en remplacer une autre dans une loterie plus large.
• Monotonie : entre des loteries ayant les mêmes meilleure et moins bonne issues, on préfère celle qui donne la plus grande probabilité à la meilleure.
• Décomposabilité : une loterie de loteries se réduit aux probabilités de ses issues finales.

Le résultat de von Neumann-Morgenstern représente les préférences respectant ces exigences par une espérance d'utilité. Des préférences cycliques violent la transitivité. Si un agent paie une petite somme pour passer de B à A, de A à C et de C à B, des échanges répétés le ramènent à sa situation initiale tout en lui faisant perdre de l'argent. C'est le problème de la « pompe à argent ».

L'argent et l'utilité peuvent classer les loteries différemment

Compare un paiement certain de 400 avec une chance de 50 % de recevoir 1 000 et une chance de 50 % de recevoir zéro. L'espérance monétaire favorise la loterie, dont la moyenne est de 500. Pour $U(x)=\sqrt{x}$, cependant, l'espérance d'utilité de la loterie est $\mathrm{0,5}\sqrt{1000}+\mathrm{0,5}\sqrt{0}\approx \mathrm{15,81}$, tandis que le paiement certain donne 20. Cet agent choisit 400.

L'équivalent certain est le montant certain ayant l'utilité de la loterie. Ici, il vaut $(\mathrm{0,5}\sqrt{1000}{)}^2=250$. La différence entre l'espérance monétaire et l'équivalent certain est la prime de risque, égale à 250 dans cet exemple.

Avec une utilité concave, un montant certain égal à la moyenne est au moins aussi souhaitable que la loterie de même moyenne. Une concavité stricte rend cette préférence stricte pour une loterie non triviale. Une option risquée suffisamment favorable peut néanmoins être préférable à un montant certain de moindre valeur.

Changer d'échelle sans changer les préférences

Remplacer l'utilité par $U^{\mathrm{\prime }}(s)=kU(s)+c$ avec $k>0$ préserve toutes les comparaisons d'espérance d'utilité. Chaque espérance reçoit la même mise à l'échelle positive et le même décalage. Une transformation croissante quelconque préserve le classement des issues certaines, mais peut modifier celui des loteries.

Lorsque l'on compare plusieurs attributs souhaitables, une option au moins aussi bonne sur chaque attribut et meilleure sur au moins un domine l'autre. Avec des préférences qui valorisent ces améliorations, l'option dominée peut être écartée sans préciser les poids exacts des attributs.

Un réseau de décision, aussi appelé diagramme d'influence, combine un modèle de probabilité avec des choix et des préférences. Sa résolution nécessite à la fois une inférence sur les états incertains et une comparaison des actions disponibles pour l'agent.

Lire les trois types de nœuds

Les nœuds de hasard, généralement ovales, ont des tables de probabilités. Les nœuds de décision, généralement rectangulaires, représentent les actions contrôlées par l'agent. Les nœuds d'utilité, généralement en forme de losange, attribuent une utilité aux combinaisons de valeurs des parents. Une flèche entrant dans un nœud de décision indique une information disponible au moment du choix. Ce n'est pas une dépendance ordinaire de probabilité conditionnelle.

Pour un événement en plein air, la pluie influence une prévision et l'utilité de l'événement. L'action influence aussi l'utilité. La prévision pointe vers la décision lorsqu'elle est observée avant le choix de la personne organisatrice. Aucune flèche ne va de l'action vers la pluie : passer à l'intérieur ne change pas la météo.

Résoudre sans prévision

Supposons que $P(rain)=\mathrm{0,3}$ et utilisons cette table d'utilité :

Les espérances d'utilité sont $EU(outdoors)=\mathrm{0,7}(100)+\mathrm{0,3}(0)=70$ et $EU(indoors)=\mathrm{0,7}(60)+\mathrm{0,3}(70)=63$. Sans information supplémentaire, choisis l'extérieur et l'espérance d'utilité maximale est de 70. Le nœud de décision reçoit une valeur choisie, pas une table de probabilités permettant de calculer une moyenne sur les actions.

Intégrer une prévision

Posons $P(wet\mid rain)=\mathrm{0,8}$ et $P(wet\mid \mathrm{\neg }rain)=\mathrm{0,1}$. La probabilité d'une prévision pluvieuse est $\mathrm{0,8}(\mathrm{0,3})+\mathrm{0,1}(\mathrm{0,7})=\mathrm{0,31}$. La formule de Bayes donne $P(rain\mid wet)=\mathrm{0,24}\mathrm{/}\mathrm{0,31}\approx \mathrm{0,774}$. Une prévision sèche donne $P(rain\mid dry)=\mathrm{0,06}\mathrm{/}\mathrm{0,69}\approx \mathrm{0,087}$.

Avec une prévision pluvieuse, l'espérance d'utilité de l'extérieur est d'environ 22,6 et celle de l'intérieur d'environ 67,7 : choisis donc l'intérieur. Avec une prévision sèche, l'extérieur donne environ 91,3 et l'intérieur environ 60,9 : choisis donc l'extérieur. Utilise la loi a posteriori après une observation ; garder la probabilité a priori ferait perdre l'information fournie par la prévision.

La politique obtenue est « Choisis l'intérieur après une prévision pluvieuse ; choisis l'extérieur après une prévision sèche ». Une politique associe des actions aux observations ; elle peut donc être définie avant l'arrivée de l'observation. Une action est le choix unique effectué une fois l'information disponible.

Trouver où le choix change

Soit $p$ la probabilité actuelle de pluie. Alors $EU(outdoors)=100(1-p)$ et $EU(indoors)=60(1-p)+70p=60+10p$. Leur égalité donne $40=110p$, soit $p=4\mathrm{/}11\approx \mathrm{0,364}$. En dessous de ce seuil, choisis l'extérieur ; au-dessus, choisis l'intérieur ; au seuil, les actions sont à égalité.

Pour résoudre un autre réseau de décision, fixe les observations actuelles, considère chaque action à tour de rôle, infère la loi des variables aléatoires pertinentes pour l'utilité et calcule son espérance d'utilité. Si une action modifie une issue incertaine, inclus ses effets dans le modèle de probabilité avant de comparer les espérances. Sélectionne enfin la meilleure action séparément pour chaque observation possible que la politique recevra.

Une observation a de la valeur lorsqu'elle aide l'agent à choisir une meilleure action. La valeur de l'information parfaite mesure l'amélioration attendue de la connaissance de la valeur d'une variable avant d'agir. « Parfaite » décrit l'accès à la valeur réelle de cette variable ; la variable peut elle-même être une prévision imparfaite d'autre chose.

Optimiser pour chaque observation possible

Sachant les observations actuelles $e$, la valeur de l'observation de $E^{\mathrm{\prime }}$ est

Trouve d'abord la meilleure espérance d'utilité d'une décision immédiate. Ensuite, pour chaque observation possible, actualise les probabilités et choisis la meilleure action correspondant à cette observation. Calcule la moyenne de ces utilités optimisées à l'aide des probabilités des observations. Soustrais l'espérance d'utilité maximale actuelle. Choisir d'abord une action puis calculer une moyenne ferait perdre la possibilité d'adapter l'action.

Évaluer la prévision et la météo

Pour le modèle de l'événement, choisir l'extérieur sans prévision donne une espérance d'utilité maximale de 70. Les prévisions pluvieuses surviennent avec une probabilité de 0,31 et conduisent à l'intérieur, avec une espérance d'utilité maximale d'environ 67,74. Les prévisions sèches surviennent avec une probabilité de 0,69 et conduisent à l'extérieur, avec une espérance d'utilité maximale d'environ 91,30. En gardant les valeurs exactes, on obtient

Ainsi $VPI(F)=84-70=14$ unités d'utilité. Un coût exprimé comme une perte d'utilité inférieure à 14 rend l'obtention de la prévision avantageuse ; à 14, l'agent est indifférent. Un prix monétaire doit d'abord être évalué sur l'échelle d'utilité de l'agent.

Connaître la météo elle-même est plus utile. La pluie conduit à l'intérieur avec une utilité de 70 ; l'absence de pluie conduit à l'extérieur avec une utilité de 100. La moyenne est $\mathrm{0,3}(70)+\mathrm{0,7}(100)=91$, donc $VPI(Rain)=91-70=21$.

Pourquoi la valeur attendue de l'information est positive ou nulle

L'agent peut toujours ignorer une information gratuite et garder son action initiale. Optimiser après l'observation ne peut donc jamais réduire l'espérance d'utilité avant que l'observation soit connue. Si la même action est la meilleure pour chaque résultat possible, l'information a une valeur nulle. Dans ce modèle de décision, une information indépendante de toutes les variables aléatoires pertinentes pour l'utilité, sachant les observations actuelles, a aussi une valeur nulle.

Un résultat particulier peut néanmoins être défavorable. Après une prévision pluvieuse, l'espérance d'utilité maximale est d'environ 67,7, en dessous des 70 précédents. La non-négativité concerne la moyenne sur tous les résultats avant de les connaître.

Combiner les informations sans les compter deux fois

La valeur de l'information parfaite n'est généralement pas additive. La prévision seule vaut 14 et la météo seule 21, mais connaître les deux vaut 21 car la prévision n'ajoute rien une fois la météo connue.

Après une prévision pluvieuse, connaître la météo ajoute environ 9,03 ; après une prévision sèche, environ 6,09. Avant de voir la prévision, la valeur supplémentaire attendue est $\mathrm{0,31}(\mathrm{9,03})+\mathrm{0,69}(\mathrm{6,09})\approx 7$. Le gain conjoint est donc $14+7=21$, égal au gain obtenu en apprenant d'abord la météo puis en ajoutant zéro. Le total ne dépend pas de l'ordre lorsque toutes les observations précèdent l'action, chaque gain ultérieur étant évalué à l'aide des informations précédentes.

Un agent qui recueille des informations peut choisir successivement l'observation dont la valeur de l'information parfaite diminuée du coût est positive et la plus élevée, puis agir lorsqu'aucune ne vaut plus son coût. Cette stratégie myope évalue une observation à la fois. Deux observations peuvent être utiles ensemble même si aucune ne change seule la meilleure action ; la sélection gloutonne peut donc manquer une paire précieuse.