Comprendre les probabilités

« 70 % » ne veut pas dire « ça va arriver ». Cela veut dire : si l'on pouvait rejouer cette situation dix fois, on s'attendrait à ce que l'événement se produise sept fois et ne se produise pas trois fois.

Les trois fois sur dix ne sont pas une erreur du modèle. Elles font partie de ce que le modèle a annoncé. Un prévisionniste qui dit 70 % et a toujours raison ne dit pas la vérité sur son incertitude : il aurait dû dire 100 %.

On ne peut pas juger une prévision isolée. Un événement annoncé à 20 % qui se produit ne prouve rien du tout : 20 %, c'est une fois sur cinq, et une fois sur cinq arrive souvent.

Ce qui se juge, c'est un ensemble. Prenez cent prévisions annoncées à 70 % : si environ soixante-dix se réalisent, le prévisionniste est bien calibré. Si quatre-vingt-dix se réalisent, il est trop prudent et aurait dû annoncer davantage. Si cinquante se réalisent, il est trop sûr de lui.

C'est la seule mesure honnête, et elle demande du temps et du volume. Ne concluez rien d'une prévision ; concluez de beaucoup.

Predictly affiche deux choses qui se ressemblent et ne mesurent pas la même chose. C'est l'erreur de lecture la plus fréquente.

La probabilité

À quel point l'événement est susceptible de se produire.

La confiance

À quel point la réponse repose sur des éléments nombreux, indépendants et sérieux.

Les quatre combinaisons existent, et chacune se lit différemment :

• Probabilité haute, confiance élevée : l'issue est nette et le dossier est solide.
• Probabilité haute, confiance faible : l'issue paraît nette, mais sur peu de choses. À reconsidérer dès qu'il sortira quelque chose.
• Probabilité basse, confiance élevée : il est bien établi que c'est peu probable. C'est une information utile, pas une contradiction.
• Probabilité basse, confiance faible : on ne sait pas grand-chose, et le peu que l'on sait ne plaide pas pour.

Predictly arrondit à 5 points près : 55 %, 60 %, 65 %. Jamais 61,4 %.

Un chiffre à la décimale suppose une mesure que personne n'a faite. Sur un match, une sortie de jeu ou un vote, la différence entre 61 % et 62 % n'existe pas dans les données : elle existe seulement dans l'arithmétique qui les a produites. L'arrondi est une façon de ne pas suggérer une précision qui n'y est pas.

Avant de regarder l'actualité d'un sujet, une question utile est : d'habitude, ça arrive combien de fois ? C'est le taux de base, et c'est ce que l'on oublie le plus souvent.

Les reports de date sont courants dans le jeu vidéo ; les transferts annoncés comme imminents n'aboutissent pas toujours ; un sortant se représente plus souvent qu'il ne perd. Une actualité spectaculaire déplace l'estimation, mais elle part de quelque part, et ce point de départ compte autant que la dernière dépêche.

Le mot affiché à côté du pourcentage dépend du pourcentage lui-même et de l'écart avec le résultat suivant. Il est fixe par palier, pour que le même chiffre se lise toujours de la même façon.

Probable

65 % ou plus.

Favori

Le résultat de tête, nettement devant le suivant, sans atteindre 65 %.

Ouvert

Le résultat de tête, mais avec moins de 10 points d'avance sur le suivant. Autant dire que rien n'est joué.

Possible

35 % ou plus, sans être en tête.

Peu probable

En dessous.

Il arrive qu'aucun pourcentage ne s'affiche et que Predictly dise simplement qu'il n'a pas assez d'éléments fiables. Ce n'est pas une panne : c'est le seuil de preuve décrit dans la méthodologie.

Un sujet confidentiel, trop récent, ou dont tout le monde reprend la même source unique, ne fournit pas de quoi estimer quoi que ce soit. Annoncer un chiffre dans ce cas reviendrait à habiller une impression en mesure.

Pour le détail du calcul derrière le pourcentage, voir la méthodologie. Pour la façon de poser une question, voir comment ça marche.