Répète pour voir ? Readback, hearback, et ce qu'une machine comprend vraiment
La confiance n'est jamais plus solide que le canal par lequel elle passe. Mais il y a une façon simple d'en vérifier la qualité : répéter.
TOWER: Tiger six six, descend two four zero zero, cleared for NDB approach runway three three.
…
CAPTAIN: Okay, four zero zero.Vol Flying Tiger Line 66, Kuala Lumpur, 19 février 1989. Répliques légèrement simplifiées, d'après la transcription de l'enregistreur de conversations du poste de pilotage. Détail parlant : la transcription publiée écrit elle-même les mots du contrôleur « descend (two/to) four zero zero ». Voir le rapport d'enquête officiel, qui inclut la transcription.
…
L'autre moitié de la confiance
Dans le billet précédent, je décrivais la confiance comme le fait de s'autoriser à moins vérifier. On s'intéressait à ce à quoi on fait confiance : le sol, un collègue, un ami, une IA. Comment on en vient à lui faire confiance, et comment cette confiance se perd.
Mais la confiance a une deuxième composante : le canal de communication. Même quand vous faites entièrement confiance à quelqu'un, ce que vous dites doit encore lui parvenir, et inversement. Les mots passent par l'air, par la radio, par la poste. Ce sont des canaux, et mieux vaut ne pas s'y fier aveuglément.L'image d'un émetteur, d'un canal et d'un récepteur vient de Claude Shannon, A Mathematical Theory of Communication (1948). Sur les raisons pour lesquelles fiabiliser le canal ne remplacera jamais tout à fait une vérification aux deux bouts, voir Saltzer, Reed et Clark, End-to-End Arguments in System Design (1984). Et à un niveau plus abstrait, le sens lui-même passe par des mots, ou parfois par de jolis bonshommes bâtons, et ce sont aussi des canaux, qui méritent qu'on s'y attarde.
Deux briques, donc : la confiance dans l'interlocuteur, et la confiance dans le canal. Si le canal vous induit en erreur, la personne la plus fiable du monde peut vous envoyer droit dans une colline.
Que s'est-il passé au-dessus de Kuala Lumpur ?
En février 1989, le vol Flying Tiger 66, un Boeing 747 cargo, est en approche sur Kuala Lumpur, au-dessus d'un relief vallonné.
Le contrôleur veut faire descendre l'avion à 2 400 pieds. Il dit « descend two four zero zero ». Prononcé vite, à la radio, ça ressemble beaucoup à « descend to four zero zero » : en anglais, two (deux) et to (à) se prononcent exactement pareil. Autrement dit : descendez à quatre cents pieds au-dessus du niveau de la mer.
C'est ce que le commandant entend. Il répond « okay, four zero zero », et commence à descendre. Sauf que dans la région, les collines culminaient bien au-dessus de 400 pieds…
L'art de répéter : qu'est-ce que le readback ?
Ce qui aurait dû se passer, c'est que la tour remarque, à la moindre ambiguïté, que la réponse ne correspondait pas à l'instruction. L'aviation a une procédure exactement pour ça : le readback. Quand quelqu'un donne une instruction ou une information, celui qui la reçoit doit la répéter, mot pour mot, et celui qui l'a donnée doit écouter très attentivement. En français, on parle de collationnement, et pour le hearback dont il sera question plus bas, de contre-écoute ; mais vous ne croiserez quasiment jamais ces termes, alors on s'en tiendra à l'anglais.
On consacre beaucoup d'efforts à construire des canaux vraiment fiables. Mais le readback, c'est ce qu'on pourrait appeler une vérification à l'exécution. Pas besoin de faire confiance au canal : chaque readback vérifie que ça a marché cette fois-ci. Il teste, à chaque fois, que le message est bien passé.Le readback est partout, pour peu qu'on y prête attention. À l'hôpital, où il fait partie de la communication en boucle fermée, les prescriptions données par téléphone et les résultats d'analyse critiques doivent être notés, relus à voix haute, puis confirmés par la personne qui les a transmis : aux États-Unis, la Joint Commission l'exige depuis 2003 pour les prescriptions par téléphone, et depuis 2004 pour les résultats critiques. Sur les navires, le timonier répète chaque ordre avant de toucher à la barre. Et quand vous voulez supprimer une ressource importante sur certains sites, on vous demande d'abord d'en taper le nom.
Simple, mais subtil
Ce que j'appelle readback comporte en fait deux parties tout aussi importantes : le readback lui-même, et le hearback. Revenons à la transcription : le readback était bien là, « okay, four zero zero ». L'erreur a été prononcée à voix haute, sur la bonne fréquence, en toutes lettres.
Mais le readback ne fait que la moitié du travail. Celui qui a donné l'instruction doit comparer ce qu'il entend avec ce qu'il voulait dire. Cette seconde moitié, c'est le hearback, et sans lui, le readback n'est qu'une formule de politesse.
Ce que vérifie le readback est étroit, et très précieux : que ce qui a été compris est bien ce qui voulait être dit. Pas que l'instruction était bonne. Pas que le pilote pilotera bien. Juste que vous parlez désormais de la même chose. Et encore, il ne le vérifie que si chacun joue son rôle, aux deux bouts.
Pourtant, surtout là où le canal est plutôt bon et les gens dignes de confiance, on est vite tenté de relâcher l'attention, sur le readback comme sur le hearback. Quand des chercheurs de la FAA ont épluché 49 heures d'enregistrements de tours de contrôle, moins d'un readback sur cent était erroné. Mais parmi ces rares erreurs, les contrôleurs en ont laissé passer plus d'un tiers.Kim Cardosi, An Analysis of Tower (Local) Controller-Pilot Voice Communications, FAA, 1994 : 49 heures d'enregistrements venant de dix tours de contrôle, plus de 11 000 messages de contrôleurs. 19 erreurs de readback, dont 7 que les contrôleurs n'ont pas relevées. Quand quelque chose marche presque toujours, personne n'écoute vraiment le jour où ça ne marche pas.Dès 1991, l'Aviation Safety Reporting System de la NASA mettait en garde : le silence du contrôleur ne vaut pas confirmation. Une étude ultérieure de la FAA, portant sur des rapports d'incidents, a montré que l'absence pure et simple de readback avait contribué à un quart des erreurs de communication analysées.
Bon. Il suffirait donc de rappeler aux gens de faire le hearback ?
Les machines ne répètent pas toujours
L'IA écrit du code. L'IA fait des maths. L'IA vous aide à décider. L'IA commande vos pizzas… Beaucoup de gens travaillent à rendre l'IA digne de confiance. On pense qu'un autre aspect est tout aussi important pour garder les humains dans la boucle : la fiabilité du canal par lequel on communique avec les outils dopés à l'IA.
De plus en plus souvent, ce qu'il y a au bout du canal, c'est une machine. Vous dites à un agent ce que vous voulez, il part faire quelque chose, et il vous annonce que c'est fait. Où est le readback avant l'action ? Parfois, il vous demande la permission, avec une longue commande que vous lisez à peine. Ou pire : un résumé plein d'assurance, long de deux écrans, que vous survolez parce qu'il a l'air bien, sans jamais vérifier qu'il est aussi fidèle à ce dont vous aviez besoin.
Dans les méthodes formelles, le domaine d'où vient Clinch, ce problème est connu depuis un moment, mais il reste (à notre avis) étonnamment négligé. Un assistant de preuve comme Lean vérifie qu'une preuve démontre bien un énoncé. Il ne peut pas vérifier, et ne prétend pas vérifier, que cet énoncé est bien celui que vous aviez en tête. Ce passage, de la phrase dans votre tête à l'énoncé formel, est un canal. Et le seul readback dont on dispose, c'est un humain qui lit l'énoncé formel et le compare à l'original.
Lean, comme la plupart de ces outils, a été conçu par des informaticiens, pour des informaticiens. Les mathématiciens apprennent de plus en plus à s'en servir, mais la traduction de ce que vous comprenez vers le langage formel (la formalisation, ou autoformalisation quand c'est une IA qui s'en charge) est un canal bruité. Quand on prend vraiment la peine de faire le hearback, les résultats donnent à réfléchir. Une étude d'un benchmark populaire, composé de problèmes de concours formalisés, a trouvé des écarts entre les énoncés formels et informels (des erreurs de formalisation) dans plus de la moitié d'entre eux.miniF2F-Lean Revisited, NeurIPS 2025. Voir aussi les corrections apportées à ProofNet (2024), et la taxonomie des erreurs de formalisation du benchmark Formal Conjectures (2026). À mesure que l'IA se met à formaliser les mathématiques à grande échelle, je m'attends à ce qu'on en découvre beaucoup d'autres, et ces problèmes pourraient bien déborder largement des mathématiques…
Un readback qu'on peut vraiment lire
Faire en sorte que cette boucle soit aussi facile à fermer que possible, c'est l'une des choses qui nous tiennent le plus à cœur dans tous les outils qu'on construit. Quel que soit le chemin que prend ce que vous écrivez, solveurs numériques ou assistants IA, vous devriez toujours pouvoir relire ce que la machine a compris, dans vos propres notations et avec vos propres mots, et vérifier par vous-même que tout est bien comme vous l'entendiez.
Ça paraît évident, mais ça porte un nom technique précis : la cohérence de Pollack (Pollack-consistency).Le terme vient de Freek Wiedijk, Pollack-inconsistency (2012), en hommage à Randy Pollack et à son article How to believe a machine-checked proof (1998). Quand elle fait défaut, le readback est faussé, et votre hearback ne vaut plus rien.
De plus près. Un système est cohérent au sens de Pollack s'il n'affiche jamais rien d'une façon qu'il ne comprendrait pas lui-même en retour. Concrètement : si vous copiez ce qu'il vous montre et que vous le recollez dedans, il doit comprendre exactement ce qu'il voulait dire. Par exemple, s'il est 19h30 et que votre ordinateur affiche simplement 7:30, il suffit de copier cette heure et de la coller dans un champ de date pour qu'il comprenne peut-être 7h30 du matin : la cohérence de Pollack est rompue.
Et on ne s'arrête pas là : si le readback est fidèle mais pénible à lire, vous le sauterez, et la boucle ne sera pas fermée non plus. Construire ça relève autant de l'UX et des sciences cognitives que de l'informatique, mais on en reparlera dans un prochain billet !
Ouvrez l'œil
La prochaine fois que vous dictez votre numéro de téléphone à quelqu'un, pensez à nous quand il vous le relira après l'avoir noté !
Une fois qu'on commence à le remarquer, on le voit partout. N'hésitez pas à nous envoyer vos plus beaux exemples 🙂
Si ce billet vous a plu et que vous voulez, vous aussi, rester dans la boucle, n'hésitez pas à nous donner le moyen de vous tenir au courant !