Pourquoi les méthodes formelles ? La version courte
Envie de la version longue ? Ce billet est parti d'une note interne, écrite pour expliquer le cœur de notre travail aux nouveaux membres de l'équipe. On a fini par en faire un article complet, qui déroule toute l'histoire avec ce qu'il faut pour la comprendre et mener l'enquête soi-même. Comptez une trentaine de minutes si vous êtes concentré. Celui-ci raconte la même histoire en dix :)
Il y a quelques jours, une amie m'a demandé : « Tu prends toujours l'exemple des ascenseurs, mais pourquoi est-ce qu'on aurait besoin de prouver quoi que ce soit sur un ascenseur ? Il suffit pas que la personne qui le programme fasse attention ? »
Je me suis dit que ça méritait une réponse un peu soignée. Voici donc une histoire (fictive) sur ce que ça peut demander, de concevoir un ascenseur vraiment correct.Nous n'avons aucune compétence en électronique ni en ingénierie des ascenseurs : le cœur de cette histoire, c'est l'énigme logique plus que le contexte. Si quelque chose dans la conception d'un ascenseur est survolé ou mal représenté, dites-le-nous !
La phrase en rouge
On demande à un ingénieur de concevoir le contrôleur d'un ascenseur : huit étages, une cabine, une paire de portes. Le contrôleur, c'est le petit logiciel qui décide de tout ce que fait l'ascenseur. Les informations arrivent des boutons et des capteurs, les ordres partent vers les moteurs.
Le cahier des charges est court, avec une seule phrase qui détonne, en gras et en rouge :
Les portes ne doivent jamais être ouvertes quand la cabine se déplace.
Cette phrase porte un poids que les autres n'ont pas : il ne suffit pas qu'elle soit vraie la plupart du temps, elle doit l'être tout le temps.
Notre ingénieur est une personne prudente, et les gens prudents pensent d'abord à ce qui peut mal tourner. Les cas à envisager ne manquent pas. Par exemple, si son contrôleur plante, la personne à l'intérieur se retrouve coincée dans une boîte en métal. Alors il relie le bouton d'ouverture des portes, dans la cabine, directement au moteur des portes, sans passer du tout par le logiciel. Appelons ça le fil direct. C'est une pratique courante, et c'est une bonne idée.
Puis il continue à réfléchir. Et si un passager avec un gros sac s'appuyait sur le bouton par mégarde, et ouvrait les portes entre deux étages ? Alors il ajoute un verrouillage : le bouton n'agit sur les portes que lorsque le moteur de l'ascenseur est à l'arrêt. Entre deux étages, il ne fait rien du tout. Prudent, encore une fois.
Et puis, les portes mettent une seconde ou deux à se fermer, et quelqu'un peut se trouver au milieu. Le contrôleur ne devrait pas supposer qu'elles sont fermées simplement parce qu'il l'a demandé, non ? Donc il attend que le capteur de porte signale fermé, et seulement alors il coche une case dans sa mémoire : confirmé. Chaque fois qu'il ouvre les portes, il décoche la case. Et il ne démarre le moteur que si la case est cochée. Cette condition, c'est la phrase en rouge, traduite en code.
Trois sur trois
Le contrôleur est conçu et programmé. Mais avant de le livrer, notre ingénieur fait ce que font les gens qui prennent leur travail au sérieux : il passe encore un peu de temps à imaginer le pire.
- Un enfant claustrophobe garde le doigt sur OUVERTURE PORTES pendant tout le trajet ? Le fil direct est coupé tant que la cabine bouge, donc les portes restent fermées jusqu'à l'arrivée à un étage.
- Quelqu'un bloque les portes ouvertes sur un palier ? Les portes ne signalent jamais fermé, la case reste décochée, et la cabine refuse de bouger.
- Le contrôleur plante pendant que les portes sont ouvertes, puis redémarre ? Il repart avec la case décochée, donc il ne bougera pas la cabine avant d'avoir vu les portes se refermer. Agaçant, mais sûr !
Trois sur trois. Vient ensuite une maquette, et une semaine de tests : chaque étage, des appels depuis deux étages à la fois, OUVERTURE PORTES maintenu, relâché, martelé, le courant coupé en plein trajet. Pas une seule fois la cabine ne bouge avec les portes ouvertes.
Le vrai ascenseur est installé. L'ingénieur est content.
Le coup de fil
Trois semaines plus tard, le téléphone sonne.
« Euh, allô ? Oui, c'est à propos de l'ascenseur. Il y a eu… un truc.
« Une dame au troisième étage essayait de faire rentrer un piano électrique dans la cabine. Un gros machin, moitié dedans, moitié dehors. Elle gardait le bouton d'ouverture enfoncé pour pouvoir continuer à pousser. Et là, quelqu'un en haut a appelé l'ascenseur. Et il est parti. Avec les portes ouvertes.
« Elle va bien. Non, non, ne vous inquiétez pas, elle va bien. Le piano, par contre, est plat comme une crêpe. »Une omission, en toute honnêteté. Un vrai ascenseur a une ligne de défense que j'ai laissée de côté : les contacts de porte sont montés en série dans une chaîne de sécurité, une boucle d'interrupteurs câblés de sorte que si l'un d'eux s'ouvre, le moteur est physiquement coupé, sans aucun logiciel. C'est pour ça que cet accident précis est rare dans les vrais ascenseurs. Je l'ai laissée de côté parce que la plupart des systèmes que vous et moi construisons n'en ont pas, et parce que l'erreur de raisonnement, elle, est bien réelle. Quand vous pouvez avoir un garde-fou matériel, prenez-le.
Ce qui s'est passé
L'ingénieur ressort les logs de l'ascenseur. Il va falloir me croire sur parole : rien n'est caché ici. Aucun composant n'a cassé, aucun ne s'est comporté de façon inattendue. C'est de la logique, rien de plus. (Si vous préférez trouver par vous-même, toutes les règles sont détaillées dans la version longue, et vous êtes chaleureusement invité à essayer.)
- La dame appelle l'ascenseur depuis le troisième. Il y est déjà, donc les portes s'ouvrent, et le contrôleur décoche la case.
- Elle entre poser son sac, avant de retourner chercher le piano.
- Au bout d'un moment, les portes se referment toutes seules. Le capteur signale fermé, et le contrôleur coche la case. Jusqu'ici, tout va bien.
- Elle n'a pas encore appuyé sur un bouton d'étage, puisque le piano est toujours dehors. Donc elle appuie sur OUVERTURE PORTES.
En lisant cette ligne des logs, l'ingénieur commence à comprendre. Le bouton OUVERTURE PORTES n'est pas du tout relié au contrôleur. C'est le fil direct qui ouvre les portes, et le contrôleur, qui n'a rien demandé, a toujours sa case cochée.
- Pendant qu'elle se bat avec le piano, les portes commencent à se refermer dès qu'elle lâche le bouton : pour le contrôleur, elles sont censées être fermées. Alors elle continue d'appuyer sur OUVERTURE PORTES, et le fil direct les garde ouvertes, exactement comme prévu.
- Puis quelqu'un au septième appelle l'ascenseur. Le contrôleur fait le point : au repos, un appel ailleurs, et la case dit que les portes sont fermées. Il démarre le moteur.
Remarquez ce qui a cassé : rien. Le fil direct a fait son travail. Le verrouillage a fait son travail. La case a fait son travail, en se souvenant fidèlement que les portes avaient été fermées, ce qui était vrai, quelques minutes plus tôt.
Le problème, c'était un chemin franchement retors, le long duquel l'image que le contrôleur se faisait du monde s'est discrètement éloignée de la réalité physique.
Pourquoi faire attention ne suffisait pas
Revenons donc à la question de départ. Il suffit pas que la personne qui le programme fasse attention ?
Notre ingénieur a fait attention. Il a pensé à énormément de scénarios. Il a mis en place des mécanismes pour les éviter, et il a même pris la peine de vérifier que ces ajouts ne créaient pas de nouveaux risques. Mais les tests et l'imagination ont leurs limites.
Et tester davantage n'y changerait pas grand-chose. Cet ascenseur est un exemple jouet ; les vrais systèmes sont bien plus complexes, avec des ordres de grandeur de pièces en plus qui interagissent. Ce dont l'ingénieur veut être sûr, ce n'est pas une liste de situations, c'est chaque histoire possible de l'ascenseur : chaque suite d'appuis, d'arrivées et de mouvements de portes, dans n'importe quel ordre, de n'importe quelle longueur. Cet ensemble est infini, et il se ramifie. Une semaine de tests n'en est qu'un échantillon. Cet accident demande une poignée d'événements tout à fait ordinaires dans un ordre bien particulier, et un échantillon peut passer à côté pendant très, très longtemps.Les mathématiciens connaissent bien ce genre de mésaventure. En 1919, Pólya a conjecturé que pour tout n, parmi les nombres jusqu'à n, au moins la moitié ont un nombre impair de facteurs premiers. On l'a vérifiée, et revérifiée, et elle tenait pour tous les n qu'on pouvait atteindre. Elle est fausse. Le plus petit contre-exemple est n = 906 150 257. Personne n'avait été négligent. On ne pouvait simplement pas compter assez loin.
On ne vérifie pas un théorème en essayant des exemples. On le prouve. Et ça, il se trouve que c'est bien moins de travail qu'il n'y paraît.
Ce qu'une preuve aurait demandé
Pour prouver que l'ascenseur est sûr, notre ingénieur n'a besoin de rien qu'il n'ait déjà. Les règles étaient déjà sur un tableau blanc, chacune de la forme « quand telle chose est vraie, telle chose se produit » : neuf en tout, en comptant la porte, le fil direct et la cabine. Et il y a la phrase en rouge.
Un outil de preuve prend les deux et se charge de la partie fastidieuse. Pour chaque règle, il se demande : si tout était sûr juste avant, est-ce que c'est encore sûr juste après ? Quand il voit tout seul pourquoi, il passe à la suite. Quand il ne voit pas, il s'arrête et pose une question.
Huit règles passent sans un mot. Sur la neuvième, celle qui démarre le moteur, l'outil demande : la case est cochée. Pourquoi la porte est-elle fermée ?
L'ingénieur connaît la réponse. Il s'appuie dessus depuis le début : quand la case est cochée, la porte est vraiment fermée. Ça paraît tellement évident que personne ne prend jamais la peine d'écrire ce genre de chose. Mais c'est une hypothèse, et dans notre cas, elle pourrait bien être fausse. Alors l'outil vous demande de l'énoncer, histoire d'en avoir le cœur net. L'ingénieur l'écrit, et l'outil passe cette nouvelle phrase au crible des neuf règles, de la même manière.
Il s'arrête encore une fois, sur le fil direct. La porte était fermée et la case cochée. Quelqu'un a appuyé sur OUVERTURE PORTES. Maintenant la porte est ouverte et la case est toujours cochée. En quoi est-ce que c'est normal ?
L'ingénieur regarde, et fronce les sourcils. Il n'y a pas de bonne réponse, parce que ça n'est pas normal. C'est le piano, trouvé sur un tableau blanc, trois semaines avant que le téléphone ne sonne. Poser toutes les questions, de manière exhaustive, c'est comme ça qu'on attrape n'importe quel enchaînement d'événements capable de casser votre système. La correction est simple : une seule ligne à changer. On relance l'outil, et il n'a plus de questions. La phrase en rouge est prouvée.
Avec un tel outil, l'ingénieur n'aurait pas eu à imaginer le piano, ni à penser au bon test, ni à garder l'ascenseur tout entier en tête d'un seul coup. Il n'aurait eu qu'à répondre à des questions, une règle à la fois, sur des choses qu'il savait déjà. Une preuve ne part pas à la chasse aux accidents. Elle vous demande de défendre chaque phrase sur laquelle vous vous appuyez, y compris celles que vous ne vous êtes jamais rendu compte d'avoir écrites, et vous rend celle que vous ne pouvez pas défendre.
Non seulement ça aurait évité bien des frais et de la gestion de crise, mais ça aurait peut-être même fait gagner du temps : toutes ces heures passées à imaginer le pire, alors que l'outil aurait trouvé le seul cas qui comptait en quelques secondes !
Ce qu'on a, une fois que c'est prouvé
Quand on a une preuve formelle, on a une garantie solide. Ici : il n'existe aucune suite d'événements, quelle qu'elle soit, qui se termine avec le moteur en marche et la porte ouverte. Pas « on n'en a pas trouvé ». Il n'en existe aucune.
S'il y a un jour un problème, ce ne sera pas le contrôleur.
Et le deuxième lot, qui est peut-être le plus gros : l'outil a obligé notre ingénieur à écrire une phrase qui n'apparaît dans aucun cahier des charges, que personne n'aurait pensé à vérifier, et qui était discrètement vraie jusqu'à ce que quelqu'un ajoute un fil direct pour d'excellentes raisons. Une phrase que tout le monde dans l'équipe aurait approuvée, si seulement quelqu'un avait posé la question.
Alors oui, pour répondre à la question de départ : la personne qui programme l'ascenseur doit faire attention. C'est justement parce qu'on fait attention qu'on sait répondre aux questions. Les méthodes formelles, c'est ce qui vous donne une vraie chance de faire suffisamment attention.
Et votre métier ?
Ce billet prend l'exemple des ascenseurs et de l'ingénierie, mais le champ est bien plus large. Les ingrédients, c'étaient un système dont on peut écrire les règles, une chose qui ne doit jamais arriver, et l'écart entre vérifier quelques cas et les vérifier tous. On pense que ces trois ingrédients se retrouvent dans énormément de métiers. Voici quelques pistes.
- Économiste ? Un barème d'aides sociales est un ensemble de règles, et « aucun ménage ne perd d'argent en gagnant un euro de plus » est votre phrase en rouge. Les effets de seuil du code des impôts, ce ne seraient pas des endroits où deux bonnes règles se rencontrent mal ?
- Chimiste ? Le verrouillage d'un réacteur, ne jamais chauffer quand l'évent est fermé, c'est la phrase en rouge mot pour mot. Et la soupape de sûreté, ce serait votre fil direct ?
- Médecin ? Un protocole de dosage est un ensemble de règles qui se déroulent dans le temps. Est-ce que « ces deux médicaments ne sont jamais actifs en même temps » est écrit quelque part, ou est-ce que tout le monde le sait, simplement ?
- Juriste, régulateur ? Les règles d'éligibilité sont déjà un système formel, interprété par des humains plutôt que par des machines. Où sont les failles les plus difficiles à voir ?
La recette ne change pas. Écrire les règles, toutes, y compris celles trop évidentes pour être énoncées. Écrire la chose qui ne doit jamais arriver. Puis faire vérifier le tout par une machine, et prendre ses questions au sérieux, parce que c'est là que se font les découvertes.
Mais ce ne sont que des pistes, et vous connaissez votre métier bien mieux que nous. Alors prenez une minute pour y réfléchir : quelles sont les règles de votre travail, et quelle est votre phrase en rouge ?
C'est ce qu'on construit chez Tollens : un outil qui vous permet de mener le raisonnement ci-dessus dans votre propre notation, dans votre propre domaine, sans devoir d'abord apprendre la logique et l'informatique. Et pour bien le construire, on a besoin de vous entendre. Que votre domaine soit dans la liste ou non, que vous pensiez que ça s'y prête ou que vous soyez sûr que non, écrivez-nous. On serait vraiment ravis d'avoir de vos nouvelles 🙂