Le Test des ratés
Comment reconnaître une réforme réelle — et les quatre manières de l’imiter
« Arrêtez de demander à une réforme ses succès.
Demandez-lui ses échecs. »
Ce texte est l’annexe opératoire de La Jauge, qui en donne la dérivation.
1. Les succès ne prouvent rien
Une institution réformée montre toujours ses réussites. Les indicateurs remontent, les cas exemplaires circulent, les champions témoignent. C’est précisément pourquoi il ne faut pas commencer par là. Non que ces succès soient faux — ils sont pires que faux : ils sont non identifiants. Quatre causes très différentes produisent exactement les mêmes réussites. Un desserrage réel de la pression : ce que la réforme prétend être. Une sélection : on a choisi des étoiles, et les étoiles brillent partout. Un jeu de la mesure : on a appris à produire l’affichage que la nouvelle mesure lit. Et la chance des désespérés : quelques paris de la dernière chance qui sont passés. Devant un tableau de réussites, rien ne permet de trancher entre les quatre ; et l’institution qui vous le montre le sait rarement elle-même.
Le signe qui ment le moins est ailleurs, et il est contre-intuitif. Arrêtez de demander à une réforme ses succès. Demandez-lui ses échecs.
2. L’instrument
Le test tient en deux questions : montrez vos ratés neufs — et montrez qui les fait.
Un raté neuf a trois propriétés, toutes vérifiables. Il coûte : il a consommé du temps, du budget, de la réputation réels (le projet qui a mangé dix-huit mois et n’a rien rendu, la publication tombée sous le plancher de citation de son propre auteur, la ligne de produit fermée après un vrai investissement). Il se vérifie : il laisse une trace administrative qu’on peut auditer, non une anecdote de scène. Et il est neuf : hors du répertoire déjà rentable de celui qui l’a tenté (pas la variation prudente d’un geste qui marche).
La raison ? Parce que sous pression de survie, il est le seul qu’on ne fabrique pas. Un acteur qui se bat pour franchir son seuil (le financement à renouveler, le quota à tenir, le classement à défendre) n’a rationnellement rien à investir dans un échec coûteux : chaque unité de capacité est due à la survie, et l’échec ne rend rien dans la fenêtre où on le juge. On peut imiter tout le reste d’une réforme : les chartes, les comités, les nouveaux indicateurs, et jusqu’aux succès, que la sélection fournit (choisir des étoiles donne des réussites, jamais des échecs). L’échec coûteux, lui, ne se paie qu’avec du mou. C’est un signal au sens fort, celui de Spence pour le diplôme, de Zahavi pour le handicap : infalsifiable, parce que son coût n’est payable que par qui possède la qualité qu’il signale. Une réforme réelle ne se reconnaît pas à ses succès, mais aux échecs coûteux qu’elle rend enfin possibles chez ceux qui n’étaient pas condamnés.
D’où la seconde question, car il y a un piège, que les traders de la finance connaissent depuis cinquante ans sous le nom de pari de résurrection. Celui qui ne peut plus franchir son seuil par les voies sûres n’a plus rien à perdre : mourir de peu ou de beaucoup est la même mort, et le pari désespéré devient rationnel même quand il est mauvais. Les gérants de fonds distancés à mi-année gonflent leur risque ; c’est mesuré. Les presque-morts échouent donc aussi. Les échecs viennent des deux bouts, et les deux régimes se séparent à deux marques. La position : les échecs de mou viennent des acteurs sûrs, loin du seuil ; ceux de détresse, des presque-morts. L’autre queue : l’exploration est choisie pour son espérance (les grands succès montent avec les échecs) ; le pari de détresse est choisi pour sa variance (les échecs montent seuls).
Le desserrage a un signe que rien d’autre ne produit. Le membre qui revit fourmille : picotements, brûlure, gestes gauches, le désordre avant la force. Mais le membre qui meurt tressaille aussi, et la convulsion vient sans force, chez qui n’a plus de sang. D’où les deux noms du test. L’unité de compte est le raté neuf. Le signe est le fourmillement, fait de ratés comme un picotement est fait de piqûres. Et son faux jumeau est la convulsion.
3. Les cinq signatures
Le test rend son diagnostic sur deux coordonnées (qui rate, et ce que fait l’autre queue) et il distingue cinq régimes, dont quatre sont des imitations.
| Ce qu’on observe | Diagnostic | Cas documenté |
|---|---|---|
| Ratés coûteux chez les sûrs, grands succès qui montent | Desserrage — le fourmillement | HHMI vs NIH : les financés à horizon long ratent plus et réussissent plus grand (Azoulay, Graff Zivin et Manso, 2011) |
| Ratés concentrés chez les presque-morts, succès plats | Détresse — la convulsion | Fonds mutuels distancés à mi-année (Brown, Harlow et Starks, 1996 ; Chevalier et Ellison, 1997) |
| Succès en hausse, queue des échecs amincie | Sélection | Tout programme d’élite, sans changement de conduite |
| L’indicateur monte, rien d’autre ne bouge | Jeu de la mesure | Autocitations après les seuils bibliométriques italiens (Baccini et al., 2019) ; inflation des scores scolaires (Koretz, 2017) |
| Des échecs partout — mais bon marché | Ratés de papier | Le culte du fail fast : failure parties, post-mortems rituels, échecs célébrés qui n’ont rien coûté à personne |
Depuis quinze ans, une culture entière célèbre l’échec, et elle a raison sur le fond, tort sur le critère. Un échec qui ne coûte rien, ne se vérifie pas, ou reste dans le répertoire déjà rentable est devenu affichage. La loi de Goodhart appliquée à l’échec lui-même. Le test coupe donc des deux côtés. Il défait le culte des indicateurs : vos succès ne prouvent rien. Et il défait le culte de l’échec : vos échecs non plus, s’ils sont de carton-pâte. Ce qui prouve, c’est l’échec coûteux, vérifié, neuf, porté par qui n’y était pas condamné, dans une maison où les grands succès montent en même temps.
4. Pourquoi ça marche
Tout acteur mesuré vit sous un seuil : le franchir, ou perdre la ressource. La part de sa capacité que ce seuil commande (sa pression) décide de tout. Pression saturante : chaque heure est due à la survie, l’exploration est un luxe strictement dominé. Zéro raté neuf. Du mou : l’exploration à bonne espérance devient payable, et les deux queues s’épaississent ensemble. Plus de voie sûre du tout : le pari désespéré domine, et les échecs montent seuls. Le taux de ratés dessine donc un U le long de la position face au seuil, et c’est ce U, avec l’autre queue, que le test lit. La dérivation complète, la loi qui est derrière (la mesure choisit l’endroit de la plaie ; la pression en fixe la taille) et ses conditions de rupture sont dans « La Jauge » (Zenodo, 2026, DOI : 10.5281/zenodo.21935224), dont ce texte est le volet opératoire.
Que le mou nourrisse l’exploration est su depuis longtemps : le slack organisationnel de Cyert et March, sa courbe chez Nohria et Gulati, l’échec intelligent de Sitkin, la sécurité psychologique puis la taxonomie des échecs d’Edmondson, la tolérance à l’échec mesurée par Tian et Wang, le contrat d’exploration dérivé par Manso. Toute cette lignée va du mou vers l’échec fécond : elle explique. Le test retourne la flèche : il lit les échecs pour remonter au mou, contre les quatre imitateurs qu’une explication n’a pas à départager. Une cause de plus chez eux ; un instrument, ici.
5. Le protocole
Pour une direction. Quatre pièces, à mettre à l’ordre du jour de n’importe quelle revue. La liste des projets arrêtés après dépense réelle depuis la réforme, comparée à la même fenêtre avant. Qui les portait — statut, ancienneté, distance au seuil de survie (renouvellement, quota, classement). La queue des grands succès sur la même période. Et un point de comparaison non affecté par la réforme — une autre entité, une autre période —, car un choc externe fait échouer tout le monde. Lecture : liste vide, la réforme n’a pas eu lieu ; pleine de presque-morts, une agonie ; pleine d’échecs sans coût, du papier ; des acteurs sûrs y figurent et les grands succès montent, le sang revient.
Pour la recherche. Le test se calcule sur données ouvertes, notamment OpenAlex ; un premier prototype est réalisable en quelques semaines, avant validation et tests de robustesse. À titre d’opérationnalisation initiale : plancher personnel au vingtième percentile (normalisé par champ et par année) des citations des cinq années antérieures, doublé d’un plancher de champ — la robustesse exigeant de comparer plusieurs seuils : dixième, vingtième, vingt-cinquième. Raté neuf : une publication à la fois sous ce plancher, à horizon de citation fixe, et hors du répertoire antérieur (nouveaux sujets, nouvelles références, nouveaux coauteurs) ; sans la condition de nouveauté, on compterait la médiocrité, non l’exploration. Position : statut, âge académique, historique de financement. Le protocole complet articule réformes datées (l’Australie des années 1990, le REF 2014), groupes témoins et différence-de-différences. Et une prédiction est signée d’avance pour la réforme néerlandaise Recognition & Rewards : une redistribution de la mesure à pression constante — à défaut d’un desserrage concomitant de la pression, pas de fourmillement, pas de ratés neufs durables chez les sûrs. Qu’ils apparaissent, à succès montants, et le fondement de ce test a tort quelque part.
La figure qui manque encore à ce texte (le U des ratés, tracé avant et après une réforme datée, et séparant l’exploration de la détresse) est ce qui le fera passer d’un argument à un instrument démontré. Le protocole ci-dessus est une invitation ouverte à la produire. Ou à la réfuter.
6. Ce que le test ne dit pas
Il ne survit pas à sa propre bureaucratisation. Si « compter les ratés » devient une cible, des ratés bon marché se fabriquent par réétiquetage, et le test meurt de la mort qu’il diagnostique. La parade est dans sa définition (le coût réel, la vérification) et dans une règle : le raté ne se subventionne pas, il s’autorise. Payer l’échec en fabriquerait ; cesser de le punir laisse apparaître ceux que le risque réel produit.
Il suppose la pression dominante. Là où des gens maintiennent, par vocation, un travail que la mesure ne lit pas (l’infirmière, l’artisan), le lien entre pression et ratés se distend : le test borne, il ne mesure plus.
Il exige un contrefactuel. Un choc externe fait échouer tout le monde ; la comparaison avant-après doit tenir un groupe témoin, ou elle ne tient rien.
Et il détecte le desserrage, non la sagesse. Une pression relâchée peut être mal employée ; le test dit si le sang revient ; il ne dit pas ce que la main en fera.
Une institution qui ne rate plus n’est pas saine. Elle est serrée.