Introduction à la Loi de Goodhart

La phrase qui a tout changé

Londres, 1975. Charles Goodhart, économiste senior à la Bank of England, publie un papier technique sur la politique monétaire britannique. Au détour d'une phrase, il glisse une observation qui deviendra l'une des lois les plus citées de la science sociale moderne :

« Toute régularité statistique observée tend à s'effondrer dès qu'on exerce sur elle une pression dans un but de contrôle. »

À l'origine, Goodhart parle de la masse monétaire. La Bank of England suit un agrégat (M3) pour piloter l'inflation ; dès qu'elle décide de cibler M3, les banques modifient leurs comportements, M3 devient une mauvaise mesure de l'inflation, et la politique monétaire échoue.

Vingt-deux ans plus tard, l'anthropologue Marilyn Strathern (Cambridge, 1997) reformule l'idée d'une phrase qui va devenir virale :

« When a measure becomes a target, it ceases to be a good measure. » « Lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure. »

C'est cette version — la formulation Strathern — qui s'est imposée mondialement, souvent attribuée à Goodhart lui-même.

Pourquoi cette loi devrait obséder tout vendeur, fondateur ou builder IA

La Loi de Goodhart est l'une des lois les plus silencieusement destructrices dans la vie professionnelle, parce qu'elle ne casse pas un seul KPI — elle dégrade tout système de mesure soumis à incentive. Quelques exemples vécus :

• 💼 En vente : les SDR doivent passer 80 appels/jour → ils numérotent puis raccrochent immédiatement pour gonfler le compteur, le pipeline qualifié s'effondre.
• 🚀 En entrepreneuriat : on optimise le MRR → on signe des deals annuels avec discount énorme et churn massif au renouvellement.
• 🤖 En IA : on entraîne un LLM sur le benchmark MMLU → le modèle devient excellent sur MMLU et médiocre sur les usages réels.
• 📊 En marketing : on optimise le CTR d'une campagne → on multiplie les titres clickbait et le taux de conversion s'effondre.
• 🧪 En produit : on track le DAU/MAU → on ajoute des notifications agressives, le DAU monte, la rétention long-terme s'effondre.

La formule mortelle : « Il suffit d'optimiser X »

Voici la phrase qui doit déclencher votre vigilance dès que vous l'entendez (ou la prononcez) :

Aucune de ces phrases ne décrit ce qui se passe vraiment. Toutes sont les prémisses d'un effondrement de la mesure.

Le mécanisme cognitif et économique

graph LR
    A[Métrique M corrélée<br/>à l'objectif vrai V] --> B[Décision: M devient cible]
    B --> C[Acteurs optimisent M<br/>par tous les moyens]
    C --> D[Corrélation M↔V<br/>se rompt]
    D --> E[M devient indépendante de V]
    E --> F[Pilotage falsifié]
    style A fill:#e1f5fe
    style F fill:#ffcdd2

L'effet repose sur trois mécanismes documentés (Manheim & Garrabrant, AI Safety, 2018) :

1. Causal Goodhart : la corrélation passée entre M et V était causale dans un sens — mais l'optimisation de M ne produit pas V.
2. Adversarial Goodhart : les acteurs rationnels exploitent activement la métrique (gaming).
3. Regressional Goodhart : on optimise sur du bruit ; à l'extrême, M et V divergent statistiquement.
4. Extremal Goodhart : la corrélation tient dans la zone normale, mais s'effondre aux extrêmes — exactement là où l'optimisation pousse.

Quatre variantes à distinguer

Manheim & Garrabrant (2018) ont produit la taxonomie de référence des variantes de Goodhart dans les systèmes complexes (humains et IA) :

Les quatre variantes sont mesurables séparément. En pratique, elles se cumulent et se renforcent.

Trois cas légendaires

1. Le scandale Wells Fargo (2016)

Wells Fargo a fixé un objectif agressif : 8 produits par client. Conséquence : 3,5 millions de comptes fictifs créés sans consentement entre 2002 et 2016. Amende : 3 milliards $, 5 300 employés licenciés. Cas-école Adversarial Goodhart.

2. Le scandale Volkswagen (2015)

VW devait passer les tests d'émissions NOx. Plutôt que de produire un moteur propre, ils ont produit un moteur qui détecte le test (logiciel « defeat device »). Résultat : NOx 40× la limite en conditions réelles. Coût : 33 milliards $. Cas-école Causal Goodhart.

3. Le « cobra effect » britannique en Inde

Le gouvernement colonial britannique offre une prime par cobra mort pour réduire la population. Les habitants se mettent à élever des cobras pour toucher la prime. Quand le programme est arrêté, les éleveurs relâchent leurs cobras → la population explose. Cas-école Adversarial Goodhart.

Ce que cette formation va vous apporter

À la fin du parcours, vous saurez :

1. Reconnaître les signaux faibles de gaming sur vos KPI commerciaux et produit
2. Catégoriser précisément la variante de Goodhart en jeu (Regressional / Extremal / Causal / Adversarial)
3. Construire des systèmes de mesure multi-métriques qui résistent à l'optimisation
4. Détecter le reward hacking dans vos modèles d'IA et vos benchmarks
5. Concevoir des incentives commerciaux et produit alignés avec la valeur réelle, pas avec un proxy

Plan de la formation

Bienvenue dans l'une des lois les plus puissantes — et les plus mal comprises — de la science sociale et de l'IA moderne.