IA, prompts et calibration : neutraliser l'optimisme dans vos LLM

Pourquoi les LLM sont structurellement optimistes

Les grands modèles de langage (GPT-4, Claude, Gemini, Llama, Mistral) sont entraînés à donner des réponses :

1. Utiles (helpful)
2. Honnêtes (honest)
3. Inoffensives (harmless)

Sur le papier, c'est parfait. En pratique, le critère « utile » — combiné à du RLHF (Reinforcement Learning from Human Feedback) — produit une dérive vers l'optimisme structuré.

graph TD
    A[Question utilisateur:<br/>« Combien de temps pour X ? »] --> B[LLM génère 2 brouillons]
    B --> C[Brouillon 1:<br/>« 8-12 semaines, c'est faisable »<br/>Optimiste, encourageant]
    B --> D[Brouillon 2:<br/>« Médiane 6 mois, P90 14 mois,<br/>40% des projets pivotent »<br/>Calibré, dur]
    C --> E[Évaluateur humain RLHF<br/>préfère le brouillon 1<br/>= more helpful/positive]
    D --> F[Évaluateur RLHF<br/>juge le brouillon 2<br/>= peut-être trop sombre]
    E --> G[Le modèle apprend:<br/>réponses encourageantes<br/>= rewards plus élevés]
    style C fill:#fde047
    style G fill:#ef4444,color:#fff

Trois mécanismes amplificateurs :

1. Le biais RLHF d'évaluateur

Les évaluateurs humains qui notent les sorties du modèle préfèrent (en moyenne) :

• Les réponses chaleureuses, encourageantes, ambitieuses
• Les estimations qui valident l'enthousiasme de l'utilisateur
• Les listes d'opportunités plutôt que les listes de risques

Le modèle apprend qu'inflater l'optimisme = plaire = high reward.

2. Le training set des success stories

Le corpus public utilisé pour le pré-entraînement (web, livres, médias) est massivement survivorship-biased — comme on l'a vu dans la formation Biais du Survivant. Or qui dit corpus de survivants dit corpus de récits triomphants. L'optimisme y est sur-représenté.

3. La pénalité sur la pessimisme apparent

Les RLHF récents (notamment chez Anthropic et OpenAI) pénalisent explicitement les sorties alarmistes, pour éviter que l'IA décourage l'utilisateur ou fasse de la projection anxiogène. Bonne intention, effet secondaire prévisible : le modèle évite aussi les estimations honnêtement pessimistes quand elles seraient appropriées.

« Sans pilotage explicite, un LLM moderne sort par défaut une version plaisante de la réalité — pas la réalité statistique. »

Le test simple : demandez la distribution à votre IA

Posez à votre LLM cette question — et observez la réponse spontanée :

« Combien de temps prend en moyenne le développement d'un MVP SaaS B2B par une équipe de 2 développeurs full-time ? »

Sans pilotage, vous obtiendrez quelque chose comme : « Pour un MVP SaaS B2B, comptez en moyenne 8 à 12 semaines pour une version fonctionnelle de base. »

C'est une réponse optimiste-fluence. Pas une réponse de cohorte.

La version pilotée

Reformulez avec une injonction distribution explicite :

« Combien de temps prend en moyenne le développement d'un MVP SaaS B2B par une équipe de 2 développeurs full-time ? Réponds en donnant : 1) la médiane de la cohorte observée (cite la source ou méthode), 2) le P10 (cas optimiste), 3) le P90 (cas réaliste-haut), 4) le taux observé de projets qui pivotent ou abandonnent avant livraison, 5) une mention explicite de l'incertitude liée au biais RLHF de tes données d'entraînement. »

Réponse attendue : médiane 6-9 mois, P10 ~10 semaines, P90 ~15 mois, ~40 % pivotent ou abandonnent — avec note explicite que ces chiffres sont eux-mêmes incertains.

Cinq patterns de prompt anti-optimisme

Pattern 1 : « Outside view forcée »

« Avant de répondre, identifie d'abord la classe de référence pertinente (reference class). Donne-moi la distribution observée sur cette classe (médiane, P10, P90, taux d'échec). Puis seulement, ajuste à mon cas spécifique en justifiant l'écart. »

Effet : force le LLM à appliquer la méthode Flyvbjerg. Réduction d'erreur observée : 30-50 % en interne (tests d'usage).

Pattern 2 : « Premortem obligatoire »

« Imagine que le projet que je viens de décrire ait échoué 12 mois après son lancement. Donne-moi les 5 causes les plus probables, classées par fréquence dans les cohortes observées (pas par ordre inventé). Pour chaque cause, donne un signal précoce (early warning) que je devrais surveiller. »

Effet : antidote frontal à la complaisance narrative. Particulièrement puissant en début de projet.

Pattern 3 : « Distribution, pas point »

« Je veux une distribution, pas un nombre. Pour chaque variable estimable (durée, coût, taux de conversion, ROI), donne 3 nombres : médiane, P10, P90. Si tu ne peux pas estimer une variable, dis-le explicitement plutôt que d'inventer. »

Effet : oblige le LLM à exhiber l'incertitude qu'il cache habituellement sous une moyenne lisse.

Pattern 4 : « Calibrate against your training »

« Évalue ta propre confiance dans cette réponse sur une échelle 1-10. Identifie au moins 2 sources d'incertitude liées à ton training set (biais RLHF, biais de publication, biais de récence des données). Adapte ta réponse pour qu'un lecteur sceptique puisse l'utiliser sans surconfiance. »

Effet : force la méta-cognition de l'IA sur ses propres limites. Utile en contexte décisionnel à fort enjeu.

Pattern 5 : « Stress-test du plan »

« Tu m'as conseillé le plan X. Maintenant, joue le rôle d'un advisor sceptique qui me dit pourquoi ce plan va probablement déraper. Donne-moi 5 arguments solides basés sur des patterns récurrents observés sur la classe de projet, et 3 mitigations concrètes pour chaque. »

Effet : transforme le LLM en devil's advocate. À utiliser systématiquement avant tout go/no-go.

Le system prompt anti-fallacy

Pour un usage quotidien (Claude / ChatGPT / autres), ajoutez ce préfixe à votre system prompt :

« Sur toute question portant sur durée, coût, ROI, taux ou probabilité d'événement futur : (a) donne d'abord la classe de référence et sa distribution (médiane, P10, P90) ; (b) explicite ton niveau de confiance et les sources d'incertitude ; (c) ne romance pas une success story comme méthode généralisable ; (d) si je propose un plan, lance un premortem en 3 causes plausibles d'échec avant de valider. »

Effet sur 4-6 semaines d'usage quotidien : votre propre style de planification change. L'IA devient un dispositif anti-fallacy externe.

Cas d'usage avancé : la cohort calibration semi-automatique

Si vous avez accès aux capacités code du LLM (Code Interpreter, Claude Artifacts, etc.), faites-lui construire une cohort virtuelle :

# Prompt: "Imagine 1000 startups B2B SaaS lancées en 2021 avec :
# - 2 cofondateurs techniques
# - Marché TAM > 500 M€
# - Pas de revenus initiaux
# Distribue cette cohorte à T+3 ans :
# - Échec / pivot total
# - < 100 K ARR
# - 100K-1M ARR
# - 1M-10M ARR
# - 10M+ ARR
# - Exit ou revenue significatif
# Pour chaque segment, donne %, médiane de runway brûlée, et 3 traits caractéristiques."

Le LLM produit une distribution structurée au lieu d'une moyenne lisse. Vous pouvez ensuite vous demander : « Statistiquement, dans quel segment suis-je le plus probablement ? » et planifier la trésorerie en conséquence.

Le piège du « happy path » dans les analyses LLM

Quand vous demandez à un LLM d'analyser une opportunité commerciale, il génère par défaut le happy path :

« Cette opportunité Acme à 250 K€ a un fort potentiel : leur croissance est de 30 %, ils ont un CTO ouvert à l'innovation, et votre solution adresse leur pain point principal. »

Trois éléments manquants dans cette analyse par défaut :

1. Le worst case : que se passe-t-il si le CTO part en cours de deal ?
2. La base rate : sur 30 deals similaires, combien se sont effectivement signés ?
3. Les signaux d'arrêt : à quel moment faut-il déprioriser ce deal ?

Une bonne pratique : ajoutez systématiquement à votre prompt :

« Termine ton analyse par : a) un worst case crédible ; b) la base rate de signature de deals comparables ; c) trois early warnings qui me feraient déprioriser. »

Comparaison concrète : 2 prompts, 2 plans

Prompt naïf :

« Plan moi le lancement d'un produit SaaS B2B en 4 mois avec budget 50 K€. »

Sortie typique : un plan linéaire, 4 phases, chacune dans les temps, on lance fin mois 4.

Prompt calibré :

« Plan moi le lancement d'un produit SaaS B2B en 4 mois avec budget 50 K€. Avant le plan : 1) donne la base rate (% qui réussissent un lancement dans cette enveloppe), 2) liste 5 causes typiques de glissement, 3) construis 3 scénarios : optimiste (P10), médian (P50), réaliste-difficile (P90). Termine par les 3 décisions go/no-go à 1 mois, 2 mois, 3 mois. »

Sortie typique : trois plans, des décisions checkpoints, une honnêteté sur les probabilités. Bien plus exploitable.

RAG anti-optimisme : ce qu'il faut indexer

Si vous montez un RAG (Retrieval-Augmented Generation) sur vos données internes pour aider votre équipe à forecaster, ne mettez pas uniquement :

• Les case studies de réussite
• Les témoignages 5 étoiles
• Les deals signés rapidement

Mettez surtout :

• Les deals perdus avec raison documentée
• Les slippages (deals qui ont mis 3× plus long que prévu)
• Les churns avec autopsie
• Les post-mortems de projets en retard

Sinon, le RAG amplifie le biais. Avec ces données négatives indexées, il corrige.

Garde-fou éthique

Quelques règles d'usage :

• ✅ Demander au LLM une distribution honnête pour calibrer vos décisions internes.
• ❌ Forcer le LLM à produire une distribution optimiste pour convaincre un prospect.
• ✅ Utiliser un premortem IA-piloté pour stresser un plan avant validation.
• ❌ Demander au LLM des arguments alarmistes pour manipuler un client par la peur.
• ✅ Construire un RAG honnête (cas négatifs inclus) pour vos forecasts.
• ❌ Trier les données d'un RAG pour qu'il ne sorte que les success stories en pitch externe.

Comme toujours : les outils sont neutres, l'usage classe.

Résumé

• Les LLM sont structurellement optimistes : RLHF d'évaluateurs + training set survivant + pénalité du pessimisme apparent.
• Le test simple : demander une distribution, pas une moyenne, et voir la différence des réponses.
• Cinq patterns de prompt : outside view, premortem, distribution forcée, calibration meta, stress-test.
• System prompt anti-fallacy : injecter ces principes une fois pour tout usage quotidien.
• Cohort calibration semi-automatique avec Code Interpreter / Artifacts.
• RAG anti-optimisme : indexer aussi les échecs, slippages, churns, post-mortems.
• L'éthique de la calibration : honnêteté en interne, sans manipulation en externe.

Au chapitre suivant : comment construire un business plan et une stratégie entrepreneuriale calibrés — la méthode reference class forecasting de Flyvbjerg appliquée à votre startup, votre projet, votre carrière.