Deux références inventées sur trois s'ouvrent quand même

Demander une bibliographie à un modèle de langage est devenu un réflexe : pour une thèse, un mémoire, une présentation de service. La réponse arrive propre — auteurs, revue, année, DOI. C'est précisément cette propreté qui pose problème : une référence fabriquée a exactement la même forme qu'une référence réelle.

Une équipe a demandé à GPT-4o six revues de littérature en santé mentale, puis a vérifié une par une chacune des 176 citations produites. L'étude, publiée dans JMIR Mental Health le 12 novembre 2025, donne trois nombres à retenir.

Le taux monte avec la précision de la question

Le résultat le plus utile pour la pratique n'est pas le taux moyen. C'est sa variation : sur un même trouble, une revue générale donne 17 % de références inventées, une revue spécialisée 46 %. Plus la question est pointue, moins le modèle dispose de textes réels pour y répondre — et plus il comble. Or la question pointue est celle qu'un praticien ou un interne pose.

Pourquoi cliquer sur le DOI ne protège pas

Le réflexe de vérification le plus répandu consiste à ouvrir le lien. Il rassure : parmi les références fabriquées assorties d'un DOI, 64 % de ces DOI étaient valides et menaient à un article réel — mais sans rapport avec ce qu'on vous affirmait. Le modèle a assemblé un identifiant plausible ; il pointe quelque part, et ce quelque part n'est pas la référence annoncée. Seule la recherche du titre exact dans PubMed tranche.

Il existe un quatrième profil, plus discret encore : l'article existe, le titre est exact, mais le résumé ne dit pas ce que le modèle lui fait dire. Une étude rétrospective présentée comme causale, un résultat secondaire promu en conclusion. Une vérification qui s'arrête à « l'article existe » valide cette référence. Il faut lire le résumé.

Le protocole en cinq gestes

En amont, un réglage change la donne : demander au modèle, avant la question, d'écrire « aucune référence certaine » quand il n'est pas sûr, plutôt que de proposer un auteur, une année ou un DOI plausibles. Le prompt ne rend pas le modèle savant ; il l'empêche de combler. La fiche complète, avec le prompt et un cas travaillé, est en accès libre sur le site.

Voir la fiche pas-à-pas : vérifier une référence donnée par une IA →