Le rapport Deloitte en Australie : ce qu’un contrôle des références aurait évité

Un rapport d’examen indépendant, commandé par un ministère, relu puis remis. Après sa publication, un chercheur y repère une citation inventée et des références à des travaux qui n’existent pas. On pourrait ne voir dans le cas Deloitte en Australie qu’une histoire d’intelligence artificielle. C’est d’abord une histoire de références : des erreurs que toutes les relectures ont laissé passer, et qu’un contrôle conçu en amont aurait rendues visibles avant l’envoi.

Les faits

En 2025, le cabinet Deloitte a remis au ministère australien de l’Emploi un rapport d’examen indépendant, dans le cadre d’un contrat d’environ 440 000 dollars australiens. Un chercheur de l’université de Sydney y a repéré une citation inventée d’un jugement de la Cour fédérale et des références à des travaux universitaires inexistants.

La version corrigée mentionne l’usage d’Azure OpenAI dans sa rédaction. Le ministère précise que le fond du rapport et ses recommandations sont inchangés. Deloitte a accepté de rembourser une partie du contrat.

Cette précision du ministère compte, et elle rend le cas plus instructif encore. À l’en croire, les erreurs ne touchaient pas les recommandations, mais les références censées les étayer. Pour toute organisation qui produit des rapports, c’est le cas le plus parlant : un livrable dont le fond n’est pas remis en cause peut être pris en défaut par ses seules références.

Deux façons, pour une référence, de mener nulle part

Les références inventées ne sont qu’une partie du problème. L’étude Hallucination-Free?, menée par des chercheurs de Stanford et de Yale et publiée en 2025 dans le Journal of Empirical Legal Studies, distingue les réponses fausses des réponses « mal fondées », qui énoncent correctement le droit mais citent une source qui ne l’appuie pas.

Une réponse mal fondée a toutes les apparences du sérieux. Elle porte une référence, cette référence existe, et seule une lecture du passage révèle le décalage. Un contrôle qui s’arrêterait à l’existence de la source la laisserait donc passer.

Il y a ainsi deux erreurs à prévenir : la référence qui n’existe pas, comme dans le rapport remis en Australie, et la référence qui existe mais ne dit pas ce qu’on lui fait dire.

Le contrôle qui rend l’erreur visible

La leçon à tirer du cas Deloitte tient aux sources.

Un système qui vérifie que chaque référence existe dans le corpus, puis qu’elle soutient bien l’affirmation, rend ce type d’erreur visible avant la remise.

L’ordre compte. La première vérification écarte les références inventées. La seconde, plus exigeante, compare l’affirmation au passage cité. Ce contrôle se conçoit et se teste ; il relève de la méthode, au-delà de la seule présence d’un corpus. Disposer des bons documents ne suffit pas : encore faut-il que le lien entre chaque phrase et sa source soit vérifié.

Le contre-exemple : un livrable construit en constats sourcés

Les métiers de l’audit ont une réponse à ce type de dérive : changer d’unité. On cesse de considérer le rapport comme un bloc de texte, et on le traite comme un assemblage de constats, chacun rattaché à ses sources au passage près.

Prenons une note au comité d’audit, à remettre en huit jours. Elle se construit bloc par bloc, à partir de sources déjà indexées : synthèse, exposition chiffrée, constats, recommandations. Une première version se rédige à partir des constats de l’exploration, et l’auteur la valide, la reprend ou la réécrit. Chaque phrase garde le lien vers le passage qui la fonde.

Le contrôle se proportionne au risque. Un constat sur deux incidents de continuité repose sur un seul procès-verbal ; dans l’esprit de la norme d’audit, un constat qui pèsera sur une décision mérite d’être corroboré. L’auteur retrouve le rapport d’incident du service logistique, et le constat passe à deux sources. La rigueur prend quelques minutes.

La relecture change aussi de nature. Le juriste relit constat par constat, ouvre les passages qui l’intéressent et demande une reformulation précise là où il le juge nécessaire. Chaque modification reste tracée. En comité, quand un administrateur demande d’où vient un chiffre, la source s’ouvre à l’écran avec la requête et la période.

Dans le cas Deloitte, des références inventées ont traversé toutes les relectures jusqu’à ce qu’un lecteur extérieur les repère après publication. Un livrable construit en constats sourcés, avec un contrôle systématique des références, permet de repérer avant l’envoi une référence qui mène nulle part. Il devient vérifiable par quelqu’un qui n’a pas participé à sa rédaction : c’est précisément la vérification qu’un lecteur extérieur a fini par faire en Australie, mais trop tard.