Qu’est-ce qui rend une analyse auditable ? Quatre choix de conception d’ARGUS et la limite qu’ils ne permettent pas de franchir.
Un modèle de langage peut produire, sur presque n’importe quel document, une critique qui paraît compétente. Les critères ont-ils été fixés avant l’analyse ou ajustés au texte après coup ? A-t-on recherché les éléments contraires, ou les a-t-on discrètement évités ? Le modèle s’est-il incliné devant le statut de l’auteur, ou a-t-il au contraire durci son jugement pour paraître indépendant ? Rien de cela ne se lit dans la prose elle-même. Sur la page, une critique plausible peut ressembler à une critique solide.
ARGUS part de ce problème. Les étapes analytiques du protocole sont documentées ailleurs sur ce site. Cette note traite d’autre chose : les choix de conception qui permettent au lecteur de vérifier comment une analyse a été produite, plutôt que de devoir faire confiance à ses conclusions.
Quatre choix comptent particulièrement. Les exemples viennent de la Case Study Amodei, menée dans une configuration volontairement délicate : un modèle d’Anthropic analysant un essai du directeur général d’Anthropic. Aucune procédure ne rend un modèle impartial dans une telle situation. L’objectif était plus limité : rendre la procédure vérifiable par quelqu’un qui ne fait confiance ni au modèle ni à l’analyste.
Les critères sont fixés avant le début de l’analyse
Selon la politique de versionnement actuelle, chaque nouvelle version d’ARGUS indique s’il s’agit d’une version majeure, mineure ou d’un correctif, et pourquoi. Les entrées antérieures restent visibles telles qu’elles ont été publiées. L’historique des versions fait donc partie de la piste d’audit ; ce n’est pas seulement un journal de modifications destiné aux curieux.
Dans le cas Amodei, une condition plus forte était même satisfaite. Le contrôle qui a produit le constat central, le contrôle de constance modale, avait été publié dans ARGUS V5.1.0 en août 2026, avant même l’essai de septembre. Il vérifie si une même proposition portante est formulée avec un engagement fort lorsqu’elle fait le travail argumentatif, puis affaiblie lorsque maintenir cet engagement aurait un coût.
La critique textuelle ad hoc court toujours le risque de façonner son critère autour du texte déjà sous les yeux de l’analyste. Une spécification publique et datée ne supprime pas ce risque ; elle permet au moins d’en vérifier la chronologie.
La norme de preuve est déclarée avant les contrôles de fond
Avant les contrôles de fond, l’analyse indique ce qu’elle acceptera comme appui suffisant pour le genre considéré. Dans le cas Amodei, il fallait une source identifiable ou retrouvable pour une affirmation présentée comme étayée, un mécanisme causal explicite pour une affirmation prospective, un engagement formulé assez précisément pour qu’un tiers puisse le contrôler ensuite et, pour une affirmation quantitative, une base et un périmètre déclarés.
La même discipline vaut pour les contrôles numériques. Les chiffres retenus comme probants sont désignés avant les calculs, au lieu d’être sélectionnés après coup selon les résultats qui se révèlent utiles.
Cela ne rend pas la norme choisie correcte par définition. Un lecteur peut la trouver trop stricte ou trop laxiste. Mais il peut alors discuter cette norme séparément des verdicts qu’elle a produits.
La synthèse de publication ne reçoit que l’analyse
Une fois l’analyse de référence achevée, la synthèse de publication est produite dans une exécution séparée à partir de cette seule analyse, dont le résumé primaire est masqué. L’objet analysé n’est pas fourni. Les sources externes, la conversation précédente et les traductions ne le sont pas non plus, et la recherche externe est désactivée.
Cette seconde exécution ne peut donc pas revenir à l’essai original pour réparer l’analyse, ajouter un fait tiré d’une source que l’analyste aurait omise ou renforcer discrètement une conclusion par une nouvelle recherche. Sa tâche est plus étroite : reconstruire ce que le texte soutient, dire ce que l’analyse achevée considère comme solide, identifier les principales faiblesses et ce qui leur survit, conserver la distinction entre une affirmation forte qui échoue et une affirmation plus faible qui tient, sans ajouter de constat absent de l’analyse fournie.
Si la synthèse était produite dans la même exécution, elle resterait exposée aux mêmes effets de contexte. La séparation ne rend pas le second modèle impartial ; elle circonscrit sa dépendance et permet de l’inspecter.
Les corrections sont déclarées, y compris lorsqu’elles atténuent le résultat
Une première lecture du rendu textuel de l’essai d’Amodei, avant l’extraction et l’intégration des annotations de liens, l’avait traité comme essentiellement dépourvu de sources. Cette lecture était erronée.
Une fois les liens examinés, l’audit des sources et l’évaluation de la fermeture interprétative ont dû être repris. La correction a fait passer cette dernière du niveau 3 au niveau 2, en faveur de l’essai. L’analyse consigne ce changement au lieu de l’absorber silencieusement.
Elle consigne aussi un risque de biais allant dans l’autre sens. Un modèle produit par Anthropic peut être porté à la déférence envers le directeur général d’Anthropic. Il peut aussi surcorriger et devenir anormalement sévère pour afficher son indépendance. L’analyse nomme les deux possibilités et précise où la seconde devrait apparaître : dans des niveaux de gravité artificiellement élevés ou un niveau de fermeture excessif.
Le dossier conserve même un exemple concret de déférence. L’analyste n’avait d’abord pas contrôlé la première raison avancée par l’essai, parce qu’une affirmation technique du dirigeant de l’entreprise concernée semblait venir de la personne la mieux placée pour savoir. Le protocole a fini par imposer ce contrôle.
Les liens fournis par le texte ont nourri certaines des objections les plus fortes
L’essai affirme que le progrès de l’IA est désormais principalement tiré par la capacité croissante de l’IA à construire la génération suivante d’IA. La page de l’Anthropic Institute liée à cette affirmation décrit une forte accélération du travail humain d’ingénierie, tout en indiquant qu’il reste réellement incertain que les méthodes actuelles puissent permettre d’atteindre la capacité plus forte ainsi revendiquée.
L’essai rapproche également les incidents d’Anthropic de l’épisode OpenAI–Hugging Face, qu’il dit « similaires, quoique moins graves ». L’évaluation publiée par Anthropic, liée par le texte, indique que ces incidents impliquaient des instances uniques de modèle, sans coordination entre agents, et que les modèles ne sont pas sortis des exercices qui leur étaient assignés. Ces différences comptent dans la comparaison proposée par l’essai.
Un troisième exemple concerne l’organisme de normalisation proposé par Demis Hassabis. L’essai l’invoque comme exemple de dialogue au sein de l’industrie. La proposition elle-même va plus loin : elle envisage un organisme d’abord volontaire, susceptible de devenir obligatoire pour le déploiement aux USA et capable, si nécessaire, de coordonner un ralentissement entre laboratoires de pointe.
Certaines des objections les plus fortes de l’analyse viennent donc des sources que l’essai a lui-même choisi de fournir, et non de sources adverses ajoutées par l’analyste.
Le même dispositif consigne aussi ce qui joue en faveur du texte
Le même examen relève les éléments favorables à l’essai.
L’analyse consigne sa prédiction datée de six à douze mois, qui pourra ensuite être confrontée aux faits. Elle retient aussi en sa faveur la divulgation des échecs d’Anthropic, accompagnée de liens vers les rapports concernés, ainsi qu’une disposition donnant aux examinateurs externes le droit de publier leurs constats sans contrôle éditorial d’Anthropic.
La manière dont l’essai documente ses affirmations compte également. Dans sa description la plus chargée de l’incident OpenAI–Hugging Face, il renvoie à une enquête indépendante qui étaye l’essentiel de ce que dit la phrase. L’analyse en tient compte au lieu de considérer d’emblée cette formulation comme un défaut.
Un dispositif qui ne ferait ressortir que des critiques ressemblerait davantage à un verdict écrit d’avance qu’à un audit.
L’auditabilité n’est pas une reproductibilité expérimentale
Réexécuter ARGUS sur le même texte ne garantit pas une analyse identique. Il ne s’agit donc pas de reproductibilité au sens expérimental.
Ce que cette conception permet est plus modeste : on peut localiser le désaccord.
Les étapes, la norme de preuve, les sources et les corrections étant déclarées, deux analystes qui divergent peuvent identifier le point où leurs lectures se séparent et discuter à cet endroit, plutôt que d’échanger des impressions générales sur le texte.
L’analyse Amodei applique cette exigence à son propre constat central. Le verdict de rétractation modale est consigné avec une confiance moyenne. La lecture concurrente est exposée explicitement : peut-être que « pacing » a toujours désigné l’exigence plus faible consistant à laisser assez de temps pour l’alignement et la vérification ; dans ce cas, il n’y aurait pas rétractation, seulement une phrase d’ouverture trop comprimée. L’analyse rejette cette lecture, en donne les raisons et présente ce rejet comme un jugement plutôt que comme une démonstration.
La promesse est plus modeste que la reproductibilité expérimentale, mais le lecteur peut la vérifier.
Aucune de ces exigences ne suppose une infrastructure spécialisée. Elles demandent surtout du calcul supplémentaire et une discipline de consignation. Publier les critères, avec leur date, avant de les appliquer. Déclarer ce qui comptera comme preuve avant les contrôles de fond. Séparer les exécutions. Consigner les corrections, surtout celles qui affaiblissent sa propre conclusion.
Sans cette trace, une analyse demande à être crue pour la seule qualité de sa formulation.