Le lecteur d’une analyse ARGUS consulte le protocole à deux moments. Avant, pour savoir ce qui sera appliqué : la Design Note 01 explique pourquoi des critères publiés et datés avant l’analyse comptent pour son audit. Après, pour vérifier ce qui a été fait. Les rubriques du rapport, ses qualifications et les contrôles qu’il déclare renvoient à des notions du protocole, que le lecteur retrouve dans la version qu’il lit.

Sur ce site, l’analyse de référence d’une étude de cas est rendue dans la langue du texte analysé, et certaines sont ensuite traduites. L’analyse de l’essai de Dario Amodei, écrite en anglais, se lit aussi en français et en allemand. Son lecteur allemand la vérifie avec le protocole allemand, quelle que soit la version que l’IA a reçue.

Chaque version peut donc être celle qu’applique l’IA, et chacune est celle que lit un lecteur. Les six doivent dire la même chose. C’est dans les mots qu’elles risquent de s’écarter : un protocole d’un millier de lignes, rendu en six langues, laisse à chacune des choix de vocabulaire qu’on ne voit qu’en les confrontant.

Trois cas relevés dans les protocoles V5.1.0 montrent ce que glisser veut dire.

Une notion, deux mots. Le protocole prévoit, en 0.a, deux cas où l’arrêt obligatoire n’a pas lieu. Le français appelle cela une dispense et garde le mot partout, jusque dans la version courte et dans l’annexe consacrée aux corpus. L’anglais, l’allemand, l’espagnol et l’italien font de même avec exemption, Befreiung, exención et esenzione. Le protocole portugais intitule la règle Isenção, puis parle de « regime de dispensa » dans la version courte et de « fórmulas de dispensa » dans l’annexe des corpus. Le lecteur portugais qui rencontre la seconde forme doit deviner qu’il s’agit de la première.

Un mot, plusieurs notions. Le protocole allemand emploie Ausnahme pour trois choses : la « dérogation déclarée » de 0.a, lorsque l’utilisateur demande malgré tout l’analyse d’un texte peu pertinent ; les trois exclusions du contrôle de constance modale, à l’étape 6 ; et l’exception que constitue la règle 13 dans la version courte. Chacune des cinq autres versions emploie au moins deux mots pour ces trois notions.

L’intitulé que le lecteur a sous les yeux. L’IA remplit un modèle de rapport, le gabarit de sortie, livré avec chaque version du protocole, et c’est lui qui fournit les intitulés du rapport. Pour le test 3.I, les gabarits espagnol, italien et portugais écrivent circularidad informacional, circolarità informazionale et circularidade informacional ; leurs protocoles disent informativa. Le lecteur qui cherche l’intitulé dans le protocole ou le glossaire de sa langue ne le retrouve pas. Le contrôle du gabarit portugais a relevé 21 rubriques sur 28 formulées autrement que dans le protocole, à l’endroit correspondant ; celui du gabarit italien, 24 écarts.

Une IA rapproche sans peine dispensa d’isenção. Pour un lecteur qui vérifie, chacun de ces écarts est un endroit où la vérification peut s’égarer.

Un écart peut aussi être un bon choix. Pour l’homme de paille de l’étape 1, le protocole portugais emploie espantalho, l’épouvantail. En français, homme de paille désigne traditionnellement un prête-nom, seul sens que Le Robert enregistre pour la locution, et le glossaire français doit mettre le lecteur en garde. Le glossaire portugais, lui, n’a eu à écarter que l’épouvantail des champs et un sens figuré. La divergence a été conservée, et le chantier l’a jugée à l’avantage du portugais.

Un glossaire explicatif dit au lecteur ce qu’un terme veut dire dans ARGUS, dans sa langue. On aurait pu en écrire un, puis le traduire cinq fois. Les six glossaires ont été construits autrement : la partie de chaque notice qui décrit l’emploi ARGUS est tirée du seul protocole de sa langue, sans lire les notices des autres glossaires, et aucune notice ne signale de convergence ou de divergence avec une autre langue.

La raison est celle que le protocole donne pour l’audit croisé, le deuxième des trois niveaux de contradiction qu’il prévoit : une seconde IA analyse le même texte en aveugle, sans la première analyse, car « une seconde IA à qui l’on montre la première produit une révision, non un audit ». Un glossaire rédigé avec un autre sous les yeux en serait la traduction, et son accord avec son modèle ne prouverait rien. Rédigés séparément, six glossaires qui décrivent une notion de la même façon attestent que les six protocoles la disent de la même façon. Lorsqu’ils divergent, la divergence désigne un endroit à examiner.

La séparation a un second effet : chaque glossaire répond aux difficultés de sa langue. Le glossaire allemand précise, dans sa notice sur la constance modale, que les trois Ausnahmen de l’étape 6 ne se confondent ni avec la dérogation de 0.a ni avec l’exception de la règle 13. Le glossaire portugais réunit isenção et dispensa dans une même entrée. Les autres langues n’ont besoin d’aucun de ces avertissements.

Les listes d’entrées diffèrent aussi : 109 en français, 108 en anglais, 115 en espagnol, 94 en italien, 134 en allemand, 135 en portugais. Ce nombre est un résultat, sans cible fixée d’avance. L’italien réunit plusieurs termes sous une même entrée. L’allemand, rédigé parmi les derniers, est parti d’un relevé de 205 notions dans son protocole ; le portugais a fait son propre relevé, puis aligné sa liste sur celle de l’allemand.

La règle s’est durcie en chemin. Les premières notices, du 10 au 12 septembre, ont été rédigées dans les six langues côte à côte, entrée par entrée. L’interdiction de lire les notices des autres glossaires est venue ensuite, hormis un glossaire d’une langue éloignée pris comme modèle de mise en page : pratiquée pour l’espagnol, formulée pour l’italien le 20 septembre, écrite dans la procédure le 23. Même alors, pendant le chantier allemand, trois glossaires gelés d’autres langues ont été ouverts par erreur, et leur texte est entré dans la conversation de travail.

Des glossaires séparés ont besoin d’un point de rencontre, faute de quoi rien ne dirait que dispense et isenção désignent la même notion. Ce point de rencontre est un glossaire transversal, non publié. Il a deux faces. La première est une table des formes : pour chaque concept ARGUS qu’elle couvre, la forme qu’emploie chacun des six protocoles. Elle sert aussi aux traductions, qui doivent rendre chaque terme ARGUS par la forme du protocole de la langue d’arrivée. La seconde est un inventaire de 205 notions, chacune rattachée à la section du protocole où elle apparaît et aux titres des entrées qui la traitent dans chaque glossaire.

Le glossaire transversal aligne les langues par section du protocole et par titre d’entrée. Il ne contient aucune définition et ne compare jamais le contenu des notices. Il sert à trois contrôles. Chaque notion traitée dans une langue a-t-elle son correspondant dans les autres ? Les ensembles fermés du protocole, comme une échelle ou une grille de questions, sont-ils couverts en entier ? Chaque formule que le protocole prescrit mot pour mot est-elle rattachée à une entrée ?

Ce qu’il signale se vérifie ensuite dans les protocoles. Le 23 septembre, les quatre premiers glossaires gelés ont été confrontés par leurs seuls ancrages. Cinq mesures indépendantes donnaient le même partage : le français et l’anglais d’un côté, l’espagnol et l’italien de l’autre. Ce partage suivait l’ordre du chantier : les contrôles automatiques, mis au point pendant l’espagnol et l’italien, n’avaient pas été appliqués aux deux premiers. Le français et l’anglais ont été révisés. Dans les six glossaires de la version 1.0.0, chaque renvoi « Voir aussi » mène à une entrée existante.

Le cas Ausnahme montre la limite de l’outil. L’inventaire des 205 notions a été tiré du relevé du protocole allemand, le plus récent quand il a été dressé. Il a rattaché les trois exclusions de l’étape 6 à la section 0.a, parce que le mot Ausnahme y figure pour la dérogation. Le contrôle portugais a relevé que le protocole portugais n’en parlait pas en 0.a ; le protocole allemand n’en parle pas davantage. L’écart venait du mot allemand. Le glossaire transversal signale, et le protocole de chaque langue tranche.

Il ne fait d’aucune langue la référence. Ses identifiants de concepts sont techniques, et la table des formes, rédigée en français, déclare n’accorder de priorité normative à aucune des six langues. Elle a ses propres erreurs : sa révision 1.2.0, numérotée à part des glossaires explicatifs, donne encore, dans les six langues, le nom de « pôle faible » à un élément du contrôle de constance modale que les six protocoles appellent « pôle rétracté ». Sa correction est en attente.

Rédiger une notice oblige à lire chaque occurrence d’un terme dans son protocole. Ce travail, conduit six fois, a fait apparaître des écarts dans les protocoles eux-mêmes. Le protocole italien nomme Modalità retorica, au féminin, le descripteur que son gabarit appelle Modo retorico, au masculin, avec des valeurs accordées à chacun. La dispense portugaise et les intitulés des gabarits sont du même ordre.

Une version publiée d’ARGUS ne se modifie pas. Ces écarts sont consignés pour la version suivante, et la correction italienne est déjà prête dans une version de travail, V5.1.1.

Un écart signalé n’est pas toujours retenu. Le qualificatif allemand du mode rhétorique, raffiniert, là où les autres langues disent « sophistiqué », a d’abord été présenté comme un défaut du protocole allemand. L’examen l’a requalifié en choix de terme, qui reste à arbitrer.

Les six glossaires ont été rédigés, dans des conversations séparées, par des modèles d’IA d’une même famille : les documents sont séparés, le rédacteur est commun. Confier chaque langue à un rédacteur distinct aurait rapproché la méthode de l’audit croisé qu’elle imite, mais il aurait fallu coordonner six rédacteurs en même temps, ce qui était hors de portée du projet. En contrepartie, chaque glossaire a été soumis à l’audit d’une autre IA, et chaque constat de cet audit a été vérifié dans le protocole ou la source citée avant d’être accepté.

La familiarité réelle d’un mot pour un lecteur de chaque langue n’a pas été mesurée ; elle a été appréciée d’après les dictionnaires et la formation des mots. Le glossaire transversal garde la marque de la langue sur laquelle son inventaire a été relevé, et ses erreurs n’apparaissent qu’en revenant aux protocoles. Les écarts relevés dans les protocoles V5.1.0 ne sont pas encore corrigés : le lecteur de cette version les rencontre, et son glossaire en signale une partie.

Le résultat reste perfectible : un glossaire gelé peut être rouvert, dans une nouvelle version, pour un défaut documenté ou une décision d’inventaire. Les six versions d’ARGUS restent six textes ; ce dispositif montre où elles diffèrent et le dit au lecteur de chacune, dans sa langue.

Cette note a été rédigée en français. Chacune de ses traductions a été faite séparément, avec le glossaire de sa langue pour les termes ARGUS.