Wer eine ARGUS-Analyse liest, zieht das Protokoll zu zwei Zeitpunkten heran. Vorher, um zu wissen, was angewendet wird: Die Design Note 01 erklärt, warum vor der Analyse veröffentlichte und datierte Kriterien für ihr Audit zählen. Danach, um zu prüfen, was getan wurde. Die Rubriken des Berichts, seine Qualifizierungen und die Kontrollen, die er ausweist, verweisen auf Begriffe des Protokolls, die der Leser in der Fassung wiederfindet, die er liest.

Auf dieser Website wird die Referenzanalyse einer Fallstudie in der Sprache des analysierten Textes erstellt, und einige werden anschließend übersetzt. Die Analyse des Essays von Dario Amodei, auf Englisch verfasst, liegt auch auf Französisch und auf Deutsch vor. Ihr deutscher Leser prüft sie mit dem deutschen Protokoll, gleichgültig, welche Fassung die KI erhalten hat.

Jede Fassung kann also diejenige sein, die die KI anwendet, und jede ist diejenige, die irgendein Leser liest. Die sechs müssen dasselbe sagen. In den Wörtern drohen sie auseinanderzudriften: Ein Protokoll von rund tausend Zeilen, in sechs Sprachen wiedergegeben, lässt jeder von ihnen Entscheidungen im Wortschatz, die erst beim Vergleich sichtbar werden.

Drei Fälle aus den Protokollen V5.1.0 zeigen, was Verrutschen heißt.

Ein Begriff, zwei Wörter. Das Protokoll sieht in 0.a zwei Fälle vor, in denen der obligatorische Stopp entfällt. Das Französische nennt dies dispense und behält das Wort überall bei, bis in die Kurzversion und den Anhang über Korpora. Das Englische, das Deutsche, das Spanische und das Italienische verfahren ebenso mit exemption, Befreiung, exención und esenzione. Das portugiesische Protokoll überschreibt die Regel mit Isenção und spricht dann in der Kurzversion von „regime de dispensa“ und im Korpus-Anhang von „fórmulas de dispensa“. Ein portugiesischer Leser, der auf die zweite Form stößt, muss erraten, dass die erste gemeint ist.

Ein Wort, mehrere Begriffe. Das deutsche Protokoll verwendet Ausnahme für drei Dinge: die „erklärte Ausnahme“ von 0.a, wenn der Nutzer die Analyse eines Textes geringer Relevanz trotzdem verlangt; die drei Ausnahmen der Kontrolle der modalen Konstanz in Schritt 6; und die Ausnahme, die Regel 13 in der Kurzversion bildet. Jede der fünf anderen Fassungen verwendet für diese drei Begriffe mindestens zwei Wörter.

Die Überschrift, die der Leser vor Augen hat. Die KI füllt ein Berichtsmuster aus, die Ausgabevorlage, die jeder Fassung des Protokolls beiliegt, und diese Vorlage liefert die Überschriften des Berichts. Für den Test 3.I schreiben die spanische, die italienische und die portugiesische Vorlage circularidad informacional, circolarità informazionale und circularidade informacional; ihre Protokolle sagen informativa. Wer die Überschrift im Protokoll oder im Glossar seiner Sprache sucht, findet sie nicht. Die Kontrolle der portugiesischen Vorlage ergab 21 von 28 Rubriken, die an der entsprechenden Stelle anders formuliert sind als im Protokoll; die der italienischen Vorlage 24 Abweichungen.

Eine KI bringt dispensa mühelos mit isenção zusammen. Für einen Leser, der prüft, ist jede dieser Abweichungen eine Stelle, an der die Prüfung in die Irre gehen kann.

Eine Abweichung kann auch eine gute Wahl sein. Für den Strohmann in Schritt 1 verwendet das portugiesische Protokoll espantalho, die Vogelscheuche. Im Französischen bezeichnet homme de paille traditionell eine vorgeschobene Person, die einzige Bedeutung, die Le Robert für die Wendung verzeichnet, und das französische Glossar muss den Leser warnen. Das portugiesische Glossar hatte nur die Vogelscheuche auf dem Feld und eine übertragene Bedeutung auszuschließen. Die Abweichung wurde beibehalten, und die Arbeit an den Glossaren hat sie zugunsten des Portugiesischen bewertet.

Ein erläuterndes Glossar sagt dem Leser, was ein Ausdruck in ARGUS bedeutet, in seiner Sprache. Man hätte eines schreiben und es fünfmal übersetzen können. Die sechs Glossare sind anders entstanden: Der Teil jedes Eintrags, der die Verwendung in ARGUS beschreibt, stammt allein aus dem Protokoll der eigenen Sprache, ohne Lektüre der Einträge der anderen Glossare, und kein Eintrag nennt eine Übereinstimmung oder Abweichung gegenüber einer anderen Sprache.

Der Grund ist derselbe, den das Protokoll für das Kreuzaudit angibt, die zweite der drei Stufen des Widerspruchsverfahrens: Eine zweite KI analysiert denselben Text blind, ohne die erste Analyse, denn „Eine zweite KI, der man die erste zeigt, erstellt eine Überarbeitung, kein Audit“. Ein Glossar, das mit einem anderen vor Augen verfasst wird, wäre dessen Übersetzung, und seine Übereinstimmung mit der Vorlage bewiese nichts. Getrennt verfasst, belegen sechs Glossare, die einen Begriff auf dieselbe Weise beschreiben, dass die sechs Protokolle ihn auf dieselbe Weise ausdrücken. Wo sie auseinandergehen, zeigt die Abweichung eine Stelle an, die zu prüfen ist.

Die Trennung hat eine zweite Wirkung: Jedes Glossar antwortet auf die Schwierigkeiten seiner Sprache. Das deutsche Glossar stellt in seinem Eintrag zur modalen Konstanz klar, dass die drei Ausnahmen von Schritt 6 weder mit der erklärten Ausnahme von 0.a noch mit der Ausnahme von Regel 13 zu verwechseln sind. Das portugiesische Glossar fasst isenção und dispensa in einem einzigen Eintrag zusammen. Die anderen Sprachen brauchen keine dieser Warnungen.

Auch die Listen der Einträge unterscheiden sich: 109 im Französischen, 108 im Englischen, 115 im Spanischen, 94 im Italienischen, 134 im Deutschen, 135 im Portugiesischen. Diese Zahl ist ein Ergebnis, ohne vorab festgelegtes Ziel. Das Italienische fasst mehrere Ausdrücke unter einem Eintrag zusammen. Das Deutsche, als eines der letzten verfasst, ging von einer Erhebung von 205 Begriffen in seinem Protokoll aus; das Portugiesische hat eine eigene Erhebung vorgenommen und seine Liste dann an der deutschen ausgerichtet.

Die Regel wurde unterwegs verschärft. Die ersten Einträge, vom 10. bis 12. September, wurden in allen sechs Sprachen nebeneinander verfasst, Eintrag für Eintrag. Das Verbot, die Einträge der anderen Glossare zu lesen, kam später, ausgenommen ein Glossar in einer entfernten Sprache, das als Vorlage für die Gestaltung diente: praktiziert beim Spanischen, für das Italienische am 20. September formuliert, am 23. im Verfahren festgeschrieben. Selbst dann wurden während der Arbeit am Deutschen drei eingefrorene Glossare anderer Sprachen versehentlich geöffnet, und ihr Text gelangte in das Arbeitsgespräch.

Getrennte Glossare brauchen einen Treffpunkt; ohne ihn würde nichts anzeigen, dass dispense und isenção denselben Begriff bezeichnen. Dieser Treffpunkt ist ein sprachübergreifendes Glossar, das nicht veröffentlicht wird. Es hat zwei Seiten. Die erste ist eine Formentabelle: Für jedes ARGUS-Konzept, das sie abdeckt, verzeichnet sie die Form, die jedes der sechs Protokolle verwendet. Sie dient auch den Übersetzungen, die jeden ARGUS-Ausdruck mit der Form des Protokolls der Zielsprache wiedergeben müssen. Die zweite ist ein Inventar von 205 Begriffen, jeder verknüpft mit dem Abschnitt des Protokolls, in dem er erscheint, und mit den Titeln der Einträge, die ihn in den einzelnen Glossaren behandeln.

Das sprachübergreifende Glossar richtet die Sprachen nach Protokollabschnitt und Eintragstitel aus. Es enthält keine Definition und vergleicht nie den Inhalt der Einträge. Es dient drei Kontrollen. Hat jeder in einer Sprache behandelte Begriff seine Entsprechung in den anderen? Sind die geschlossenen Listen des Protokolls, etwa eine Skala oder ein Fragenraster, vollständig abgedeckt? Ist jede Formel, die das Protokoll wörtlich vorschreibt, einem Eintrag zugeordnet?

Was es meldet, wird anschließend in den Protokollen überprüft. Am 23. September wurden die ersten vier eingefrorenen Glossare allein über ihre Ankerpunkte verglichen. Fünf unabhängige Messungen ergaben dieselbe Aufteilung: Französisch und Englisch auf der einen Seite, Spanisch und Italienisch auf der anderen. Diese Aufteilung folgte der Reihenfolge der Arbeit: Die automatischen Kontrollen, entwickelt während der Arbeit am Spanischen und am Italienischen, waren auf die ersten beiden nicht angewendet worden. Französisch und Englisch wurden überarbeitet. In den sechs Glossaren der Version 1.0.0 führt jeder Verweis unter „Siehe auch“ zu einem vorhandenen Eintrag.

Der Fall Ausnahme zeigt die Grenze des Werkzeugs. Das Inventar der 205 Begriffe wurde aus der Erhebung des deutschen Protokolls gewonnen, der jüngsten zum Zeitpunkt seiner Erstellung. Es ordnete die drei Ausnahmen von Schritt 6 dem Abschnitt 0.a zu, weil das Wort Ausnahme dort für die erklärte Ausnahme steht. Die portugiesische Kontrolle stellte fest, dass das portugiesische Protokoll in 0.a nicht davon spricht; das deutsche Protokoll tut es ebenso wenig. Die Abweichung ging auf das deutsche Wort zurück. Das sprachübergreifende Glossar meldet, und das Protokoll jeder Sprache entscheidet.

Es macht keine Sprache zur Referenz. Seine Konzeptkennungen sind technisch, und die Formentabelle, auf Französisch verfasst, erklärt, keiner der sechs Sprachen normativen Vorrang einzuräumen. Sie hat ihre eigenen Fehler: Ihre Revision 1.2.0, getrennt von den erläuternden Glossaren nummeriert, gibt einem Element der Kontrolle der modalen Konstanz, das die sechs Protokolle „zurückgezogener Pol“ nennen, in allen sechs Sprachen noch immer den Namen „schwacher Pol“. Ihre Korrektur steht aus.

Einen Eintrag zu verfassen zwingt dazu, jedes Vorkommen eines Ausdrucks in seinem Protokoll zu lesen. Diese Arbeit, sechsmal geleistet, hat Abweichungen in den Protokollen selbst zutage gefördert. Das italienische Protokoll nennt einen Deskriptor Modalità retorica, ein Femininum; seine Ausgabevorlage nennt ihn Modo retorico, ein Maskulinum, und die Werte richten sich jeweils nach dem Genus. Die portugiesische Befreiung und die Überschriften der Ausgabevorlagen gehören in dieselbe Kategorie.

Eine veröffentlichte Version von ARGUS wird nicht verändert. Diese Abweichungen werden für die nächste Version festgehalten, und die italienische Korrektur liegt in einer Arbeitsversion, V5.1.1, bereits vor.

Eine gemeldete Abweichung wird nicht immer übernommen. Das deutsche Attribut des rhetorischen Modus, raffiniert, wo die anderen Sprachen die Entsprechung von „sophistiqué“ verwenden, wurde zunächst als Mangel des deutschen Protokolls dargestellt. Die Prüfung hat es als Wahl des Ausdrucks eingestuft, über die noch zu entscheiden ist.

Die sechs Glossare wurden in getrennten Gesprächen von KI-Modellen derselben Familie verfasst: Die Dokumente sind getrennt, der Verfasser ist derselbe. Jede Sprache einem anderen Verfasser anzuvertrauen, hätte die Methode näher an das Kreuzaudit gebracht, das sie nachahmt, hätte aber verlangt, sechs Verfasser gleichzeitig zu koordinieren, was außerhalb der Möglichkeiten des Projekts lag. Im Gegenzug wurde jedes Glossar dem Audit einer anderen KI unterzogen, und jede Feststellung dieses Audits wurde im Protokoll oder in der zitierten Quelle überprüft, bevor sie angenommen wurde.

Wie vertraut ein Wort einem Leser der jeweiligen Sprache tatsächlich ist, wurde nicht gemessen; es wurde anhand der Wörterbücher und der Wortbildung eingeschätzt. Das sprachübergreifende Glossar trägt die Spur der Sprache, an der sein Inventar erhoben wurde, und seine Fehler zeigen sich erst bei der Rückkehr zu den Protokollen. Die in den Protokollen V5.1.0 festgestellten Abweichungen sind noch nicht behoben: Der Leser dieser Version begegnet ihnen, und sein Glossar weist auf einen Teil davon hin.

Das Ergebnis bleibt verbesserungsfähig: Ein eingefrorenes Glossar kann in einer neuen Version wieder geöffnet werden, wegen eines dokumentierten Mangels oder einer Inventarentscheidung. Die sechs Fassungen von ARGUS bleiben sechs Texte; diese Einrichtung zeigt, wo sie sich unterscheiden, und sagt es dem Leser jeder Fassung in seiner Sprache.

Diese Design Note wurde auf Französisch verfasst. Jede ihrer Übersetzungen wurde getrennt angefertigt, mit dem Glossar der jeweiligen Sprache für die ARGUS-Begriffe.