O leitor de uma análise ARGUS consulta o protocolo em dois momentos. Antes, para saber o que será aplicado: a Design Note 01 explica porque é que critérios publicados e datados antes da análise contam para a sua auditoria. Depois, para verificar o que foi feito. As rubricas do relatório, as suas qualificações e os controlos que declara remetem para noções do protocolo, que o leitor reencontra na versão que lê.

Neste site, a análise de referência de um estudo de caso é redigida na língua do texto analisado, e algumas são depois traduzidas. A análise do ensaio de Dario Amodei, escrita em inglês, lê-se também em francês e em alemão. O seu leitor alemão verifica-a com o protocolo alemão, seja qual for a versão que a IA recebeu.

Cada versão pode, portanto, ser a que a IA aplica, e cada uma é a que algum leitor lê. As seis têm de dizer o mesmo. É nas palavras que correm o risco de se afastar: um protocolo de um milhar de linhas, vertido em seis línguas, deixa a cada uma escolhas de vocabulário que só se veem quando se confrontam.

Três casos detetados nos protocolos V5.1.0 mostram o que quer dizer deslizar.

Uma noção, duas palavras. O protocolo prevê, em 0.a, dois casos em que a interrupção obrigatória não ocorre. O francês chama-lhe dispense e mantém a palavra em toda a parte, até na versão curta e no anexo dedicado aos corpus. O inglês, o alemão, o espanhol e o italiano fazem o mesmo com exemption, Befreiung, exención e esenzione. O protocolo português intitula a regra Isenção e depois fala de «regime de dispensa» na versão curta e de «fórmulas de dispensa» no anexo dos corpus. O leitor português que encontra a segunda forma tem de adivinhar que se trata da primeira.

Uma palavra, várias noções. O protocolo alemão usa Ausnahme para três coisas: a «derrogação declarada» de 0.a, quando o utilizador pede mesmo assim a análise de um texto de pertinência fraca; as três exceções do controlo de constância modal, na Etapa 6; e a exceção que a Regra 13 constitui na versão curta. Cada uma das outras cinco versões usa pelo menos duas palavras para estas três noções.

O título que o leitor tem diante dos olhos. A IA preenche um esquema de relatório, o modelo de saída, fornecido com cada versão do protocolo, e é o modelo que dá os títulos do relatório. Para o teste 3.I, os modelos espanhol, italiano e português escrevem circularidad informacional, circolarità informazionale e circularidade informacional; os seus protocolos dizem informativa. O leitor que procura o título no protocolo ou no glossário da sua língua não o encontra. O controlo do modelo português detetou 21 rubricas em 28 formuladas de outro modo que no protocolo, no ponto correspondente; o do modelo italiano, 24 desvios.

Uma IA aproxima sem esforço dispensa de isenção. Para um leitor que verifica, cada um destes desvios é um ponto onde a verificação se pode perder.

Um desvio também pode ser uma boa escolha. Na Etapa 1, onde os outros cinco protocolos falam de «homem de palha», cada um na sua língua, o protocolo português emprega espantalho. Em francês, homme de paille designa tradicionalmente um testa de ferro, único sentido que Le Robert regista para a locução, e o glossário francês tem de pôr o leitor de sobreaviso. O glossário português, por seu lado, só teve de afastar o espantalho dos campos e um sentido figurado. A divergência foi mantida, e o trabalho sobre os glossários considerou-a vantajosa para o português.

Um glossário explicativo diz ao leitor o que um termo quer dizer no ARGUS, na sua língua. Poder-se-ia ter escrito um e traduzi-lo cinco vezes. Os seis glossários foram construídos de outro modo: a parte de cada entrada que descreve o uso ARGUS é extraída apenas do protocolo da sua língua, sem ler as entradas dos outros glossários, e nenhuma entrada assinala uma convergência ou uma divergência com outra língua.

A razão é a que o protocolo dá para a auditoria cruzada, o segundo dos três níveis de contraditório que prevê: uma segunda IA analisa o mesmo texto às cegas, sem a primeira análise, porque «uma segunda IA a quem se mostra a primeira produz uma revisão, não uma auditoria». Um glossário redigido com outro à vista seria a sua tradução, e a sua concordância com o modelo nada provaria. Redigidos separadamente, seis glossários que descrevem uma noção da mesma maneira atestam que os seis protocolos a enunciam da mesma maneira. Quando divergem, a divergência aponta para um ponto a examinar.

A separação tem um segundo efeito: cada glossário responde às dificuldades da sua língua. O glossário alemão precisa, na sua entrada sobre a constância modal, que as três Ausnahmen da Etapa 6 não se confundem nem com a derrogação de 0.a nem com a exceção da Regra 13. O glossário português reúne isenção e dispensa numa mesma entrada. As outras línguas não precisam de nenhum destes avisos.

As listas de entradas também diferem: 109 em francês, 108 em inglês, 115 em espanhol, 94 em italiano, 134 em alemão, 135 em português. Esse número é um resultado, sem meta fixada de antemão. O italiano reúne vários termos numa mesma entrada. O alemão, redigido entre os últimos, partiu de um levantamento de 205 noções no seu protocolo; o português fez o seu próprio levantamento e depois alinhou a sua lista pela do alemão.

A regra foi-se tornando mais estrita pelo caminho. As primeiras entradas, de 10 a 12 de setembro, foram redigidas nas seis línguas lado a lado, entrada a entrada. A proibição de ler as entradas dos outros glossários veio depois, salvo um glossário de uma língua distante tomado como modelo de paginação: praticada no espanhol, formulada para o italiano a 20 de setembro, escrita no procedimento a 23. Mesmo então, durante o trabalho sobre o alemão, três glossários congelados de outras línguas foram abertos por engano, e o seu texto entrou na conversa de trabalho.

Glossários separados precisam de um ponto de encontro; sem ele, nada indicaria que dispense e isenção designam a mesma noção. Esse ponto de encontro é um glossário transversal, que não é publicado. Tem duas faces. A primeira é uma tabela das formas: para cada conceito ARGUS que cobre, a forma que cada um dos seis protocolos emprega. Serve também às traduções, que devem verter cada termo ARGUS pela forma do protocolo da língua de chegada. A segunda é um inventário de 205 noções, cada uma ligada à secção do protocolo onde aparece e aos títulos das entradas que a tratam em cada glossário.

O glossário transversal alinha as línguas por secção do protocolo e por título de entrada. Não contém nenhuma definição e nunca compara o conteúdo das entradas. Serve três controlos. Cada noção tratada numa língua tem o seu correspondente nas outras? Os conjuntos fechados do protocolo, como uma escala ou uma grelha de perguntas, estão cobertos por inteiro? Cada fórmula que o protocolo prescreve palavra por palavra está ligada a uma entrada?

O que ele assinala verifica-se depois nos protocolos. A 23 de setembro, os quatro primeiros glossários congelados foram confrontados apenas pelas suas ancoragens. Cinco medidas independentes davam a mesma partilha: o francês e o inglês de um lado, o espanhol e o italiano do outro. Essa partilha seguia a ordem do trabalho: os controlos automáticos, afinados durante a redação do espanhol e do italiano, não tinham sido aplicados aos dois primeiros. O francês e o inglês foram revistos. Nos seis glossários da versão 1.0.0, cada remissão «Ver também» leva a uma entrada existente.

O caso Ausnahme mostra o limite da ferramenta. O inventário das 205 noções foi tirado do levantamento do protocolo alemão, o mais recente quando foi elaborado. Ligou as três exceções da Etapa 6 à secção 0.a, porque a palavra Ausnahme aí figura para a derrogação. O controlo português detetou que o protocolo português não falava delas em 0.a; o protocolo alemão também não fala. O desvio vinha da palavra alemã. O glossário transversal assinala, e o protocolo de cada língua decide.

Não faz de nenhuma língua a referência. Os seus identificadores de conceitos são técnicos, e a tabela das formas, redigida em francês, declara não conceder prioridade normativa a nenhuma das seis línguas. Tem os seus próprios erros: a sua revisão 1.2.0, numerada à parte dos glossários explicativos, ainda dá, nas seis línguas, o nome de «polo fraco» a um elemento do controlo de constância modal que os seis protocolos chamam «polo retirado». A sua correção está pendente.

Redigir uma entrada obriga a ler cada ocorrência de um termo no seu protocolo. Esse trabalho, feito seis vezes, fez aparecer desvios nos próprios protocolos. O protocolo italiano chama Modalità retorica, no feminino, ao descritor que o seu modelo de saída chama Modo retorico, no masculino, com valores concordados com cada um. O par isenção / dispensa e os títulos dos modelos são da mesma ordem.

Uma versão publicada do ARGUS não se altera. Esses desvios ficam registados para a versão seguinte, e a correção italiana já está preparada numa versão de trabalho, V5.1.1.

Um desvio assinalado nem sempre é aceite. O qualificativo alemão do modo retórico, raffiniert, onde as outras línguas dizem «sofisticado», foi primeiro apresentado como um defeito do protocolo alemão. O exame requalificou-o como escolha de termo, que continua por decidir.

Os seis glossários foram redigidos, em conversas separadas, por modelos de IA de uma mesma família: os documentos são separados, o redator é comum. Confiar cada língua a um redator distinto teria aproximado o método da auditoria cruzada que imita, mas teria exigido coordenar seis redatores ao mesmo tempo, o que estava fora do alcance do projeto. Em contrapartida, cada glossário foi submetido à auditoria de outra IA, e cada constatação dessa auditoria foi verificada no protocolo ou na fonte citada antes de ser aceite.

A familiaridade real de uma palavra para um leitor de cada língua não foi medida; foi avaliada a partir dos dicionários e da formação das palavras. O glossário transversal conserva a marca da língua sobre a qual o seu inventário foi levantado, e os seus erros só aparecem quando se volta aos protocolos. Os desvios detetados nos protocolos V5.1.0 ainda não estão corrigidos: o leitor dessa versão encontra-os, e o seu glossário assinala uma parte deles.

O resultado continua perfectível: um glossário congelado pode ser reaberto, numa nova versão, por um defeito documentado ou por uma decisão de inventário. As seis versões do ARGUS continuam a ser seis textos; este sistema mostra onde diferem e di-lo ao leitor de cada uma, na sua língua.

Esta nota foi redigida em francês. Cada uma das suas traduções foi feita separadamente, com o glossário da sua língua para os termos ARGUS.