Design Notes
As Design Notes são ensaios não normativos sobre escolhas de conceção, compromissos e limites do ARGUS. Não alteram o protocolo.
O que torna uma análise auditável? Quatro escolhas de conceção do ARGUS e o limite que não permitem ultrapassar.
Um modelo de linguagem pode produzir, sobre quase qualquer documento, uma crítica que parece competente. Os critérios foram fixados antes da análise ou adaptados ao texto depois? Procuraram-se elementos contrários ou evitaram-se discretamente? O modelo deixou-se influenciar pelo prestígio do autor ou endureceu o juízo para parecer independente? Nada disso se percebe apenas pela prosa. Na página, uma crítica plausível pode parecer tão sólida como uma crítica bem fundamentada.
O ARGUS parte deste problema. As etapas analíticas do protocolo estão documentadas noutros pontos do site. Esta nota trata de outra questão: as escolhas de conceção que permitem ao leitor verificar como uma análise foi produzida, em vez de se limitar a confiar nas conclusões.
Quatro escolhas têm um peso particular. Os exemplos vêm do Case Study Amodei, realizado numa configuração deliberadamente delicada: um modelo da Anthropic a analisar um ensaio do diretor executivo da Anthropic. Nenhum procedimento torna um modelo imparcial nessa situação. O objetivo era mais limitado: que o procedimento pudesse ser verificado por alguém que não confia nem no modelo nem no analista.
Os critérios ficam fixados antes de a análise começar
Ao abrigo da política de versionamento atual, cada nova versão do ARGUS declara se é major, minor ou um patch, e explica porquê. As entradas anteriores permanecem visíveis tal como foram publicadas. Por isso, o histórico de versões faz parte da pista de auditoria e não é apenas um registo de alterações para curiosos.
No caso Amodei verificava-se ainda uma condição mais forte. O controlo que produziu o resultado central, o controlo de constância modal, já tinha sido publicado no ARGUS V5.1.0 em agosto de 2026, antes mesmo do ensaio de setembro. O controlo verifica se a mesma proposição portante é formulada com um grau forte de compromisso quando cumpre a função argumentativa e depois enfraquecida quando manter esse compromisso teria um custo.
A crítica textual ad hoc corre sempre o risco de moldar o critério em torno do texto que o analista já tem diante de si. Uma especificação pública e datada não elimina esse risco, mas permite verificar a cronologia.
A norma de prova é declarada antes dos controlos substantivos
Antes dos controlos substantivos, a análise declara o que aceitará como suporte adequado para o género em causa. No caso Amodei, isso exigia uma fonte identificável ou recuperável para uma afirmação tratada como sustentada, um mecanismo causal explícito para uma afirmação prospetiva, um compromisso formulado com precisão suficiente para que um terceiro o possa verificar mais tarde e, para uma afirmação quantitativa, uma base e um perímetro declarados.
A mesma disciplina aplica-se aos controlos numéricos. Os números considerados probatórios são definidos antes dos cálculos, em vez de serem selecionados depois em função dos resultados que se revelam mais úteis.
Isto não torna correta a norma escolhida. Um leitor pode considerá-la demasiado exigente ou demasiado permissiva. Pode, porém, discutir essa norma separadamente dos veredictos que ela produziu.
A síntese de publicação recebe apenas a análise
Uma vez concluída a análise de referência, a síntese de publicação é produzida numa execução separada apenas a partir dessa análise, com o seu resumo primário ocultado. O objeto analisado não é fornecido. O mesmo vale para as fontes externas, a conversa anterior e as traduções; a pesquisa externa fica desativada.
A segunda execução não pode, portanto, regressar ao ensaio original para reparar a análise, acrescentar um facto proveniente de uma fonte omitida pelo analista ou reforçar discretamente uma conclusão através de uma nova pesquisa. A sua tarefa é mais limitada: reconstruir o que o texto defende, indicar o que a análise concluída considera sólido, identificar as principais fragilidades e o que lhes sobrevive, manter a distinção entre uma afirmação forte que falha e uma mais fraca que se mantém, sem introduzir qualquer resultado ausente da análise fornecida.
Se a síntese fosse produzida na mesma execução, continuaria exposta aos mesmos efeitos de contexto. A separação não torna o segundo modelo imparcial; limita essa dependência e permite examiná-la.
As correções são declaradas, também quando atenuam o resultado
Uma leitura inicial do texto de Amodei, antes de as anotações dos links terem sido extraídas e incorporadas na auditoria, tratou o ensaio como essencialmente sem fontes. Essa leitura estava errada.
Depois de examinados os links, a auditoria das fontes e a avaliação do fecho interpretativo tiveram de ser refeitas. A correção fez esta última passar do nível 3 para o nível 2, a favor do ensaio. A análise regista a alteração em vez de a absorver silenciosamente.
Regista também um risco de viés no sentido oposto ao mais óbvio. Um modelo produzido pela Anthropic pode mostrar deferência perante o diretor executivo da Anthropic. Pode também sobrecorrigir e tornar-se invulgarmente severo para exibir independência. A análise assinala ambas as possibilidades e indica onde seria de esperar a segunda: em níveis de gravidade artificialmente elevados ou num nível de fecho excessivo.
O registo contém até um exemplo concreto de deferência. O analista não verificou inicialmente a primeira razão apresentada pelo ensaio porque uma afirmação técnica do diretor executivo da empresa em causa parecia vir da pessoa mais bem colocada para saber. O protocolo acabou por impor esse controlo.
Os links fornecidos pelo próprio texto sustentaram algumas das objeções mais fortes
O ensaio afirma que o progresso da IA é agora impulsionado principalmente pela capacidade crescente da IA para construir a próxima geração de IA. A página do Anthropic Institute ligada pelo ensaio nesse ponto descreve uma aceleração substancial do trabalho humano de engenharia, mas afirma também que continua genuinamente incerto que os métodos atuais possam permitir a capacidade mais forte reivindicada.
O ensaio também compara os incidentes da Anthropic com o episódio OpenAI–Hugging Face e chama-lhes «semelhantes, embora menos graves». A avaliação publicada pela Anthropic, ligada pelo texto, afirma que esses incidentes envolveram instâncias únicas de modelos, que não houve coordenação entre agentes e que os modelos não saíram dos exercícios que lhes tinham sido atribuídos. Essas diferenças importam para a comparação proposta pelo ensaio.
Um terceiro exemplo diz respeito ao organismo de normalização proposto por Demis Hassabis. O ensaio invoca-o como exemplo de diálogo dentro da indústria. A própria proposta vai mais longe: prevê um organismo que começa por ser voluntário, pode tornar-se obrigatório para a utilização nos USA e, se necessário, coordenar um abrandamento entre laboratórios de fronteira.
Algumas das objeções mais fortes da análise provêm, portanto, de fontes que o próprio ensaio decidiu fornecer, e não de fontes adversas acrescentadas pelo analista.
O mesmo dispositivo regista também os elementos favoráveis ao texto
A análise regista igualmente o que joga a favor do ensaio.
Conserva a previsão datada de seis a doze meses, que mais tarde poderá ser confrontada com os acontecimentos. Conta também a favor do texto a divulgação dos próprios fracassos da Anthropic, com links para os relatórios correspondentes, e uma cláusula que dá aos revisores externos o direito de publicar os seus resultados sem controlo editorial da Anthropic.
A forma como o ensaio documenta as afirmações também conta. Na descrição mais carregada do incidente OpenAI–Hugging Face, liga uma investigação independente que sustenta a maior parte do que a frase diz. A análise tem esse apoio em conta, em vez de considerar a formulação uma falha apenas pelo tom.
Um dispositivo que só encontrasse falhas parecer-se-ia mais com um veredicto escrito antecipadamente do que com uma auditoria.
A auditabilidade não equivale a reprodutibilidade experimental
Voltar a executar o ARGUS sobre o mesmo texto não garante uma análise idêntica. Não se trata, portanto, de reprodutibilidade no sentido experimental.
O que esta conceção permite é mais modesto: é possível localizar o desacordo.
Como as etapas, a norma de prova, as fontes e as correções são declaradas, dois analistas que divergem podem identificar o ponto em que as leituras se separam e discutir aí, em vez de trocarem impressões gerais sobre o texto.
A análise Amodei aplica esta exigência ao seu próprio resultado central. O veredicto de retratação modal é registado com confiança média. A leitura concorrente é exposta explicitamente: talvez «pacing» tenha sempre significado a exigência mais fraca de deixar tempo suficiente para alinhamento e verificação; nesse caso não haveria retratação, apenas uma frase inicial demasiado comprimida. A análise rejeita essa leitura, apresenta as razões e qualifica a rejeição como um juízo, não como uma demonstração.
O alcance é mais modesto do que o da reprodutibilidade experimental, mas o leitor pode verificá-lo.
Nenhum destes requisitos exige infraestrutura especializada. Exigem sobretudo inferência adicional e disciplina de registo. Publicar os critérios, com data, antes de os aplicar. Declarar o que contará como prova antes dos controlos substantivos. Separar as execuções. Registar as correções, sobretudo as que enfraquecem a própria conclusão.
Sem esse registo, uma análise pede para ser acreditada pela qualidade aparente da sua formulação.