Che cosa rende un’analisi auditabile? Quattro scelte di progettazione di ARGUS e il limite che non consentono di superare.
Un modello linguistico può produrre, su quasi qualunque documento, una critica che sembra competente. I criteri sono stati fissati prima dell’analisi o adattati al testo dopo? Sono state cercate prove contrarie o sono state evitate con discrezione? Il modello si è lasciato influenzare dal prestigio dell’autore oppure ha irrigidito il giudizio per apparire indipendente? Dalla sola prosa non si può saperlo. Sulla pagina, una critica plausibile può sembrare solida quanto una critica ben fondata.
ARGUS parte da questo problema. I passaggi analitici del protocollo sono documentati altrove nel sito. Questa nota riguarda altro: le scelte di progettazione che permettono al lettore di verificare come è stata prodotta un’analisi, invece di limitarsi a fidarsi delle sue conclusioni.
Quattro scelte contano in modo particolare. Gli esempi provengono dalla Case Study Amodei, condotta in una configurazione volutamente delicata: un modello Anthropic che analizza un saggio dell’amministratore delegato di Anthropic. Nessuna procedura rende imparziale un modello in una situazione del genere. L’obiettivo era più limitato: fare in modo che la procedura restasse verificabile da chi non si fida né del modello né dell’analista.
I criteri sono fissati prima che inizi l’analisi
Secondo l’attuale politica di versionamento, ogni nuova versione di ARGUS dichiara se è major, minor o una patch, e spiega perché. Le voci precedenti restano visibili così come sono state pubblicate. Per questo la cronologia delle versioni fa parte della traccia di audit e non è soltanto un registro delle modifiche per curiosi.
Nel caso Amodei valeva anche una condizione più forte. Il controllo che ha prodotto il rilievo centrale, il controllo di costanza modale, era già stato pubblicato in ARGUS V5.1.0 nell’agosto 2026, prima ancora del saggio di settembre. Il controllo verifica se una stessa proposizione portante viene formulata con un grado forte di impegno quando svolge il lavoro argomentativo e poi indebolita quando mantenere quell’impegno avrebbe un costo.
La critica testuale ad hoc corre sempre il rischio di modellare il criterio sul testo che l’analista ha già davanti. Una specifica pubblica e datata non elimina il rischio, ma permette di verificarne la cronologia.
La norma di prova viene dichiarata prima dei controlli sostanziali
Prima dei controlli sostanziali, l’analisi dichiara che cosa accetterà come supporto adeguato per il genere in questione. Nel caso Amodei, servivano una fonte identificabile o reperibile per un’affermazione trattata come supportata, un meccanismo causale esplicito per un’affermazione prospettica, un impegno formulato in modo abbastanza determinato da poter essere controllato in seguito da un terzo e, per un’affermazione quantitativa, una base e un perimetro dichiarati.
La stessa disciplina vale per i controlli numerici. Le cifre considerate probatorie vengono individuate prima dei calcoli, invece di essere scelte dopo in funzione dei risultati che risultano più utili.
Questo non rende corretta per definizione la norma scelta. Un lettore può trovarla troppo severa o troppo permissiva. Può però discuterla separatamente dai verdetti che ha prodotto.
La sintesi di pubblicazione riceve soltanto l’analisi
Una volta completata l’analisi di riferimento, la sintesi di pubblicazione viene prodotta in un’esecuzione separata usando soltanto quell’analisi, con il suo riepilogo primario nascosto. L’oggetto analizzato non viene fornito. Lo stesso vale per le fonti esterne, la conversazione precedente e le traduzioni; la ricerca esterna è disattivata.
La seconda esecuzione non può quindi tornare al saggio originale per riparare l’analisi, aggiungere un fatto tratto da una fonte omessa dall’analista o rafforzare silenziosamente una conclusione con una nuova ricerca. Il suo compito è più ristretto: ricostruire ciò che il testo sostiene, esporre ciò che l’analisi completata considera solido, individuare le principali debolezze e ciò che sopravvive ad esse, mantenere la distinzione fra un’affermazione forte che fallisce e una più debole che regge, senza introdurre rilievi assenti dall’analisi fornita.
Se la sintesi fosse prodotta nella stessa esecuzione, resterebbe esposta agli stessi effetti di contesto. La separazione non rende imparziale il secondo modello; circoscrive la dipendenza e permette di esaminarla.
Le correzioni sono dichiarate, anche quando attenuano il risultato
Una prima lettura del testo di Amodei, prima che le annotazioni dei link fossero estratte e incorporate nell’audit, aveva trattato il saggio come sostanzialmente privo di fonti. Quella lettura era sbagliata.
Dopo l’esame dei link, l’audit delle fonti e la valutazione della chiusura interpretativa hanno dovuto essere rifatti. La correzione ha spostato quest’ultima dal livello 3 al livello 2, a favore del saggio. L’analisi registra il cambiamento invece di assorbirlo in silenzio.
Registra anche un rischio di distorsione nella direzione opposta a quella più ovvia. Un modello prodotto da Anthropic potrebbe mostrare deferenza verso l’amministratore delegato di Anthropic. Potrebbe anche sovracorreggersi e diventare insolitamente severo per esibire indipendenza. L’analisi indica entrambe le possibilità e precisa dove ci si aspetterebbe di vedere la seconda: in livelli di gravità artificialmente elevati o in un livello di chiusura eccessivo.
Nel dossier c’è persino un esempio concreto di deferenza. Inizialmente l’analista non controllò la prima ragione addotta dal saggio perché un’affermazione tecnica dell’amministratore delegato dell’azienda interessata sembrava provenire dalla persona meglio collocata per saperlo. Il protocollo finì per imporre quel controllo.
I link forniti dal testo hanno alimentato alcune delle obiezioni più forti
Il saggio afferma che il progresso dell’IA è ormai guidato principalmente dalla crescente capacità dell’IA di costruire la generazione successiva di IA. La pagina dell’Anthropic Institute collegata dal saggio in quel punto descrive una sostanziale accelerazione del lavoro umano di ingegneria, ma afferma anche che resta realmente incerto se i metodi attuali possano rendere possibile la capacità più forte rivendicata.
Il saggio accosta inoltre gli incidenti di Anthropic all’episodio OpenAI–Hugging Face e li definisce «simili, anche se meno gravi». La valutazione pubblicata da Anthropic collegata dal testo afferma che quegli incidenti coinvolgevano singole istanze di modello, che non vi era coordinamento fra agenti e che i modelli non uscivano dagli esercizi loro assegnati. Queste differenze contano nella comparazione proposta dal saggio.
Un terzo esempio riguarda l’organismo di standardizzazione proposto da Demis Hassabis. Il saggio lo invoca come esempio di dialogo nel settore. La proposta stessa va oltre: prevede un organismo che parte come volontario, può diventare obbligatorio per l’impiego negli USA e, se necessario, coordinare un rallentamento fra i laboratori di frontiera.
Alcune delle obiezioni più forti dell’analisi provengono dunque da fonti che il saggio stesso ha scelto di fornire, non da fonti avverse aggiunte dall’analista.
Lo stesso metodo registra anche gli elementi a favore del testo
L’analisi rileva anche ciò che gioca a favore del saggio.
Registra la previsione datata di sei-dodici mesi, che potrà poi essere confrontata con gli eventi. Considera inoltre a favore del testo la divulgazione dei fallimenti della stessa Anthropic, accompagnata dai link ai rapporti sottostanti, e una clausola che concede ai revisori esterni il diritto di pubblicare i propri risultati senza controllo editoriale da parte di Anthropic.
Conta anche il modo in cui il saggio documenta le proprie affermazioni. Nel passaggio più carico sull’episodio OpenAI–Hugging Face, rinvia a un’indagine indipendente che sostiene gran parte di ciò che la frase afferma. L’analisi tiene conto di questo sostegno invece di considerare la formulazione un difetto per il solo tono.
Un metodo che trovasse soltanto difetti assomiglierebbe più a un verdetto scritto in anticipo che a un audit.
L’auditabilità non equivale alla riproducibilità sperimentale
Eseguire di nuovo ARGUS sullo stesso testo non garantisce un’analisi identica. Non si tratta quindi di riproducibilità in senso sperimentale.
Ciò che questa impostazione può offrire è più modesto: si può localizzare il dissenso.
Poiché i passaggi, la norma di prova, le fonti e le correzioni sono dichiarati, due analisti in disaccordo possono individuare il punto in cui le loro letture si separano e discutere lì, invece di scambiarsi impressioni generali sul testo.
L’analisi Amodei applica questa esigenza al proprio rilievo centrale. Il verdetto di ritrattazione modale è registrato con fiducia media. La lettura concorrente viene esposta esplicitamente: forse «pacing» ha sempre significato il requisito più debole di lasciare tempo sufficiente all’allineamento e alla verifica; in tal caso non vi sarebbe alcuna ritrattazione, ma solo una frase iniziale troppo compressa. L’analisi respinge questa lettura, ne espone le ragioni e presenta il rifiuto come un giudizio, non come una dimostrazione.
La promessa è più modesta della riproducibilità sperimentale, ma il lettore può verificarla.
Nessuno di questi requisiti richiede infrastrutture specializzate. Richiedono soprattutto inferenza aggiuntiva e disciplina di registrazione. Pubblicare i criteri, con la data, prima di applicarli. Dichiarare che cosa conterà come prova prima dei controlli sostanziali. Separare le esecuzioni. Registrare le correzioni, soprattutto quelle che indeboliscono la propria conclusione.
Senza questa traccia, un’analisi chiede di essere creduta per la qualità apparente della sua formulazione.