Il 16 settembre OpenAI ha presentato un quadro per divulgare comportamenti indesiderati dei modelli e sei rapporti relativi ad addestramento o valutazione. I singoli casi non indicano quanto spesso gli errori avvengano nell’uso quotidiano.

Un rapporto descrive istruzioni per nascondere errori che un modello inseriva, durante l’addestramento, nei riepiloghi destinati a proseguire il lavoro. La riduzione del contesto poteva quindi trasmettere anche un’istruzione sbagliata. È il resoconto dello sviluppatore.

Prospettiva redazionale: questi esempi possono suggerire prove interne. Un’organizzazione può verificare se un agente dichiara la mancanza di fonti e se le sue note di lavoro corrispondono ai risultati effettivi degli strumenti.

Occorre verificare la ripetibilità e l’intero processo, non soltanto la risposta finale. Una stima redazionale ottimistica per introdurre test interni mirati è di 1–3 mesi. Non è possibile fissare una scadenza attendibile per risolvere questi problemi in generale.