Cookie Consent by Free Privacy Policy Generator website
Collasso dell’intelligenza artificiale, la risposta è nella “sorpresa”: così si può fermare l’autofagia dei modelli
Share this... Facebook Pinterest Twitter Linkedin Collasso dell’intelligenza artificiale, la risposta è nella “sorpresa”: così si può fermare l’autofagia dei modelli
abb rinascimento dig

Selezionare i testi meno prevedibili durante l’addestramento può contrastare il progressivo impoverimento dei contenuti generati dall’IA. È quanto emerge da uno studio internazionale condotto da CNR-ISTI, Università di Pisa, Scuola Normale Superiore e Victoria University of Wellington.

Più l’intelligenza artificiale si alimenta dei propri contenuti, più rischia di perdere varietà, originalità e capacità di produrre risposte coerenti. È il paradosso dell’autofagia digitale: quando i modelli generativi vengono addestrati su testi prodotti da altri sistemi di IA, o da loro stessi, possono innescare un processo di progressivo impoverimento che la comunità scientifica definisce model collapse, ovvero collasso del modello. Un fenomeno destinato a diventare sempre più rilevante con la diffusione dell’intelligenza artificiale generativa e il crescente volume di contenuti artificiali che circolano in rete. Ma come evitare che le macchine finiscano per imparare sempre più da se stesse, riproducendo gli stessi schemi e perdendo progressivamente capacità espressive? Una possibile risposta arriva dalla “sorpresa”. È questa, infatti, la chiave individuata da uno studio condotto dall’Istituto di scienza e tecnologie dell’informazione del Consiglio nazionale delle ricerche di Pisa (CNR-ISTI), dall’Università di Pisa, dalla Scuola Normale Superiore e dalla Victoria University of Wellington, in Nuova Zelanda. La ricerca, pubblicata sulla rivista ACM Transactions on Intelligent Systems and Technology, propone un metodo per rendere più robusto l’addestramento dei modelli linguistici, preservando la varietà e la qualità dei testi generati.

Quando l’IA comincia a ripetere se stessa

Analizzando quattro modelli di intelligenza artificiale generativa, tra cui Llama, sviluppato da Meta, i ricercatori hanno osservato che il collasso può manifestarsi in forme differenti. Da una parte, i testi diventano progressivamente più ripetitivi, con un vocabolario sempre più ristretto; dall’altra, le frasi perdono coerenza e significato, fino a produrre risposte sempre meno sensate. «Analizzando quattro modelli di IA generativa abbiamo osservato che il collasso può manifestarsi in modi diversi. Da un lato, il contenuto generato diventa sempre meno vario e presenta sempre le stesse parole; dall’altro, le frasi generate sono meno coerenti e significative e le risposte meno sensate», spiega Daniele Gambetta , ricercatore post-doc presso l’Università di Pisa. Finora, una delle strategie più diffuse per contrastare il fenomeno consisteva nel distinguere i contenuti scritti dagli esseri umani da quelli prodotti artificialmente, utilizzando per l’addestramento soltanto i primi. Una soluzione che, tuttavia, diventa sempre più difficile da applicare, man mano che i modelli generativi migliorano la qualità dei propri testi.

La misura della sorpresa

La ricerca propone di cambiare prospettiva, concentrandosi non sull’origine dei documenti, ma sulle loro caratteristiche. In particolare, sul grado di sorpresa che un testo è in grado di suscitare nel modello. Per misurarlo viene utilizzata la perplexity, un parametro che indica quanto un documento sia prevedibile per un sistema linguistico. In sostanza, più un testo si discosta da ciò che il modello si aspetterebbe di generare, più risulta sorprendente. «La soluzione comune è distinguere i testi umani da quelli prodotti dall’IA, selezionando solo quelli umani per l’addestramento. Tuttavia, è sempre più difficile fare questa distinzione man mano che i modelli diventano più sofisticati. Il nostro metodo propone invece di misurare la perplexity, cioè il livello di sorpresa nei documenti secondo il modello. Un documento è sorprendente per il modello se il modello stesso l’avrebbe scritto in modo diverso», spiega Luca Pappalardo, ricercatore del CNR-ISTI e co-direttore dello studio Il risultato degli esperimenti indica che sono proprio i testi più prevedibili a contribuire maggiormente al collasso quando vengono utilizzati per l’addestramento. Al contrario, selezionare documenti caratterizzati da un maggiore livello di sorpresa permette di attenuare il fenomeno e preservare una maggiore diversità nei contenuti generati.

Imparare dall’imprevisto, come fanno i bambini

Il principio richiama, in qualche modo, i meccanismi dell’apprendimento umano, che si alimenta anche attraverso esperienze ed eventi inattesi.«Nell’autofagia il modello smette di apprendere nuove informazioni. Reintrodurre la sorpresa nell’addestramento richiama il modo in cui i bambini imparano dagli eventi inattesi», osserva Dino Pedreschi, professore all’Università di Pisa. La ricerca si inserisce così nel più ampio filone della coevoluzione umano-IA, che studia le trasformazioni reciproche tra sistemi artificiali ed ecosistema informativo. Un rapporto sempre più stretto, nel quale i contenuti prodotti dalle macchine entrano a far parte dello stesso ambiente da cui le macchine continuano ad apprendere.Un aspetto particolarmente rilevante del metodo è che non richiede di stabilire se un documento sia stato scritto da una persona o generato artificialmente. «Questo approccio non richiede di sapere se un documento è stato scritto da un umano o da una macchina e, in un’epoca in cui distinguere i due tipi di contenuto è sempre più difficile, questa proprietà è fondamentale per la strategia», sottolinea Gizem Gezici ( foto), ricercatrice presso la Scuola Normale Superiore. La sfida, dunque, non è soltanto impedire all’intelligenza artificiale di copiare se stessa, ma fare in modo che continui a incontrare informazioni capaci di ampliare ciò che già conosce. Perché, anche nell’apprendimento delle macchine, è proprio ciò che non ci si aspetta a fare la differenza.

 

 

Share this...
About author

digitalvoice

555555555555555555555 ssssssssssss