Limiti dei Chatbot: Confusione Verbale in Evidenza:
L’era dei chatbot basati sull’intelligenza artificiale che sembrano comprendere e utilizzare il linguaggio come noi esseri umani è iniziata. Sotto la superficie, questi chatbot utilizzano grandi modelli di linguaggio, un particolare tipo di rete neurale. Tuttavia, uno studio recente mostra che i grandi modelli di linguaggio rimangono vulnerabili nell’interpretare delle sciocchezze come linguaggio naturale. Per un team di ricercatori dell’Università di Columbia, questa è una falla che potrebbe indicare vie per migliorare le prestazioni dei chatbot e aiutare a comprendere come gli esseri umani elaborano il linguaggio.
In un articolo pubblicato online su Nature Machine Intelligence, gli scienziati descrivono come hanno sfidato nove diversi modelli di linguaggio con centinaia di coppie di frasi. Per ciascuna coppia, le persone che hanno partecipato allo studio hanno scelto quale delle due frasi ritenevano fosse più naturale, ovvero più probabile da leggere o sentire nella vita di tutti i giorni. I ricercatori hanno poi testato i modelli per vedere se avrebbero valutato ogni coppia di frasi allo stesso modo in cui l’avevano fatto gli esseri umani.
Nei test diretti, le IA più avanzate basate su ciò che i ricercatori chiamano reti neurali trasformative tendevano a ottenere risultati migliori rispetto ai modelli di rete neurale ricorrente più semplici e ai modelli statistici che tengono conto solo della frequenza delle coppie di parole trovate su Internet o nelle basi di dati online. Tuttavia, tutti i modelli hanno commesso errori, a volte scegliendo frasi che suonano come nonsense all’orecchio umano.
“Che alcuni dei grandi modelli di linguaggio performino bene come fanno suggerisce che catturino qualcosa di importante che i modelli più semplici trascurano”, ha dichiarato il dottor Nikolaus Kriegeskorte, Ph.D., ricercatore principale presso l’Istituto Zuckerman di Columbia e co-autore del documento. “Il fatto che anche i migliori modelli che abbiamo studiato possano ancora essere ingannati da frasi senza senso dimostra che nei loro calcoli manca qualcosa riguardo al modo in cui gli esseri umani elaborano il linguaggio.”
Consideriamo la seguente coppia di frasi che sia i partecipanti umani che le IA hanno valutato nello studio:
- “Questa è la narrazione che ci è stata venduta.”
- “Questa è la settimana in cui stavi morendo.”
Le persone che hanno ricevuto queste frasi nello studio hanno giudicato la prima frase come più probabile da incontrare rispetto alla seconda. Ma secondo BERT, uno dei modelli migliori, la seconda frase è più naturale. GPT-2, forse il modello più noto, ha identificato correttamente la prima frase come più naturale, in linea con i giudizi umani.
“Ogni modello ha mostrato dei punti ciechi, etichettando alcune frasi come significative che i partecipanti umani ritenevano fossero assurdità”, ha dichiarato l’autore principale Christopher Baldassano, Ph.D., professore associato di psicologia presso Columbia. “Questo dovrebbe farci riflettere sulla misura in cui vogliamo che i sistemi di intelligenza artificiale prendano decisioni importanti, almeno per ora.”
La buona ma imperfetta performance di molti modelli è uno dei risultati dello studio che più incuriosisce il dottor Kriegeskorte. “Comprendere perché esista questa lacuna e perché alcuni modelli superano gli altri può favorire il progresso con i modelli di linguaggio”, ha detto.
Un’altra domanda chiave per il team di ricerca è se i calcoli nei chatbot di intelligenza artificiale possano ispirare nuove domande scientifiche e ipotesi che potrebbero guidare gli scienziati del cervello verso una migliore comprensione dei cervelli umani. Potrebbero i modi in cui lavorano questi chatbot indicare qualcosa riguardo al circuito dei nostri cervelli?
Ulteriori analisi dei punti di forza e delle lacune dei vari chatbot e dei loro algoritmi sottostanti potrebbero contribuire a rispondere a questa domanda.
“In definitiva, siamo interessati a capire come le persone pensano”, ha detto Tal Golan, Ph.D., autore corrispondente dell’articolo che quest’anno è passato da una posizione post-dottorale presso l’Istituto Zuckerman di Columbia per istituire il proprio laboratorio presso l’Università Ben-Gurion del Negev in Israele.
“Questi strumenti di intelligenza artificiale sono sempre più potenti, ma elaborano il linguaggio in modo diverso da noi. Confrontare la loro comprensione del linguaggio con la nostra ci offre un nuovo approccio per pensare a come pensiamo.”
