Da qualche giorno stiamo testando le funzionalità di ChatGPT, l’intelligenza artificiale di OpenAI.
Ne parlano tutti; lo strumento ha della caratteristiche certamente soprendenti.
Unitamente al fatto che compie errori clamorosi, che non sono solo limitati agli ambiti del “ragionamento matematico”.
In merito a questo, come altri, abbiamo riscontrato spesso sfondoni nella risoluzione di semplici problemi aritmetici di prima media.
Consapevoli dei limiti del modello, abbiamo voluto testare le funzioni di ricerca di informazioni nel suo bagaglio di conoscenza (che AI indica come knowledge); ebbene spesso vengono errati “dati storici” banali, come le date di nascita o luoghi natali di personaggi storici.
Un esempio:
Gli errori più rilevanti occorrono quando si richiede una lista di personaggi nati in un certo luogo.
Facendo notare l’errore, Ai riconosce l’errore e si scusa; dietro richiesta, talvolta risponde che apprende dagli errori e talvolta risponde che non può modificare la sua knowledge , fissata con dati acquisiti sino al 2021.
Una chat relativa al poeta Antonio Pucci, nella quale Ai ha errato luogo di nascita e le date di nascita e morte:
Anche facendo presente gli errori o le contraddizioni, Ai continua a riproporre – magari usando una diversa rappresentazione – lo stesso errore; un esempio di una chat su Michelangelo Buonarroti:
Al momento quindi si tratta di uno strumento in fase di beta test (correttamente indicato come free research preview), che non sembra apprendere dai propri errori (viene riferito che non può aggiornare le conoscenze), propinante con molta sicumera informazioni esatte accanto a palesi inesattezze.
Un limite del modello o – come etichettato da Wired – affetto dalla sindrome del Conte Mascetti?
Il fatto che non impari dagli errori è peraltro da approfondire, in quanto nei giorni scorsi abbiamo discusso di giochi da tavolo ed in merito alle regole della Dama (proposte dapprima con vari errori) abbiamo riscontrato una risoluzione parziale degli sfondoni.
Nei prossimi giorni testeremo le sue competenze in ambito normativo e giuridico.