Shakespeare e Dante ricorrevano a strumenti AI? Vediamo assieme cosa dicono i detector

Negli ultimi anni si fa un gran parlare di testi scritti con l’ausilio di un LLM. Succede un po’ ovunque, nel mondo dell’informazione, dell’editoria, della scuola e soprattutto sul web. Sempre più spesso capita anche di vedere un testo sottoposto a uno dei tanti AI detector disponibili online, con il risultato utilizzato quasi come una sentenza sulla sua provenienza.

Per gioco ho voluto provarne uno tra i più conosciuti: GPTZero.

Per chi non lo conoscesse, provo a spiegare molto brevemente come funziona. Una volta incollato un testo, GPTZero lo divide in token, piccoli frammenti che possono corrispondere a parole, parti di parole o segni di punteggiatura. Il modello elabora questi elementi e ricava una rappresentazione numerica delle caratteristiche della scrittura, cercando poi di stabilire quanto il testo assomigli ai modelli umani o artificiali appresi durante l’addestramento.

Va detto subito che non siamo davanti alla macchina della verità. Gli stessi responsabili di GPTZero riconoscono che possono esistere falsi positivi e falsi negativi. Il sistema utilizza oggi modelli deep-learning e restituisce classificazioni a livello di documento e di singole frasi, distinguendo anche tra testi umani, generati dall’AI e misti.

Nelle prove che ho effettuato, alcuni risultati si sono rivelati decisamente coerenti con quello che mi sarei aspettato di vedere. Altri, invece, sono stati decisamente più curiosi, per non dire risibili.

Shakespeare e Dante sono stati i primi a utilizzare strumenti AI?

Il primo esperimento ha regalato subito una grande sorpresa: Shakespeare scriveva con l’intelligenza artificiale!

Ebbene sì, almeno a prendere alla lettera il responso del detector. Per avere un test affidabile ho utilizzato il celebre monologo “Essere o non essere” dell’Atto III, scena 1 dell’Amleto, nella sua lingua originale.

Il risultato non lascia molto spazio all’immaginazione: 90% AI, 10% Mixed e 0% Human. GPTZero si dichiara addirittura altamente sicuro che il testo sia stato generato dall’intelligenza artificiale.

Se consideriamo che William Shakespeare morì nel 1616, qualche dubbio che l’intelligenza artificiale sia più antica di quanto crediamo è lecito.

Ben altra sorte è toccata al padre della lingua italiana, il fiorentino Dante Alighieri. Forse perché i tool AI nel Trecento erano un po’ meno evoluti e quindi si limitò a utilizzarli il minimo indispensabile, chissà.

Ho sottoposto al detector un campione del primo canto dell’Inferno, naturalmente nella lingua originale, ovvero l’italiano del Trecento. Risultato: 85% Human, 15% Mixed e 0% AI.

Ebbene, Dante non si è servito dell’AI per scrivere la Divina Commedia, ma quel 15% Mixed potrebbe far pensare a qualche aiutino per sistemare un paio di terzine che non lo convincevano appieno.

Naturalmente Shakespeare e Dante sono casi estremi. Stiamo sottoponendo a uno strumento moderno testi scritti secoli fa, con forme linguistiche lontanissime dalla normale prosa contemporanea. Sarebbe quindi piuttosto ingiusto prendere questi due esperimenti e utilizzarli da soli per decretare l’inutilità degli AI detector. Anche se, istintivamente, può sembrare strano che testi così importanti possano mandare in difficoltà il sistema, ma tant’è.

Per un test più affidabile, ho quindi proseguito nell’esperimento.

Un mio vecchio testo lasciato nel cassetto

Tempo fa, quando ancora non utilizzavo alcun assistente AI per aiutarmi nella stesura o effettuare ricerche più velocemente, buttai giù un testo. Uno di quegli articoli che finiscono nel cassetto perché non sai bene cosa farne. Forse un giorno lo leggerete su queste pagine, chissà.

Ma non è questo il punto.

Ho sottoposto quella vecchia bozza a GPTZero e il responso è stato perentorio: 100% Human.

Il testo non era neppure particolarmente rifinito. Avrebbe avuto bisogno di una rilettura, conteneva qualche ripetizione e probabilmente anche qualche refuso. Mi sono chiesto se proprio quella sua stesura ancora un po’ “sporca” potesse aver contribuito al risultato, ma la risposta non ce l’ho.

Ma la parte interessante arriva con la traduzione.

Sono di madrelingua italiana e, ahimè, l’inglese è sempre stato il mio tallone d’Achille. Per tradurre gli articoli di Retro-Gamers utilizzo ChatGPT come supporto. Ho quindi chiesto di tradurre quello stesso testo in inglese, mantenendone il più possibile forma, contenuto e significato, intervenendo soltanto quando un’espressione italiana tradotta letteralmente sarebbe stata priva di senso per il lettore.

Volete sapere il risultato? 100% Mixed, AI Polished.

E questa volta direi che il detector ci ha visto piuttosto bene. Il testo originale era mio, ma la sua forma inglese era stata effettivamente rielaborata da un’intelligenza artificiale. La stessa GPTZero usa la definizione “AI Polished” proprio per testi originariamente umani che vengono migliorati o modificati tramite AI.

Il dilemma, semmai, è un altro.

Quell’articolo, allora, non è più frutto della mia penna?

L’intervista a Tony Warriner

Ho fatto un’altra prova utilizzando una recente intervista pubblicata su Retro-Gamers, con protagonista Tony Warriner, cofondatore di Revolution Software.

Nel pezzo avevo scritto personalmente un’introduzione e una conclusione, mentre le risposte di Tony erano state pubblicate nella forma in cui mi erano state inviate.

GPTZero ha individuato segnali compatibili con un intervento dell’AI anche all’interno di alcune delle sue risposte.

Questo naturalmente non basta ad accusare Tony di aver utilizzato un assistente artificiale. Ma mi viene da sorridere solo a pensarlo: vi immaginate un madrelingua del suo calibro utilizzare uno strumento AI per raccontare parte della propria storia? Suvvia.

Naturalmente non posso sapere se abbia utilizzato o meno qualche strumento di revisione, ed è proprio questo il punto: non posso stabilirlo sulla base del responso di un detector.

E quale sorte è toccata a questo articolo?

Qui arriviamo al piccolo esperimento che vorrei fare insieme a voi.

La versione italiana definitiva di questo articolo è stata scritta da me, partendo da una prima bozza che GPTZero aveva classificato come 100% Human.

Dopo averla riletta, corretta e rifinita, l’ho sottoposta nuovamente al detector. E qui è arrivata un’altra piccola sorpresa: GPTZero continua a considerare il documento interamente umano, ma assegna questa volta 99% Human, 1% Mixed e 0% AI.

Un ottimo risultato, si direbbe, ma in cosa consiste quell’1% guadagnato dopo il passaggio di rifinitura? Un pezzo troppo pulito desta sospetti?

La versione inglese, invece, è stata tradotta con l’aiuto di ChatGPT seguendo lo stesso principio dell’esperimento precedente: il testo non è stato stravolto nella sostanza, ma reso più comprensibile a chi non conosce modi di dire ed espressioni tipiche dell’italiano.

Questa volta, però, non allego l’immagine del risultato del test nella sua versione in inglese, come invece ho fatto per il testo italiano. Provateci voi, semplicemente per giocare insieme. In fondo questo esperimento va preso per quello che è, con tutta la leggerezza di questo mondo.

Passate alla versione inglese, copiate il testo completo e sottoponetelo a GPTZero. Poi, se siete proprio dei San Tommaso, tornate alla versione italiana, copiatela e ripetete il test.

Vedete voi stessi cosa succede.

Siete rimasti sorpresi? Oppure no? Qualche indizio, se siete stati attenti, ve l’ho dato.

Uno strumento può stabilire con certezza chi è l’autore?

Lo scopo di questo articolo non è screditare GPTZero. Sarebbe troppo facile utilizzare Shakespeare e Dante per farci una risata e liquidare così il discorso.

Gli AI detector sono sicuramente strumenti utili e GPTZero continua a sviluppare modelli sempre più sofisticati, distinguendo testi completamente generati da testi di origine umana ma rifiniti con l’AI.

Il punto su cui vi invito a riflettere è un altro.

Basta il responso di un detector per accusare una persona di non aver scritto un testo e, magari, screditarne il lavoro senza nemmeno continuare a leggere un articolo che avrebbe potuto essere interessante o generare una discussione?

Secondo me no. Vi spiego il perché.

Dietro ogni realtà editoriale può esserci moltissimo lavoro. C’è chi lo svolge seriamente e chi meno, come in tutti i mestieri di questo mondo. Alcuni possono ricorrere a strumenti AI per tagliare i costi e massimizzare i ricavi, altri semplicemente perché hanno poco tempo, altri ancora perché hanno difficoltà a esprimersi, ma hanno comunque un’idea. Ma tutto questo non può essere liquidato soltanto guardando il risultato di uno strumento.

Forse il problema non è tanto il risultato che ci fornisce il detector, che ricordo non deve essere letto come una condanna, ma come un suggerimento.

È ciò che noi decidiamo di attribuirgli e, da quello, giudicare chi abbiamo dall’altra parte.

A questo punto torno alla domanda che vi ho fatto durante questo esperimento, nato sì per gioco, ma anche e soprattutto come spunto di riflessione:

Se un autore scrive un pezzo e un tool lo aiuta solamente a trascriverlo in un’altra lingua, a ripulirlo dai refusi o a ricostruire una frase zoppicante per renderla più chiara, a chi dobbiamo attribuire la paternità di quell’articolo?