Quando le persone interagiscono con un chatbot, tendono a cambiare registro comunicativo: eliminano i saluti, abbreviano le frasi e vanno dritti al punto della richiesta. Lo stile essenziale sembra logico poiché gli utenti stanno parlando con una macchina e non con una persona reale.
Una nuova ricerca rivela però un effetto collaterale insidioso legato a questo comportamento: parlare in modo informale con i chatbot riduce la capacità dei sistemi di comprendere correttamente l’intento dell’utente. Una ricerca condotta dai ricercatori Amazon Fulei Zhang e Zhou Yu mostra che quando gli utenti adottano un linguaggio più diretto, meno formale e grammaticalmente semplificato, aumenta il rischio che l’intelligenza artificiale fraintenda l’intento comunicativo.
Il problema alla base dei chatbot e della difficoltà con il linguaggio colloquiale risiede nel fatto che i modelli linguistici sono spesso addestrati su testi umani fluenti e grammaticalmente corretti, non sulle scorciatoie linguistiche che gli utenti utilizzano spontaneamente quando comunicano con i bot.
Indice
Chatbot e difficoltà con il linguaggio colloquiale in un minuto
Uno studio rivela che parlare in modo informale con i chatbot riduce la loro capacità di comprendere correttamente. Ricerca di Amazon mostra che gli utenti usano un linguaggio più diretto, meno formale e grammaticalmente semplificato con i bot rispetto agli operatori umani. Questo stile telegrafico, pur intuitivo, ostacola i modelli linguistici addestrati su testi fluenti.
Esperimenti con Mistral 7B confermano che l’accuratezza nell’identificare l’intento diminuisce con messaggi concisi. Riscrivere i prompt non migliora la situazione; l’unica soluzione efficace è affinare i modelli con un mix di input informali e formali.
Gli utenti possono mitigare il problema strutturando meglio le richieste in contesti critici, ma il compito principale spetta agli sviluppatori: addestrare sistemi capaci di interpretare il linguaggio reale, non idealizzato. Il futuro dei chatbot dipende dalla loro capacità di capire il modo in cui le persone parlano davvero.
Come cambia il linguaggio con i bot
La ricerca ha confrontato migliaia di interazioni reali tra persone e operatori umani con quelle tra utenti e chatbot basati su LLM, i modelli linguistici di grandi dimensioni. Utilizzando Claude 3.5 Sonnet per analizzare i testi raccolti, i ricercatori hanno scoperto che i messaggi destinati ai chatbot presentavano caratteristiche linguistiche significativamente diverse.
I messaggi inviati ai bot erano il 14,5% meno formali e cortesi rispetto a quelli destinati agli operatori umani. La fluidità del linguaggio risultava ridotta del 5,3%, mentre la ricchezza lessicale diminuiva dell’1,4%.
Il cambiamento di stile riflette un modello mentale diffuso tra gli utenti: le persone vedono i chatbot come entità meno sensibili alle sfumature sociali del linguaggio, quindi li trattano in modo più meccanico e diretto. L’adattamento comunicativo, sebbene intuitivo e spontaneo, può costare in termini di precisione nella comprensione dell’intento.
Il costo della concisione
Il team di ricerca ha testato se il linguaggio telegrafico utilizzato con i chatbot ostacolasse effettivamente la comprensione da parte dei sistemi di intelligenza artificiale. I ricercatori hanno addestrato un modello chiamato Mistral 7B su conversazioni umane fluenti e grammaticalmente complete, poi gli hanno chiesto di interpretare 1.357 messaggi reali inviati dai utenti ai chatbot.
Il risultato è stato chiaro: l’accuratezza della comprensione è calata in modo misurabile. Il modello, abituato a sintassi complete e contesto esplicito, fatica con frasi come “Volo Roma-Madrid, prossima settimana?” oppure “Appuntamento medico annullato?”. Senza formalità linguistica e connettivi espliciti, il sistema dispone di meno elementi per inferire correttamente l’intento comunicativo dell’utente.
Le riscritture non risolvono tutto
I ricercatori hanno provato a “riformattare” i messaggi informali usando Claude per renderli più completi dal punto di vista grammaticale o più formali nello stile. Le riscritture automatiche sono state testate in tre varianti: minime, arricchite ed espandenti.
Tutte e tre le strategie di riscrittura hanno ridotto ulteriormente l’accuratezza della comprensione, con cali compresi tra il -1,8% e il -2,6%. L’unica soluzione che ha prodotto risultati positivi è stata l’affinamento del modello con un mix bilanciato di input informali e formali.
Dopo l’addestramento con esempi diversificati, Mistral ha migliorato le prestazioni del 2,9%, dimostrando che la diversità di stile durante l’addestramento è essenziale per una comprensione robusta del linguaggio reale.
Non è colpa dell’utente, ma del design
Alcuni esperti, come Noah Giansiracusa della Bentley University, sostengono che non è sbagliato adattare il linguaggio ai chat-bot: anzi, è un segno di consapevolezza da parte degli utenti. Giansiracusa osserva che “è positivo che le persone sappiano di parlare con una macchina piuttosto che con un essere umano“.
Il vero compito spetta agli sviluppatori di intelligenza artificiale, ovvero creare sistemi capaci di decodificare il linguaggio reale utilizzato quotidianamente, non aspettarsi che gli utenti parlino come scienziati o scrittori professionisti.
Chiedere agli utenti di essere più espliciti in contesti delicati come quelli medici, legali o finanziari è utile, ma non sufficiente a risolvere il problema. I sistemi di intelligenza artificiale devono imparare a muoversi nel mondo così come è realmente, non come gli sviluppatori vorrebbero che fosse.
Costruire chatbot per il linguaggio reale
Per gli utenti, la lezione pratica è semplice, in situazioni importanti, strutturare meglio la richiesta con contesto esplicito, punteggiatura corretta e chiarezza espressiva aumenta le probabilità di ottenere una risposta accurata dal chatbot. Il carico maggiore grava però sui progettisti dei sistemi di intelligenza artificiale.
I dataset di addestramento devono includere linguaggio informale reale raccolto da conversazioni autentiche, non solo testi formali o dialoghi umani perfettamente strutturati. I modelli linguistici vanno affinati con esempi bilanciati tra stili concisi e telegrafici ed elaborati e complessi.
Le valutazioni della qualità dei modelli non dovrebbero affidarsi esclusivamente a modelli generativi come Claude, ma a benchmark umani indipendenti, per evitare bias stilistici che favoriscono certi registri linguistici.
Verso chatbot più intelligenti, non più formali
L’adozione diffusa di assistenti di intelligenza artificiale sta trasformando il modo in cui le persone scrivono: i messaggi diventano più brevi, più diretti e meno elaborati dal punto di vista sintattico.
Il cambiamento culturale nella comunicazione scritta ha conseguenze tecniche dirette sui sistemi di intelligenza artificiale. Risolvere il problema dei chatbot e della difficoltà con il linguaggio colloquiale non significa riportare gli utenti alla prosa formale tradizionale, bensì incontrare le persone nel modo in cui comunicano naturalmente.
I chatbot del futuro dovranno essere addestrati a comprendere la stenografia moderna e il linguaggio telegrafico, non a pretendere grammatica perfetta e strutture sintattiche complete. Solo attraverso un addestramento mirato sul linguaggio reale i sistemi potranno diventare veramente utili, affidabili e naturali nell’interazione quotidiana.
Fonte:
Dal nostro Magazine:
- Truffe basate sull’intelligenza artificiale: Criminali digitali sfruttano fiducia e cultura per ingannare le persone
- Citazioni errate nei motori di ricerca AI: quando l’intelligenza artificiale sbaglia le fonti
- Consumo di acqua delle AI come ChatGPT e Google IA Mode
- Green AI: L’impatto ambientale dell’intelligenza artificiale
Telegram:
