La semantica (ri)modella la mente? Nuovo studio su Scientific Reports

Dopo aver mostrato come i Large Language Models (LLM) possano “intuire” lo stato mentale dai post online o perfino rivaleggiare in precisione diagnostica con psichiatri esperti, il REMEDI Lab (REthinking MEntal health through Clinical and Data Intelligence), parte dell’Istituto Eulero dell’USI, firma ora un nuovo studio su Scientific Reports di Nature che solleva una domanda radicale: i test psicologici misurano davvero ciò che pensiamo stiano misurando? Il lavoro, a firma di Antonietta Mira (Professoressa ordinaria presso la Facoltà di scienze economiche dell'USI), Andrea Raballo (Professore ordinario di Psichiatria presso la Facoltà di scienze biomediche dell’USI e responsabile della ricerca e della formazione accademica presso l’Organizzazione Socio-psichiatrica Cantonale (OSC)), insieme a Federico Ravenda (USI), Antonio Preti (Università di Torino) e Michele Poletti (IRCCS-AUSL Reggio Emilia), si inserisce nel solco delle ricerche già presentate negli scorsi mesi e ne amplia in modo decisivo la portata scientifica. 

Il nuovo studio introduce una prospettiva innovativa: i grandi modelli linguistici (LLM) possono prevedere in anticipo come le domande di un questionario psicologico si correlano fra loro, basandosi unicamente sulla loro somiglianza linguistica. Ciò suggerisce che ciò che i questionari “misurano” non dipende solo dalle risposte delle persone, ma è già in parte inscritto nella formulazione stessa degli item.

Attraverso analisi condotte su strumenti consolidati - come il Big Five Personality e il DASS-42 - il team ha mostrato che gli item semanticamente più simili sono, nella maggior parte dei casi, anche quelli empiricamente più correlati: nel 95% dei casi nel DASS e nell’82% nel Big Five. La struttura dei test, dunque, sembra emergere non solo dai dati raccolti, ma anche dalla loro architettura linguistica.

Su questa base, i ricercatori hanno sviluppato PsychoLLM, un’architettura che utilizza esclusivamente la semantica degli item per prevedere le risposte a strumenti clinici standard come GAD-7 e PHQ-9. Il modello ha raggiunto un’accuratezza del 70% nel prevedere le risposte di una scala a partire dall’altra, mostrando la potenza predittiva delle relazioni linguistiche tra le domande.

Lo studio evidenzia una conseguenza epistemologica di rilievo: la semantica degli item può influenzare la misurazione psicologica molto più di quanto tradizionalmente si presuma. Ne conseguono implicazioni rilevanti per la costruzione dei questionari, la valutazione della qualità dei dati e la corretta interpretazione dei risultati. Il team sottolinea inoltre la necessità di verificare se tali effetti siano presenti anche in altre lingue e contesti culturali, dato che strutture linguistiche e stili di risposta possono variare in modo significativo.

Per approfondire, è possibile consultare il paper su Scientific Reports, così come le due notizie precedenti dell’USI dedicate ai lavori correlati: una sulla psicometria e IA e una sui tratti di personalità e intelligenza artificiale.