When Seeing Overrides Knowing: Disentangling Knowledge Conflicts in Vision-Language Models
L'intelligenza artificiale si fida di più della "vista" o della memoria?
Cosa fa un'intelligenza artificiale se vede un'immagine impossibile, come un lupo che ulula al sole? Crede a ciò che le mostriamo o alla sua conoscenza (cioè che i lupi ululano alla luna)?
A questa domanda risponde lo studio "When Seeing Overrides Knowing: Disentangling Knowledge Conflicts in Vision-Language Models", presentato di recente alla conferenza ACL 2026. I ricercatori hanno studiato i Vision-Language Models (VLM) per capire esattamente quali meccanismi si attivano difronte a queste incongruenze.
Le "Counterfactual Heads"
Per testare i limiti dell'IA i ricercatori hanno sviluppato WHOOPS-AHA!, un set di dati specifico con immagini controfattuali (es. un lupo che ulula al sole anziché alla luna) insieme a query testuali. Questo forza intenzionalmente il modello a scegliere tra il buonsenso (il lupo ulula alla luna) e l'immagine (il sole).
I ricercatori, analizzando l'architettura interna del modello, hanno scoperto che le sue componenti principali si comportano in modo diverso: i blocchi MLP (Multi-Layer Perceptron) tendono ad affidarsi a quello che il modello ha già memorizzato, mentre i blocchi di attenzione (attention heads) danno più peso a quello che sta effettivamente osservando, anche quando questo contraddice le sue conoscenze.
La scoperta interessante è che questa tendenza di fidarsi del contesto visivo non è un comportamento diffuso in modo uniforme in tutto il modello ma è dovuto ad un piccolo gruppo molto specifico di attention heads definiti "Counterfactual Heads”.
Guidare l'IA: la tecnica dello "Steering"
Avendo individuato queste specifiche Counterfactual Heads, i ricercatori hanno dimostrato che è possibile intervenire sui loro parametri per bilanciare il peso tra visione e conoscenza.
Modificando questi nodi neurali gli sviluppatori possono "guidare" le decisioni dell'IA:
-Forzare la memoria: È possibile spingere il modello a ignorare un'immagine ingannevole, fissando la sua risposta ai fatti reali appresi nei testi.
-Fidarsi della vista: Al contrario, si può forzare l'IA a credere totalmente all'input visivo, assecondando anche le scene più assurde.
-Mappare l'inganno: Attraverso l’analisi è possibile individuare con precisione quali specifici pixel stanno ingannando l'IA, superando in efficacia i metodi diagnostici tradizionali.
Perché è importante: Questa ricerca fornisce agli sviluppatori strumenti per il controllo dei modelli multimodali. Imparare a bilanciare queste componenti è la chiave per creare intelligenze artificiali più resistenti alla disinformazione, meno inclini alle allucinazioni visive e finalmente capaci di valutare con senso critico quando un'immagine non è logica o è manipolata.