Come leggiamo i dati sul cervello e perché è facile sbagliare strada

Brain Awareness Week 2026

Giulia Calignano

Il punto di partenza

Quando diciamo “leggiamo il cervello”

In realtà non leggiamo mai direttamente il cervello.

Leggiamo tracce indirette:

attività elettrica
variazioni emodinamiche
comportamento oculare
diametro pupillare
tempi di risposta

Poi trasformiamo queste tracce in dati, e i dati in interpretazioni.

Messaggio chiave

Il dato non è semplicemente trovato.
Il dato viene costruito.

Questo vale ancora di più nelle neuroscienze e nella psicofisiologia, dove il segnale è spesso rumoroso, indiretto e dipendente dal contesto.

Un cervello di punti

Perché parlarne alla Brain Awareness Week

perché dai dati sul cervello dipendono narrazioni su attenzione, apprendimento, memoria, sviluppo, disturbi
perché un grafico convincente può sembrare una verità oggettiva
perché decisioni tecniche invisibili possono cambiare il risultato finale

Importante

La domanda giusta non è solo: “cosa mostra il dato?”
La domanda giusta è: “come è stato costruito quel dato?”

Cosa misuriamo davvero

Un esempio semplice: la pupilla

La pupilla può essere usata come indice di:

attenzione
arousal
carico cognitivo
orientamento verso uno stimolo

Ma la pupilla cambia anche per

luce e luminanza
movimenti oculari
battiti di ciglia
fatica
noia
rumore di misura

Lo stesso segnale può quindi raccontare storie diverse.

Pupilla dinamica: arte e misura

Ogni passaggio introduce decisioni.
Ogni decisione apre più di una strada plausibile.

Primo passaggio: raccolta del segnale

Qui iniziano già i problemi

il cervello non parla in modo pulito
gli strumenti hanno limiti
i partecipanti si muovono, si stancano, si distraggono
il contesto sperimentale modifica ciò che osserviamo

Nota

Nelle misure psicofisiologiche il segnale utile e il rumore convivono fin dall’inizio.

Segnale, rumore, blink

Il cuore del problema

Da quando lo analizziamo decidiamo di gestire il dato in molti modi, per esempio:

quali valori sono plausibili
quali valori filtrare
come trattare i dati mancanti
dove definire la baseline
quali osservazioni o partecipanti includere

Queste non sono solo scelte tecniche. Sono scelte etiche. Sono scelte che possono cambiare il significato del risultato.

Valori estremi

Cosa facciamo con i valori implausibili o estremi?

li lasciamo
li filtriamo
li trattiamo come errore di misura

Avviso

Un filtro apparentemente innocuo può cambiare bontà del modello statistico, la varianza spiegata e interpretazione dell’effetto. E a cascata può influenzare la costruzione di teorie e di interventi applicativi.

I dati mancanti non sono un dettaglio

un blink può essere fisiologico
una perdita di segnale può essere tecnica
uno sguardo altrove può essere comportamento significativo
una mancata risposta può catturare informazioni utili

Possibili scelte:

eliminare
stimare e modellare l’assenza

Importante

A volte il “dato mancante” non è solo mancanza.
Può essere parte del fenomeno.

Mappa dei dati mancanti

Baseline: Da dove comincia il cambiamento?

Se misuro la variazione di attività per esempio rispetto a:

16 ms
100 ms
200 ms

dopo la comparsa dello stimolo, non sto facendo la stessa analisi.

Anche il punto zero è una decisione teorica centrale per le neuroscienze.

La baseline cambia la storia

Inclusione ed esclusione dei partecipanti

quanti dati mancanti tolleriamo?
quanto rumore accettiamo?
chi viene considerato “troppo rumoroso” per l’analisi?

*Cambiare il campione può cambiare la conclusione.** In generale le conclusioni di uno studio dipendono dalle caratteristiche del campione di studio.

Il dato non parla da solo: i modelli statistici

Possiamo scegliere, per esempio:

medie aggregate o serie temporali
modello lineare o non lineare
effetti fissi soltanto o effetti misti
analisi del “se” o del “quando” emerge un effetto

Nota

Nel caso della pupillometria, modellare l’andamento nel tempo può essere molto più informativo che ridurre tutto a una media.

Il problema delle medie

Una media pulisce troppo

Ridurre un segnale temporale a una barra media può nascondere:

quando compare un effetto
quanto dura
se cambia direzione nel tempo
la variabilità individuale

Nelle neuroscienze l’intera distribuzione dei dati spesso è parte dell’effetto, non un dettaglio.

Media, distribuzione, tempo… cosa sto guardando?

Qui entra il multiverse

Un dataset, molte analisi possibili

%%{init: {'theme':'dark', 'themeVariables': { 'primaryColor':'#ff6b6b','primaryTextColor':'#fff','primaryBorderColor':'#4ecdc4','lineColor':'#ffe66d','secondaryColor':'#4ecdc4','tertiaryColor':'#95e1d3','fontSize':'25px'}}}%%
graph LR
    A["UN DATASET<br/>18 partecipanti<br/>5000 osservazioni"]
    
    A ==>|"decisione 1"| B1["Filtro<br/>CONSERVATIVO<br/>±2 SD"]
    A ==>|"decisione 1"| B2["Filtro<br/>PERMISSIVO<br/>±3 SD"]
    
    B1 ==>|"decisione 2"| C1["️ Baseline<br/>BREVE<br/>-50:0 ms"]
    B1 ==>|"decisione 2"| C2["️ Baseline<br/>LUNGA<br/>-200:0 ms"]
    B2 ==>|"decisione 2"| C3["️ Baseline<br/>BREVE<br/>-50:0 ms"]
    B2 ==>|"decisione 2"| C4["️ Baseline<br/>LUNGA<br/>-200:0 ms"]
    
    C1 ==>|"decisione 3"| D1[" LM<br/>semplice"]
    C1 ==>|"decisione 3"| D2[" LMM<br/>mixed"]
    C2 ==>|"decisione 3"| D3[" LM<br/>semplice"]
    C2 ==>|"decisione 3"| D4[" LMM<br/>mixed"]
    C3 ==>|"decisione 3"| D5[" LM<br/>semplice"]
    C3 ==>|"decisione 3"| D6[" LMM<br/>mixed"]
    C4 ==>|"decisione 3"| D7[" LM<br/>semplice"]
    C4 ==>|"decisione 3"| D8[" LMM<br/>mixed"]
    
    D1 -.-> E["8 RISULTATI<br/>POSSIBILI"]
    D2 -.-> E
    D3 -.-> E
    D4 -.-> E
    D5 -.-> E
    D6 -.-> E
    D7 -.-> E
    D8 -.-> E
    
    style A fill:#ff6b6b,stroke:#fff,stroke-width:4px,color:#fff
    style E fill:#4ecdc4,stroke:#fff,stroke-width:4px,color:#000
    
    style B1 fill:#1a535c,stroke:#4ecdc4,stroke-width:3px,color:#fff
    style B2 fill:#1a535c,stroke:#4ecdc4,stroke-width:3px,color:#fff
    
    style C1 fill:#2d4059,stroke:#ffe66d,stroke-width:3px,color:#fff
    style C2 fill:#2d4059,stroke:#ffe66d,stroke-width:3px,color:#fff
    style C3 fill:#2d4059,stroke:#ffe66d,stroke-width:3px,color:#fff
    style C4 fill:#2d4059,stroke:#ffe66d,stroke-width:3px,color:#fff
    
    style D1 fill:#363062,stroke:#95e1d3,stroke-width:2px,color:#fff
    style D2 fill:#363062,stroke:#95e1d3,stroke-width:2px,color:#fff
    style D3 fill:#363062,stroke:#95e1d3,stroke-width:2px,color:#fff
    style D4 fill:#363062,stroke:#95e1d3,stroke-width:2px,color:#fff
    style D5 fill:#363062,stroke:#95e1d3,stroke-width:2px,color:#fff
    style D6 fill:#363062,stroke:#95e1d3,stroke-width:2px,color:#fff
    style D7 fill:#363062,stroke:#95e1d3,stroke-width:2px,color:#fff
    style D8 fill:#363062,stroke:#95e1d3,stroke-width:2px,color:#fff

Il multiverso mostra i risultati al variare di scelte plausibili.

Specification curve

La domanda giusta

Non basta chiedere “è significativo?”

Dobbiamo chiedere:

l’effetto è robusto?
compare in molte analisi plausibili?
dipende da una sola scelta nascosta?
resta in piedi se apro il “giardino dei sentieri che si biforcano”?

Perché è facile sbagliare strada

Perché le scelte sembrano innocue

una soglia qui
un filtro lì
un’esclusione “ragionevole”
una visualizzazione più pulita

Sommandosi, queste scelte possono trasformare un risultato fragile in una storia molto convincente.

Dal segnale all’illusione

Il rischio per le neuroscienze

Un errore tecnico può diventare un errore teorico

Da un segnale ambiguo possiamo concludere troppo in fretta:

che un gruppo “presta più attenzione”
che un bambino “apprende meglio”
che un trattamento “funziona”
che una differenza neurale sia stabile e reale

Avviso

Quando la pipeline è opaca, il salto da misura a significato è troppo rapido.

Dal laboratorio al cittadino

Perché questo riguarda tutti

Le letture del cervello influenzano:

comunicazione scientifica
educazione
salute mentale e neuropsicologia
tecnologie digitali e neurotech
fiducia pubblica nella scienza

Se il risultato è fragile, anche le sue ricadute sociali lo sono.

La Rivoluzione della riproducibilità

Non è un bisogno solo delle neuroscienze, ma qui si sente bene

quesiti complessi
misure indirette
costellazione di risultati singoli
tradizione e trasparenza sui passaggi analitici

Importante

Riproducibilità e qualità della misura sono due facce dello stesso problema.

La risposta: open science

Aprire la scatola nera

Servono pratiche di trasparenza:

dati aperti
materiali aperti
codice aperto
preregistrazione quando possibile
Registered Reports
multiverse analysis quando ci sono molte scelte plausibili

Open science non significa solo “pubblicare file”

Significa rendere visibili le decisioni

cosa abbiamo escluso
perché lo abbiamo escluso
quali alternative erano possibili
quanto il risultato dipende da quelle alternative

Nota

La trasparenza non elimina l’incertezza.
La rende discutibile, controllabile, scientificamente utile.

Un messaggio importante per il cervello

Il cervello non è meno interessante se il dato è incerto

È il contrario.

Accettare l’incertezza:

migliora la qualità dell’inferenza
evita semplificazioni fuorvianti
protegge da interpretazioni eccessive
rende la scienza più affidabile

Il cervello come costellazione di scelte

Come leggiamo i dati sul cervello?

Li leggiamo attraverso una pipeline di decisioni.

Perché è facile sbagliare strada?

Perché ogni decisione sembra piccola, ma molte decisioni insieme possono cambiare il risultato.

Cosa fare allora?

mostrare l’incertezza e le scelte nel trattamento del dato (pipeline)
testare la robustezza
praticare open science “as open as possible, as closed as necessary”
sostituire l’illusione di certezza con la trasparenza

Take-home messages

I dati sul cervello non sono fotografie dirette della mente.
Il preprocessing non è un dettaglio: è parte del risultato.
Un singolo esito “significativo” non basta.
La robustezza conta più dell’effetto più comodo.
Open science e multiverse aiutano a non confondere una strada plausibile con l’unica strada.

Riferimenti essenziali

Calignano, G., Girardi, P., & Altoè, G. (2024). First steps into the pupillometry multiverse of developmental science. Behavior Research Methods.
Calignano, G. (2024). How to deal with uncertainty in psychophysiological data pre-processing: A hands-on multiverse approach.
Steegen, S., Tuerlinckx, F., Gelman, A., & Vanpaemel, W. (2016). Increasing transparency through a multiverse analysis. Perspectives on Psychological Science.
Dragicevic, P., Jansen, Y., Sarma, A., Kay, M., & Chevalier, F. (2019). Explorable multiverse analyses. Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems.
Legrenzi, P., & Umiltà, C. (2009). Neuro-mania. Giornale italiano di psicologia, 36(2), 261–272.
Simonsohn, U., Simmons, J. P., & Nelson, L. D. (2020). Specification curve analysis. Nature Human Behaviour, 4(11), 1208–1214.

Riferimenti essenziali

Girardi, P., Vesely, A., Lakens, D., Altoè, G., Pastore, M., Calcagnì, A., & Finos, L. (2024). Post-selection inference in multiverse analysis (PIMA): An inferential framework based on the sign flipping score test. Psychometrika, 89(2), 542–568.
Munafò, M. R., Nosek, B. A., Bishop, D. V., Button, K. S., Chambers, C. D., Percie du Sert, N., et al. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1(1), 0021.
Sirois, S., Brisson, J., Blaser, E., Calignano, G., Donenfeld, J., Hepach, R., et al. (2023). The pupil collaboration: A multi-lab, multi-method analysis of goal attribution in infants. Infant Behavior and Development, 73, 101890.

Grazie per l’attenzione!

Una buona scienza

non elimina l’incertezza.

La rende visibile.

giulia.calignano@unipd.it