Verso il Methodological Review Board

G. Calignano, L. Sità, M. Manente, A. Perugini,
F. Gambarota, E. Toffalini, T. Marci,
M. Pastore, G. Altoè & Psicostat

MB Logo

Indice

  • Scienza Aperta, Multidisciplinarità e Cultura dell’Errore
  • DPSS - Progetto di Ateneo Terza Missione e Open Science – Linea B Sviluppo del Methodological Review Board in Psicologia MB Logo
  • il Methodological Review Board: progettualità presenti e future

Scienza Aperta e Multidisciplinarità

Prospettiva

  • La scienza aperta promuove trasparenza, accessibilità e collaborazione.
  • La collaborazione multidisciplinare disinteressata (Mertonian Norms, CUDOS) e orientata al metodo rafforza la credibilità della ricerca.

Scienza Aperta e Multidisciplinarità

Perchè la scienza ha bisogno di essere aperta ?

La Paura e la Cultura degli Errori

  • Chi fa ricerca teme verifiche e danni alla reputazione (Fecher et al., 2017).
  • Gli errori possono causare ritiri di articoli o danni alla carriera (Hesselmann & Reinhart, 2019).

Tipi di Errori nella Ricerca

Frank, M., et al., 2025 (pre-print) Error Needs Culture! Advancing Data Sharing by Acknowledging Errors

Cambiare la gestione degli errori

  • Settori ad alto rischio (aviazione, nucleare) usano Error Management Culture (Reason, 2000).
  • La cybersecurity adotta il disclosure responsabile (Ding et al., 2019).
  • Le ingegnerie vedono l’errore come opportunità (Dahlin, Chuang, & Roulet, 2018).

Proposte per una nuova Cultura dell’ Errore

  • Apprendimento incrementale e compassionevole dagli errori (Lounsbury & Sujan, 2023).
  • Registered Reports per ridurre i bias (Nature Neuroscience, 2024 Reducing publication bias with Registered Reports).
  • Migliorare la revisione, condividere data, codici e materiali secondo i principi FAIR (2016)
  • Politiche di revisione, correzione e monitoraggio nei repository (AUSSDA, 2024).

Acceptance is the key ;)

Storm, P., & Paul, P. (2010, August 3). I’m cool with trial and error … the trail part is cool … the error, not so much [Photograph]. Flickr. Some rights reserved (Creative Commons Attribution 2.0). Retrieved June 22, 2025, from https://www.flickr.com/photos/paulandstorm/4857737018

Progetto di Ateneo Terza Missione e Open Science – Linea B “Sviluppo del Methodological Review Board in Psicologia”

Cos’è un Methodological Review Board ?

  • Il Methodological Review Board (MRB) è stato proposto per migliorare la qualità della ricerca attraverso una valutazione pre-raccolta dati.
  • Funge da meccanismo di incremento della qualità, ma solleva anche dubbi legittimi su burocrazia e libertà accademica.

Vantaggi del Methodological Review Board

  • Miglioramento della qualità: garantisce studi metodologicamente solidi e condivisi a livello multidisciplinare
  • Evitare sprechi: identifica i problemi in anticipo
  • Supporto per early career researchers : fornisce feedback costruttivi.
  • Nuove carriere metodologiche: crea ruoli dedicati agli esperti di metodologia, in linea con le recenti politiche europee e.g. Data Steward
  • Integrità della ricerca: assicura il rispetto di linee guida etiche e.g. FAIR priciples.

Criticità del Methodological Review Board

  • Rischio di burocrazia: troppi livelli di approvazione possono rallentare la ricerca.
  • Rischio di censura: possono ostacolare studi innovativi o non convenzionali.
  • Minaccia alla creatività: troppa regolamentazione scoraggia l’esplorazione.
  • Possibile bias: possono favorire alcune metodologie rispetto ad altre.
  • Adozione limitata: mancanza di evidenze chiare può ostacolarne l’adozione.

Perché il MRB?

  • Nasce da un’esigenza concreta:
    • Definizione di ipotesi e piani d’analisi spesso poco chiara
    • Calcolo della potenza statistica trascurato
  • Obiettivo: rendere la pre-registrazione più chiara e trasparente

Un supporto, non un vincolo

  • Il MRB non entra nei dettagli del progetto
  • Si concentra su:
    • Chiarezza
    • Trasparenza
  • Basato sull’idea di scalabilità e sostenibilità a lungo termine

Come funzionerà il MRB?

  • Accesso volontario
  • Revisione da parte di esperte in:
    • in statistica
    • in psicometria
    • in psicologia (secondo il settore)
    • Altri esperti ad hoc se necessario

Il processo in 5 passi

  1. Scelta del template di pre-registrazione (es. OSF)
  2. Compilazione e invio al MRB (es. via Drive o GitHub)
  3. Revisione iterativa con feedback metodologico
  4. Pre-registrazione pubblica con link (anche in embargo)
  5. Verifica finale e rilascio del MRB badge

Il MRB Badge

  • Attestato digitale (es. con DOI o firma)
  • Pubblicato online con:
    • Titolo del progetto
    • Link alla pre-registrazione
  • Garantisce:
    • Chiarezza metodologica
    • Trasparenza
    • Limiti dichiarati

Promuovere l’Open Science

  • Suggerimenti su:
    • Open data
    • Open code
  • Se non adottati: giustificazione obbligatoria

Impatto atteso

  • Obiettivo: superare il 10% di pre-registrazioni negli studi pubblicati (Hardwicke et al., 2024)
  • MRB = leva per migliorare qualità e trasparenza
  • In linea con i principi FAIR i futuri (presenti) requisiti per la competitività nei progetti europei e.g. Horizon2020, Data Steward

Progetto di Ateneo Terza Missione e Open Science – Linea B “Sviluppo del Methodological Review Board in Psicologia”

  • L’Università di Padova ha posto le basi per il primo MRB in psicologia in Italia (il secondo in Europa).
  • Ispirato al modello di Daniel Lakens a Eindhoven.

Progetto di Ateneo Terza Missione e Open Science – Linea B “Sviluppo del Methodological Review Board in Psicologia”

  • Parte dell’iniziativa di Scienza Aperta Psicostat.
  • Obiettivi finanziati nello scorso progetto di Ateneo (7500 euro) : open science set up MRB, citizen science con evento a Ottobre 2025, collaborazione fondamentale con Laura Sità.

Il progetto MRB e la Scienza Aperta in Italia

  • L’integrità della ricerca garantisce principi etici e trasparenza.
  • Il CNR ha stabilito linee guida nel 2015.
  • La Dichiarazione di Roma rafforza l’etica scientifica.
  • Il 1° Congresso Nazionale sull’Integrità ha mostrato buone pratiche.

Il progetto MRB e la Scienza Aperta in Italia

Psicostat al 1° Congresso Nazionale sull’Integrità nella Ricerca – Roma, Febbraio 2025

Take Home Message


Gli errori sono inevitabili.

La multidisciplinarietà cerca di arginare i bias che li generano.


Possono essere individuati, condivisi e corretti

prima della raccolta dati


La Cultura dell’errore promuove credibilità e fiducia nella society at large verso la psicologia


Old but gold

“L’onestà e la trasparenza non bastano” – Gelman, 2017

Grazie per l’attenzione.

Programma

10.30 - 11.00 Pratiche di Open Science: Cosa pensiamo e cosa facciamo? Risultati di una survey sul Methodological Review Board

Laura Sità e Massimiliano Pastore

11.00 - 12.00 Quali implementazione, benefici e incentivi?

Tavola rotonda insieme a

Alessandra Simonelli

Massimo Grassi

Andrea Spoto

Gianmarco Altoè

Carlo Umiltà

Alberto Voci