Oltre l’illusione della trasparenza: come regolare l’intelligenza artificiale in medicina
Dalla spiegabilità dei sistemi alla misurazione affidabile della loro sicurezza clinica
Pubblicità
Il dibattito sulla regolazione dell'intelligenza artificiale in ambito sanitario si concentra spesso sulla necessità di rendere i sistemi "spiegabili", quasi che la trasparenza del funzionamento interno garantisca automaticamente la fiducia e la sicurezza delle decisioni. Secondo la rivista Il Punto, questa equivalenza rappresenta un'ambiguità concettuale che la normativa europea e italiana non condivide pienamente, e che merita una riconsiderazione critica alla luce dei veri rischi che l'IA comporta per diagnosi, prognosi e terapie.
Un quadro normativo più complesso della narrazione pubblica
L’AI Act europeo, entrato in vigore nell’agosto 2024, e la legge italiana 132 del settembre 2025 stabiliscono obblighi ben articolati: gestione sistematica dei rischi, tracciamento dei dati, documentazione tecnica, validazione, supervisione strutturata e monitoraggio continuativo. Eppure nel dibattito pubblico e persino nella loro applicazione pratica, concetti come spiegabilità e trasparenza algoritmica vengono caricati di significati che vanno oltre ciò che le norme stesse richiedono. Il problema non risiede nell’assenza di regolazione, bensì nel fatto che termini molto diversi tra loro—interpretabilità, auditabilità, intelligibilità, tracciabilità—vengono spesso usati come sinonimi, generando confusione sulla loro reale funzione normativa.
Quando la spiegazione diventa una fiction
La nozione di “spiegabilità” non possiede una definizione tecnica univoca. Può riferirsi alla struttura interna trasparente di un modello, a ricostruzioni generate a posteriori su sistemi opachi, o semplicemente all’informazione che l’utente riceve sui limiti e i rischi del sistema. Secondo l’articolo, nel contesto di algoritmi complessi utilizzati in sanità, fornire una spiegazione di come un sistema ha preso una decisione «non coincide necessariamente con una decisione affidabile o sicura». L’illusione maggiore emerge quando si ricorre a tecniche di spiegazione post hoc per illuminare modelli “scatola nera”: queste possono creare l’impressione di comprensione senza eliminarvi effettivamente l’opacità sottostante, senza garantire che la spiegazione sia fedele al reale meccanismo che ha generato la diagnosi, senza smascherare correlazioni spurie o errori nascosti.
Da controllare al verificabile: il cambio di paradigma necessario
Per la medicina, dove l’errore algoritmico incide direttamente sulla salute umana, il criterio decisivo non dovrebbe essere l’accessibilità interna del modello, bensì la sua affidabilità operativa nel contesto clinico reale. La rivista propone uno spostamento: dalla spiegabilità come ideale simbolico all’affidabilità come proprietà empiricamente dimostrabile; dalla trasparenza del codice alla possibilità di auditare i processi; dalla semplice presenza di un operatore umano alla capacità strutturale di intervento consapevole e informato. Una regolazione così concepita dovrebbe convergere verso standard ispirati alla medicina basata su prove, privilegiando validazione esterna robusta, sorveglianza post-commercializzazione, analisi dei fattori umani, tracciabilità completa e chiarezza nella governance della responsabilità.
