Sorveglianza post-implementazione degli algoritmi clinici

Algovigilanza

Classificare, dentro una singola struttura sanitaria, le conseguenze dell'uso di un algoritmo clinico su pazienti, professionisti e organizzazione, senza aspettare la certezza causale per agire.

Metodi e attività scientifiche per valutare, monitorare, comprendere e prevenire gli effetti avversi degli algoritmi in sanità, in esplicita analogia con la farmacovigilanza. — Embí, 2021 [1]

1 · Il concetto

Dalla farmacovigilanza agli algoritmi

farmaco algoritmo

Le prestazioni di un modello cambiano con i dati, i contesti e il tempo di impiego. Come per i farmaci, molti problemi emergono solo nell'uso reale. Nel 2024 abbiamo proposto di regolare l'IA clinica con un rigore paragonabile a quello dei farmaci, per la fase precedente e attorno all'implementazione [2]. L'algovigilanza riguarda la fase successiva.

Balendran e colleghi hanno già individuato cinque pratiche trasferibili dalla farmacovigilanza: valutazione post-approvazione, segnalazione dei casi, standardizzazione dei dati, valutazione della causalità e diffusione delle informazioni [3]. Il contributo qui è più circoscritto: un record operativo di classificazione da inserire nel sistema di incident reporting già esistente.

FarmacovigilanzaAlgovigilanza
Studi registrativi su popolazione selezionataValidazione retrospettiva sul dataset di sviluppo
ADR rare scoperte solo post-marketingErrori su sottogruppi, contesti e casi limite scoperti solo in uso reale
Interazioni farmacologicheInterazione con workflow, cartella clinica, altri algoritmi e comportamento del clinico
Lotto difettosoNuova versione del modello, aggiornamento software, cambio dei dati in ingresso
Scheda di segnalazione ADRScheda di segnalazione ADR-AI con checklist qualitativa di causalità
RCP e foglietto illustrativoIstruzioni per l'uso, model card, popolazione e setting di destinazione
PSUR, analisi del segnaleMonitoraggio di performance, drift ed equità per sottogruppi

Più parti colpite

Un singolo evento può riguardare pazienti, professionisti e organizzazione insieme.

Esiti ≠ meccanismi ≠ indicatori

Il bias di automazione non è un danno: è un meccanismo. Il tasso di override è un indicatore.

Dimensioni distinte

Esito osservato, esito potenziale, gravità regolatoria ed estensione sistemica restano separati.

Causalità qualitativa

Checklist senza punteggio. Il contenimento dipende dal danno potenziale, non dalla certezza causale.

2 · Cosa mostrano le evidenze, e cosa no

Segnali di rischio, non stime di frequenza del danno

La letteratura è eterogenea e per lo più non misura il danno direttamente. Gli esempi illustrano categorie, non incidenze.

Performance · validazione esterna

Modello proprietario di predizione della sepsi

0,63 AUC osservata
vs 0,76–0,83 dichiarata dallo sviluppatore38.455 ricoveri

Alla soglia valutata: sensibilità 33%, valore predittivo positivo 12%, allerte per il 18% dei ricoverati [6].

Misure di performance in un solo contesto. Indicano rischio di mancato riconoscimento e carico di allerte, ma non dimostrano da sole un danno ai pazienti.

Equità · popolazione

Algoritmo di population health basato sui costi

17,7% → 46,5%

Quota stimata di pazienti neri identificati per assistenza aggiuntiva correggendo l'etichetta (costo usato come proxy del bisogno) [7].

Conseguenza documentata: allocazione iniqua dell'accesso a un programma, che si accumula nella popolazione anziché comparire come evento clinico discreto.

Professionisti · osservazionale

Colonscopia dopo l'introduzione dell'IA

28,4% → 22,4%

Tasso di identificazione di adenomi nelle colonscopie senza IA, prima e dopo l'introduzione della colonscopia assistita [11].

Associazione esposta a confondimento, compatibile con deskilling. Esiti per i pazienti non misurati.

Professionisti · sperimentale

Bias di automazione in mammografia

27 radiologi

Con suggerimenti attribuiti a un'IA, alcuni deliberatamente errati, l'accuratezza calava nettamente quando il suggerimento era sbagliato, a ogni livello di esperienza [10].

Suscettibilità al bias in condizioni sperimentali, non danno osservato.

Segnalazioni spontanee

Database FDA MAUDE, dispositivi con machine learning

Spesso implicati problemi nei dati in ingresso più che nel solo algoritmo; molte segnalazioni descrivono quasi-eventi o pericoli piuttosto che danni [8,9].

Sottosegnalazione e attribuzione incerta: non stabiliscono né causalità né incidenza.

Non solo effetti avversi

Documentazione ambient AI e burnout

In studi pre–post la quota di clinici che riferiscono burnout è diminuita dopo l'adozione [12,13]. ECRI ha messo l'uso improprio dei chatbot di IA al primo posto tra i pericoli tecnologici in sanità per il 2026 [14].

Adottatori precoci, follow-up breve e risposta ai questionari possono favorire risultati positivi; le classifiche ECRI esprimono giudizio esperto, non frequenze.

3 · Tabella 1

Esiti, meccanismi e indicatori precoci per parte colpita

Un esito dannoso è una conseguenza avvenuta. Un meccanismo contributivo è un processo che può portarvi. Un indicatore precoce è un segnale misurabile che il meccanismo può essere attivo. Meccanismi e indicatori entrano in una segnalazione solo se collegati a un esito, osservato o potenziale credibile.

Pazienti (singoli o gruppi)
Professionisti
Organizzazione
Esito dannosoè accaduto
Diagnosi o trattamento ritardati o mancati; indagini o trattamenti inutili; allocazione iniqua delle cure; violazione della privacy
Distress dopo un evento avverso; lesione o esposizione di dati personali; perdita documentata di un'abilità non assistita; procedimenti disciplinari o legali
Interruzione di un servizio clinico; data breach; azioni regolatorie; contenziosi; perdita di fiducia
Meccanismo contributivopuò portare a un esito
Output errato; output corretto usato in modo inappropriato; output non disponibile o in ritardo; drift; sotto-performance in sottogruppi
Bias di automazione; carico di allerte; minore pratica dei compiti non assistiti; responsabilità poco chiare
Configurazione errata; integrazione o workflow non sicuri; aggiornamento non dichiarato del fornitore; formazione o personale insufficienti
Indicatore precocesi misura
Performance osservata vs dichiarata per sottogruppo; tasso di output discordanti
Tasso di override; allerte per paziente-giorno; performance non assistita all'audit; tempo di documentazione
Ore di indisponibilità; cambi di versione non comunicati; quota di incidenti con log mancanti

Esempi, non elenco esaustivo.

4 · Tabella 2

Il record di classificazione: nove domini

Si compila in due tempi: il segnalatore fornisce una segnalazione iniziale minima; un revisore (ad es. il risk manager con supporto clinico e tecnico) completa la classificazione. Ogni campo accetta «non noto» e, dove pertinente, «non applicabile». Seleziona un dominio.

5 · Figura 1

Il percorso di una segnalazione

La prima decisione, se contenere, dipende dal danno potenziale e dalla persistenza dell'esposizione, non dalla certezza del nesso causale. La causalità orienta dopo le azioni correttive e i contenuti delle segnalazioni esterne.

1

Segnalazione iniziale

Breve, dentro il sistema di incident reporting esistente. Nessun identificativo diretto.

2

Valutazione di sicurezza

Esito osservato e potenziale, estensione sistemica, esposizione ancora in corso.

3

Criteri urgenti soddisfatti?

Se sì: contenimento proporzionato (restrizione d'uso, salvaguardia aggiuntiva, procedura manuale), conservazione dei log, notifica a fornitore e risk manager.

4

Classificazione

Compilazione dei domini A–I della Tabella 2 da parte del revisore.

5

Revisione della causalità

Checklist qualitativa: contributivo probabile, possibile, improbabile, indeterminato.

6

Criteri regolatori

Verifica se si configura un incidente grave da notificare (vigilanza dispositivi, AI Act).

7

Azioni correttive e analisi aggregata

Revisione periodica raggruppata per comportamento del sistema e fattore contributivo.

·

Indicatori precoci

Dati di monitoraggio continuo, non segnalazioni. Soglie locali avviano una revisione, non dichiarano un segnale.

I numeri indicano l'ordine dei passaggi. Le soglie locali non equivalgono a un segnale in senso farmacovigilante, che richiede valutazione dei casi e, nei grandi database, analisi di disproporzionalità.

6 · Tabella 3 · simulatore

Prova la regola di triage

Esempio di regola locale dal paper. Un quasi-evento si classifica in base all'esito potenziale; anche un evento a causalità indeterminata può essere urgente, perché la mancanza di informazioni è un motivo per contenere mentre la revisione procede.

Esito per il paziente (il peggiore tra osservato e potenziale)
Altre caratteristiche dell'evento

Criteri, livelli e tempi sono illustrativi: ogni struttura li definisce e li verifica in base a servizi, personale e sistemi in uso. La priorità è un supporto alla decisione, confermato dal revisore.

7 · Contesto regolatorio

Chi deve segnalare cosa, e quando

Le norme si rivolgono soprattutto a fabbricanti e fornitori, e a eventi sopra soglie definite. Molte conseguenze qui discusse (carico di allerte, cambiamento delle competenze, disservizi) restano sotto o fuori da quelle soglie e sono responsabilità della struttura che utilizza il sistema.

Legge 24/2017 (Gelli-Bianco)

Sicurezza delle cure e responsabilità professionale [20].

Vigilanza sui dispositivi medici

Il fabbricante notifica gli incidenti gravi subito dopo aver stabilito il nesso causale o la sua ragionevole possibilità [15].

AI Act, Reg. (UE) 2024/1689

Art. 72: monitoraggio post-commercializzazione. Art. 73: notifica degli incidenti gravi alle autorità di vigilanza del mercato, anche con nesso diretto o indiretto [16].

Bozza di linee guida della Commissione sull'art. 73

Con modello di segnalazione degli incidenti gravi [17].

Legge 132/2025, art. 7

L'IA supporta prevenzione, diagnosi e cura lasciando la decisione al medico; sistemi e dati affidabili e verificati periodicamente; diritto del paziente a essere informato [19].

Digital Omnibus, Reg. (UE) 2026/1744

Rinvia gli obblighi per i sistemi ad alto rischio [18].

Sistemi dell'Allegato III

Applicazione delle regole per l'alto rischio.

Sistemi dell'Allegato I, inclusi i dispositivi medici

Per l'IA che è dispositivo medico, l'art. 73 resta limitato agli incidenti sui diritti fondamentali; i danni alla salute seguono la vigilanza MDR/IVDR.

Termini massimi di notifica del fabbricante / fornitore

15 ggincidente grave, termine generale
10 ggdecesso o grave deterioramento imprevisto della salute
2 gggrave minaccia per la salute pubblica

Limiti analoghi in MDR e AI Act [15,16]. Regolano la notifica da parte di soggetti specifici, non il contenimento: la risposta interna non va cadenzata su di essi.

8 · Supplementary Form S1

La scheda di segnalazione ADR-AI

Prototipo interattivo in sette passaggi, sul modello delle schede ADR di farmacovigilanza. Guida la segnalazione iniziale e la revisione, propone una priorità di triage da confermare e genera un PDF A4 con intestazione, cornice e numeri di pagina, interamente nel browser.

Funziona offline da un singolo file, senza librerie esterne e senza salvataggio automatico dei dati. Non inserire nomi o altri identificativi diretti.

Parte 1 · Segnalatore

  1. Struttura, unità, data dell'evento
  2. Sistema coinvolto e versione
  3. Cosa è successo e chi è stato colpito
  4. Esito osservato e misure già prese

Parte 2 · Revisore

  1. Comportamento del sistema e fattori contributivi
  2. Esito potenziale, estensione, gravità regolatoria
  3. Checklist di causalità e atteso/inatteso
  4. Priorità di triage confermata con motivazione

9 · Limiti e prossimi passi

Cosa resta da verificare

Limiti

Categorie non testate per affidabilità tra valutatori, completezza o usabilità. Le evidenze citate illustrano categorie di rischio, non incidenza o cause del danno. Includere professionisti e organizzazione può aumentare il carico di segnalazione o favorire usi difensivi. Norme citate: UE e Italia.

Valutazione proposta

Prima la codifica retrospettiva di segnalazioni esistenti da parte di revisori indipendenti, poi l'uso prospettico in un numero limitato di unità. Condizioni: tracciabilità dai log (output, versione, utente, decisione), clausole contrattuali con i fornitori, formazione dei revisori, cultura non punitiva.

Bibliografia

Riferimenti

  1. Embí PJ. Algorithmovigilance—advancing methods to analyze and monitor artificial intelligence–driven health care for effectiveness and equity. JAMA Netw Open. 2021;4(4):e214622. link
  2. Perrella A, Bernardi FF, Bisogno M, Trama U. Bridging the gap in AI integration: enhancing clinician education and establishing pharmaceutical-level regulation for ethical healthcare. Front Med. 2024;11:1514741. link
  3. Balendran A, Benchoufi M, Evgeniou T, Ravaud P. Algorithmovigilance, lessons from pharmacovigilance. npj Digit Med. 2024;7:270. link
  4. Sherman H, Castro G, Fletcher M, et al. Towards an International Classification for Patient Safety: the conceptual framework. Int J Qual Health Care. 2009;21(1):2–8. link
  5. Magrabi F, Ong MS, Runciman W, Coiera E. Using FDA reports to inform a classification for health information technology safety problems. J Am Med Inform Assoc. 2012;19(1):45–53. link
  6. Wong A, Otles E, Donnelly JP, et al. External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Intern Med. 2021;181(8):1065–1070. link
  7. Obermeyer Z, Powers B, Vogeli C, Mullainathan S. Dissecting racial bias in an algorithm used to manage the health of populations. Science. 2019;366(6464):447–453. link
  8. Lyell D, Wang Y, Coiera E, Magrabi F. More than algorithms: an analysis of safety events involving ML-enabled medical devices reported to the FDA. J Am Med Inform Assoc. 2023;30(7):1227–1236. link
  9. Handley JL, Krevat SA, Fong A, et al. Artificial intelligence related safety issues associated with FDA medical device reports. NPJ Digit Med. 2024;7(1):351. link
  10. Dratsch T, Chen X, Rezazade Mehrizi M, et al. Automation bias in mammography: the impact of artificial intelligence BI-RADS suggestions on reader performance. Radiology. 2023;307(4):e222176. link
  11. Budzyń K, Romańczyk M, Kitala D, et al. Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study. Lancet Gastroenterol Hepatol. 2025;10(10):896–903. link
  12. Olson KD, Meeker D, Troup M, et al. Use of ambient AI scribes to reduce administrative burden and professional burnout. JAMA Netw Open. 2025;8(10):e2534976. link
  13. You JG, Dbouk RH, Landman A, et al. Ambient documentation technology in clinician experience of documentation burden and burnout. JAMA Netw Open. 2025;8(8):e2528056. link
  14. ECRI. Top 10 Health Technology Hazards for 2026: Executive Brief. 2026. link
  15. Regolamento (UE) 2017/745 sui dispositivi medici, artt. 2(65) e 87. MDCG 2023-3
  16. Regolamento (UE) 2024/1689 (AI Act), artt. 3(49), 72 e 73. AI Act Service Desk
  17. Commissione europea. Bozza di linee guida sull'art. 73 AI Act e modello di segnalazione degli incidenti gravi. Consultazione, 26 settembre 2025. link
  18. Regolamento (UE) 2026/1744 (Digital Omnibus on AI). GUUE, 24 luglio 2026. sintesi FPF
  19. Legge 23 settembre 2025, n. 132. Disposizioni e deleghe al Governo in materia di intelligenza artificiale, art. 7. GU n. 223, 25 settembre 2025.
  20. Legge 8 marzo 2017, n. 24. Disposizioni in materia di sicurezza delle cure e della persona assistita, nonché di responsabilità professionale. GU n. 64, 17 marzo 2017.