Il caso
Il caso di Nereo: il festival escluso dalla graduatoria con 5,8 in «rilevanza internazionale»
Il festival del figlio di Filemone e Bauci, premiato poche settimane dopo come miglior festival internazionale, è escluso dal contributo pubblico da un sistema di IA che gli assegna 5,8 su 10 proprio in rilevanza internazionale: i sottopunteggi sono pubblici, ma nessuno sa dire quali elementi abbiano pesato, e il ricorso è impraticabile perché non si sa quale errore indicare.
Le idee
La spiegazione resta dovuta e va richiesta come precondizione
Quando una decisione automatizzata o algoritmicamente assistita incide significativamente sulla vita di una persona, la spiegazione resta dovuta: ogni persona ha diritto a una spiegazione comprensibile e verificabile del proprio caso, e perché questo diritto sia esercitabile la spiegabilità deve essere progettata come parte del sistema e richiesta come precondizione per adottarlo, con la responsabilità dell’intelligibilità in capo a chi lo adotta.
Conta la verificabilità, non chi decide meglio
Il punto non è stabilire se una decisione algoritmica sia per definizione più o meno giusta di quella di una commissione umana, perché entrambe possono sbagliare e incorporare criteri discutibili: ciò che conta è che la decisione possa essere sottoposta a verifica, e un sistema la cui giustizia non è verificabile non è più giusto di una commissione imperfetta, è solo opaco in modo diverso.
Punti da tenere a mente
- La presunta affidabilità di un sistema algoritmico non può diventare una ragione per sottrarlo al controllo: una decisione deve poter essere verificata, comprendendone le ragioni, individuando ciò che ha pesato nel caso concreto e contestandolo quando produce un esito ingiusto.
- Chi adotta sistemi decisionali algoritmici deve rispondere non solo della loro correttezza tecnica, ma della loro intelligibilità per i destinatari e della possibilità concreta, per chi ne subisce le decisioni, di valutarne la giustizia.
- Che un sistema applichi a tutti lo stesso procedimento e produca previsioni complessivamente utili non garantisce che i criteri appresi siano imparziali né che gli errori si distribuiscano allo stesso modo tra persone e gruppi diversi.
Il diritto che emerge
Diritto all’intelligibilità delle decisioni algoritmiche
Diritto di ogni persona a ricevere una spiegazione comprensibile e verificabile di ogni decisione automatizzata o algoritmicamente assistita che incide significativamente sulla sua vita, così da poterla capire, valutare ed eventualmente contestare.
Art. 10 — Intelligibilità delle decisioni →I concetti
Passaggi dal libro
Tra il diritto scritto e quello esercitabile può restare una distanza insormontabile.
Sudditi digitali, «La graduatoria», sezione «Il diritto che emerge»
Il rischio non è tanto che il sistema sia ingiusto, quanto che non si possa sapere se lo è.
Sudditi digitali, «La graduatoria», sezione «Il diritto che emerge»
Ma stabilire che una spiegazione è dovuta non significa ancora sapere come produrla.
Sudditi digitali, «La graduatoria», sezione «Il diritto che emerge»
una spiegazione convincente non è necessariamente fedele al funzionamento del modello: deve essere verificata, non soltanto ben raccontata.
Sudditi digitali, «La graduatoria», sezione «Il diritto che emerge»
Domande aperte
Una volta stabilito che la spiegazione di una decisione algoritmica è dovuta, come la si produce in concreto per modelli il cui risultato non deriva da regole esplicite leggibili una per una?
Se una spiegazione convincente non è necessariamente fedele al funzionamento del modello, chi e come deve verificare che la spiegazione fornita al destinatario corrisponda a ciò che ha realmente determinato la decisione?