Il caso
Il caso di Filemone e Bauci: il mutuo negato da un sistema automatico
Dopo trentadue anni di lavoro, nessuna rata saltata e il 25% di anticipo già disponibile, Filemone e Bauci si vedono negare il mutuo da un sistema di IA che la banca definisce infallibile e imparziale; la motivazione è una lettera standard e la «revisione umana» si riduce alla conferma di un funzionario che non sa spiegare. Mostra che dietro il no non c'è nessuno che li abbia riconosciuti come individui e che ne risponda.
Le idee
Nessun algoritmo unico arbitro di decisioni che cambiano la vita
Nessun algoritmo può essere l'unico arbitro di una decisione che cambia la vita di una persona: l'automazione non va fermata, ma ogni decisione rilevante deve poter essere riesaminata da un essere umano competente che la comprenda, la spieghi e ne risponda, perché essere giudicati da qualcuno che risponde di ciò che decide è una conquista civile inderogabile e non un'inefficienza da correggere.
La macchina non cancella la responsabilità: la nasconde
Nelle decisioni automatizzate la responsabilità non scompare né passa alla macchina: resta in capo a chi usa il sistema, ma l'opacità la nasconde, separando il giudizio da chi dovrebbe emetterlo, motivarlo e risponderne e riparando chi ha progettato, scelto e approvato il sistema dal dover rendere conto alla persona.
Punti da tenere a mente
- Una spiegazione della decisione automatizzata non basta se nessuno è realmente in grado di assumere come propria la decisione che essa dovrebbe giustificare: il problema non è soltanto sapere perché si è deciso, ma chi ne risponde.
- La supervisione umana sulle decisioni automatizzate esiste formalmente, ma rischia di ridursi a una ratifica in cui il sistema decide e l'essere umano conferma, senza capire ciò che approva e senza saper spiegare perché la decisione è stata presa.
- Il torto di una decisione automatizzata sfavorevole non sta necessariamente nel suo esito, ma nel fatto che dietro di essa la persona non trova nessuno che l'abbia riconosciuta come individuo e che possa rispondere davvero della decisione.
Il diritto che emerge
Diritto a un’alternativa umana nelle decisioni rilevanti
Diritto di ogni persona a che nessun algoritmo sia l'unico arbitro di scelte che possono cambiarle la vita, e a sapere chi, dietro il sistema, risponde della decisione.
Art. 3 — Alternativa umana nelle decisioni rilevanti →I concetti
Passaggi dal libro
È questo il giudice di pietra: produce una decisione, ma non risponde di ciò che ha deciso.
Sudditi digitali, «Il giudice di pietra», sezione «Il diritto che emerge»
L’opacità diventa un riparo. Non cancella il responsabile: rende più difficile raggiungerlo.
Sudditi digitali, «Il giudice di pietra»
Producono un output su una rappresentazione della persona, non sulla persona.
Sudditi digitali, «Il giudice di pietra», sezione «Il diritto che emerge»
La supervisione umana esiste, ma rischia di diventare una ratifica: il sistema decide, l’essere umano conferma.
Sudditi digitali, «Il giudice di pietra», sezione «Il diritto che emerge»
Nessun algoritmo può essere l’unico arbitro di una decisione che cambia la vita di qualcuno.
Sudditi digitali, «Il giudice di pietra», sezione «Sintesi»
Domande aperte
Quando la decisione è prodotta da un sistema e soltanto ratificata da un essere umano, chi è realmente in grado di assumerla come propria e di risponderne davanti alla persona?
Se la legge già vieta che si tolga qualcosa a qualcuno senza guardarlo in faccia, ascoltarlo e spiegargli perché, come si costringe chi usa un sistema automatico a colmare la distanza tra quella garanzia e la risposta che le persone ricevono davvero?
Il ricorso all'autorità o al giudice resta possibile, ma nel frattempo la decisione automatizzata produce i suoi effetti e le conseguenze le sopporta chi l'ha subita: come si garantisce una tutela che arrivi in tempo utile?