Supervisione umana ridotta a ratifica
Degenerazione della supervisione umana sulle decisioni automatizzate in una conferma formale: il sistema decide e l'essere umano si limita a confermare, senza capire ciò che approva né saperlo spiegare.
La supervisione umana prevista dalle norme esiste sulla carta, ma nella pratica rischia di ridursi a un funzionario che guarda uno schermo per trenta secondi e preme un tasto. Chi conferma si fida del sistema, ritenuto infallibile e imparziale, e ratifica una valutazione che non è in grado di giustificare. Formalmente dietro la decisione c'è ancora qualcuno, ma quel qualcuno non l'ha assunta come propria: resta una parvenza di controllo umano accompagnata da una lettera prestampata. In questo modo il caso concreto sparisce dietro il profilo e diventa più difficile ottenere il controllo effettivo che spetta alla persona. Premere un tasto per confermare ciò che ha deciso il sistema non è un vero controllo umano, e nessuna norma dovrebbe consentire di presentarlo come tale.
Detto anche
il sistema decide, l'essere umano conferma · parvenza di controllo umano · revisione umana di facciata
Dove nasce
Cosa ne dice il libro
- La supervisione umana sulle decisioni automatizzate esiste formalmente, ma rischia di ridursi a una ratifica in cui il sistema decide e l'essere umano conferma, senza capire ciò che approva e senza saper spiegare perché la decisione è stata presa.Sudditi digitali, «Il giudice di pietra», sezione «Il diritto che emerge»
- Premere un tasto per confermare ciò che ha deciso il sistema non è un vero controllo umano, e nessuna norma dovrebbe consentire di presentarlo come tale.Sudditi digitali, «Il giudice di pietra», sezione «Il diritto che emerge»
- Il diritto europeo riconosce già garanzie contro le decisioni unicamente automatizzate e impone spiegazioni chiare e significative, ma tra queste garanzie e ciò che le persone ricevono in concreto resta una distanza: troppo spesso la supervisione umana prevista si riduce a una conferma formale.Sudditi digitali, «Il giudice di pietra»