di LARA ANNA GIGANTE
Il proctoring è un sistema di controllo dell'ambiente fisico e digitale della persona, già in uso da anni, che ha visto ampio impiego durante il periodo pandemico per monitorare eventuali irregolarità durante gli esami online. Questo software utilizza diversi meccanismi, uno dei più complessi impiega il riconoscimento facciale grazie a modelli di machine learning biometrici, sistemi in grado di apprendere dai dati forniti e captare i movimenti corporei. Sembra, però, che questi sistemi abbiano presentato più di qualche errore nel loro funzionamento. Sono i casi di Proctoring Exams, ProctorU ed Examsoft, solo per citarne alcuni, diventati oggetto di controversie in merito alla tutela della privacy e ai ripetuti fallimenti nel riconoscere il volto di individui non di razza bianca, europea o caucasica, innesco di ingiustizie sociali fortemente discriminatorie. Errori implementabili, falle perfettibili o specchio di una società che fa i conti sbagliati, ancora una volta, nel rapporto tra tecnologia ed etica?
La vulnerabilità di questi software ha sollevato serie preoccupazioni circa la parzialità e l'accuratezza di tali sistemi durante le sessioni di esami online. Il caso italiano, tra i più noti, è stato quello verificatosi presso l’Università di Torino. Il sistema di proctoring che nel 2021 l'università ha adottato per sostenere gli esami a distanza ha suscitato, infatti, le proteste degli studenti, culminate nell'occupazione del Rettorato.
Il primo limite che si è presentato è stato il carattere potenzialmente escludente del proctoring: il software poteva essere installato solo su computer e richiedeva una connessione stabile. Questi aspetti non solo hanno generato difficoltà per molti studenti nel reperire materiali e risorse, ma hanno anche messo in evidenza un altro grosso limite strutturale: la velocità della connessione di rete richiesto dal software era pressoché impossibile da soddisfare per la maggior parte dei dispositivi.
Ulteriori criticità hanno riguardato il controllo aleatorio della correttezza degli esami, la violazione delle norme relative alla privacy e il trattamento dei dati sensibili. Uno dei software utilizzati dall’Università di Torino, un’estensione di Proction Google Chrome era stato scelto perché in grado di individuare e segnalare comportamenti sospetti, attraverso diversi strumenti: telecamera, microfono, mouse, tastiera. Ma, in che modo? Attraverso il monitoraggio di ogni singolo studente: se lo sguardo si fosse spostato, anche di poco, in direzione diversa rispetto al fronte dello schermo, il sistema avrebbe provveduto a segnalare il comportamento al docente. Casi come questi, verificatisi ripetutamente nell’arco delle sessioni d’esame del 2021, hanno dimostrato la vulnerabilità del sistema, dato che le segnalazioni sono risultate spesso inesatte, portando i docenti a ignorarne la gran parte. Anche ProctorU è stata oggetto di diverse controversie, a causa di problemi legati alla raccolta e all'archiviazione dei dati degli studenti.
La complessa natura di questi sistemi di proctoring ci ha indicato con urgenza la necessità di una maggiore trasparenza, revisione e regolamentazione che garantisca maggiore equità e correttezza nel loro utilizzo. Da qui si è aperta una riflessione quanto mai impellente, sull’utilizzo delle tecnologie biometriche e sulla validità di un loro impiego realmente integrativo e di supporto alle attività umane, rispettoso di diritti e dignità. Non sono infatti i sistemi di apprendimento – machine learning – o le imputate intelligenze artificiali a generare questa congerie diffusa di errori, quanto la “scrittura” degli algoritmi da parte degli esseri umani, imbevuta di pregiudizi razziali e discriminanti di genere, sesso, età, religione.
La tecnologia di riconoscimento facciale, rivelatasi utile nei casi di persone scomparse e nell'identificazione delle vittime di disastri naturali o incidenti, mostra una pronunciata tendenza all’errore quando rivolta a utilizzi più estesi. Sotto osservazione, all'interno di questo fenomeno di distorsione, sono finiti anche i sistemi di sorveglianza che impiegano la machine learning del proctoring, a causa delle tensioni sociali scaturite da errori identificativi. L’ACLU - American Civil Liberties Union - , un’organizzazione non governativa per la difesa dei diritti civili e delle libertà individuali negli Stati Uniti, si batte contro tutto ciò, indicando quanto l'utilizzo della tecnologia di sorveglianza con riconoscimento facciale sia impreciso e discriminante e costituisca una minaccia per la privacy delle persone. Una curiosa prova dei rischi del riconoscimento facciale è rappresentata dal caso relativo al software Rekognition del colosso mondiale Amazon. L’ACLU ha prima creato un archivio raccogliendo 25.000 foto segnaletiche, successivamente ha mostrato a Rekognition le immagini di 535 parlamentari americani. È accaduto che in 28 casi (cioè in più del 5%), il riconoscimento facciale ha trovato una corrispondenza, in realtà inesistente, tra i volti dei parlamentari e quelli di criminali. Gli errori hanno coinvolto uomini e donne, politici democratici e repubblicani, bianchi, ispanici e afroamericani. Ma il tasso di false corrispondenze è stato molto più alto tra i parlamentari neri.
Queste stesse tecniche incentrate sull’elaborazione di dati biometrici possono essere impiegate anche per identificare un individuo e applicate in diversi ambiti, ad esempio per individuare persone sospettate di un crimine. La polarizzazione “investigativa” verso i vari sistemi di riconoscimento facciale solleva numerose preoccupazioni, in quanto le operazioni di comparazione delle immagini dei volti sono spesso “affette” da bias cognitivi, che incentivano una diffusa discriminazione razziale.
Nell'aprile del 2021 l'ACLU ha intentato una causa federale contro il Dipartimento di Polizia di Detroit, sostenendo che gli agenti coinvolti hanno violato i diritti del signor Robert Williams ai sensi del Quarto Emendamento e dell'Elliott-Larsen Civil Rights Act, arrestandolo sulla base della scansione di riconoscimento facciale. L'emergere dell'errore giudiziario ha messo in luce carenze sia a livello sistemico che globale nell'uso responsabile di questa tecnologia, insieme alle lacune nelle competenze degli inquirenti riguardo alle tecniche investigative fondamentali e ai requisiti legali. Si assiste, quindi, a una colpevolizzazione assiomatica del presunto criminale, sulla base di elementi probatori costituiti esclusivamente da aspetti del viso come il colore della pelle, il diametro della bocca e larghezza del naso. Così, si sono susseguiti casi di bad facial recognition, che hanno coinvolto non solo Robert Williams, ma anche Nijeer Parks e Michael Oliver, tutti afroamericani arrestati tra il 2019 e il 2020 e che, a causa di valutazioni sbagliate effettuate da sistemi di riconoscimento facciale, hanno subito la dispotica ed erronea attribuzione delle caratteristiche biometriche di un volto, non solo differente dal loro ma appartenente a dei criminali. L’imputazione del volto e non del soggetto sembra essere divenuta una prassi sempre più ricorrente. Nonostante questi rischi, i sistemi di riconoscimento facciale continuano a essere acquistati e distribuiti in tutti gli Stati Uniti. Nel rimarcare il grave bias cognitivo di questa tecnologia si affiancano studi come quello del 2018 intitolato "Gender Shades" di Joy Buolamwini e Timnit Gebru, pubblicato dal MIT Media Lab, che dimostrano che la tecnologia di riconoscimento facciale è soggetta a distorsioni, quindi non pienamente affidabile. Il tasso di errore, infatti, per gli uomini dalla pelle chiara è dello 0,8%, rispetto al 34,7% per le donne dalla pelle più scura. Un test del 2019, condotto dal governo federale ha concluso che la tecnologia funziona meglio sugli uomini bianchi di mezza età. L'ingiustizia non si ferma qui. Uno studio sempre avviato dall'ACLU nel 2020 ha rilevato che, poiché le persone di colore hanno maggiori probabilità di essere arrestate rispetto ai bianchi per reati minori, è più probabile che i loro volti e i loro dati personali siano presenti nei database delle foto segnaletiche. Questo fa sì che abbiano maggiori probabilità di essere identificati erroneamente come sospetti, nonostante la documentata mancanza di accuratezza di tutti questi mezzi di presunta identificazione. Il dossier dell’'ACLU rivela, inoltre, che le telecamere di sorveglianza della polizia sono installate in modo sproporzionato nei quartieri afroamericani, il che esacerba ancora una volta il razzismo sistemico. Non è un segreto che il Dipartimento della Sicurezza Nazionale e le sue sotto-agenzie ICE e Customs and Border Protection siano incappati in gravi abusi.
Una nota confortante arriva dalla crescente attenzione sul tema dell’algorithmic fairness, un campo di ricerca che mira a mitigare gli effetti di pregiudizi e discriminazioni ingiustificate sugli individui a causa di processi di machine learning. Si tratta un ambito di ricerca interdisciplinare con l’obiettivo di creare modelli di apprendimento in grado di effettuare previsioni corrette dal punto di vista di equità e giustizia. Sembra che una prima difficoltà che caratterizzi questo ambito di ricerca sia la mancanza di una definizione esaustiva e universale di fairness (correttezza). Vengono infatti proposte molteplici definizioni a seconda dei diversi contesti politici, religiosi e sociali. Il bias può manifestarsi infatti nei confronti di diverse minoranze con caratteristiche specifiche di genere, religione, razza o ideologia. Vengono proposte, quindi, diverse metriche per la misurazione del bias e tecniche per attenuarlo, ma lo studio di queste problematiche è all’ordine del giorno e i diversi sotto-ambiti di ricerca sono in continua crescita e costituiscono delle sfide ancora aperte.
È interessante capire a che punto sia il dibattito anche al di qua dell’Atlantico. Il 21 aprile 2021 la Commissione Europea ha pubblicato la proposta di regolamento sull’approccio europeo all’intelligenza artificiale, un documento in cui vengono valutati i rischi connessi a questo strumento con l’obiettivo di “salvaguardare i valori e i diritti fondamentali dell’UE e la sicurezza degli utenti”. La Commissione europea sottolinea nel documento l'importanza di agire in modo coordinato di fronte alla rapida diffusione dell'intelligenza artificiale a livello globale. La proposta di regolamento europeo prevede norme di trasparenza per tutti i sistemi di IA e regolamentazioni più rigide per quelli considerati ad alto rischio, come i modelli impiegati nella valutazione degli studenti o nella selezione del personale. Vengono vietate alcune pratiche dannose, come l'uso di tecniche subliminali per influenzare il comportamento delle persone o la valutazione della affidabilità basata su caratteristiche personali. L'impiego di sistemi di identificazione biometrica sembra dover essere regolamentato in modo rigoroso, consentendone l'uso solo in casi specifici come la ricerca di bambini scomparsi o la prevenzione di minacce gravi, come gli attacchi terroristici.
Si presenta, quindi, l’intento ad agire secondo forme preventive volte a evitare errori e inciampi giudiziari, rischiando però di continuare a sovrapporre nell’immaginario collettivo intelligenza artificiale e machine learning, credendoli sinonimi intercambiabili.
Appare cruciale poter garantire algoritmi giusti ed equi, eliminando il pregiudizio fin dalla fase iniziale della raccolta dati. Attualmente, però, sembra essere più semplice divellere il bias e garantire un’etica negli algoritmi, invece che negli esseri umani.
*LARA ANNA GIGANTE
Giornalista culturale freelance e addetta stampa. Dal mondo della filologia classica e della storia antica passa a quello della scrittura critica. Si occupa di arte visiva, linguaggi contemporanei ed editoria.
