Amnesty International ha pubblicato oggi un nuovo rapporto sull’ente responsabile del welfare in Danimarca, Udbetaling Danmark (Udk), che rischia di discriminare persone con disabilità, individui a basso reddito, migranti, rifugiati e gruppi razziali emarginati attraverso l’uso di strumenti di intelligenza artificiale finalizzati a segnalare sospetti di frode nei sussidi sociali.
Il rapporto, Ingiustizia programmata: sorveglianza e discriminazione nello stato sociale automatizzato della Danimarca, descrive come l’utilizzo diffuso di algoritmi per la rilevazione di frodi, associato a pratiche di sorveglianza di massa, abbia portato le persone a rinunciare inconsapevolmente – o contro la loro volontà – al proprio diritto alla privacy, creando un clima di paura.
“Questo genere di sorveglianza di massa ha dato vita a un sistema di sussidi sociali che rischia di prendere di mira, invece di aiutarle, proprio le persone che dovrebbe proteggere”, ha affermato Hellen Mukiri-Smith, ricercatrice di Amnesty International su intelligenza artificiale e diritti umani.
“Il funzionamento del sistema automatizzato di welfare danese sta erodendo la privacy individuale e minando la dignità delle persone. Utilizzando algoritmi per il controllo delle frodi e metodi tradizionali di sorveglianza per identificare truffe nei sussidi sociali, le autorità stanno facilitando ed espandendo una sorveglianza di massa digitalizzata”, ha aggiunto Hellen Mukiri-Smith.
L’Udbetaling Danmark (Udk) ha incaricato la Arbejdsmarkedets Tillægspension (Atp), un fondo pensionistico pubblico danese, di gestire i sussidi sociali e le iniziative per il controllo delle frodi. L’Atp, a sua volta, ha collaborato con multinazionali private, inclusa la Nnit, ovvero il fornitore leader di servizi e infrastrutture d’intelligenza artificiale in Danimarca, per sviluppare algoritmi di controllo delle frodi su misura per le loro specifiche richieste.
“Seduti di fronte a una pistola”
L’Udk e l’Atp utilizzano un sistema che può includere fino a 60 modelli algoritmici, progettati – secondo quanto riferito – per rilevare sospetti di frode nei sussidi sociali e segnalare persone per ulteriori indagini da parte delle autorità danesi. Durante la sua ricerca, Amnesty International ha ottenuto un accesso parziale a quattro di questi algoritmi.
Per alimentare questi algoritmi di rilevamento delle frodi, le autorità danesi hanno promulgato leggi che consentono una raccolta estensiva e l’integrazione dei dati presenti nei database pubblici di milioni di persone residenti in Danimarca. Questi dati comprendono informazioni su stato di residenza, spostamenti, cittadinanza, luogo di nascita e relazioni familiari, ovvero dati sensibili che possono anche fungere da indicatori indiretti della razza, dell’etnia o dell’orientamento sessuale di una persona.
“Questo potente strumento di sorveglianza viene utilizzato per documentare e profilare la vita di una persona, spesso distaccandosi dalla realtà. La macchina traccia e monitora il luogo di residenza di chi percepisce un sussidio sociale, il suo impiego, la sua cronologia di spostamenti, le cartelle sanitarie e persino i suoi legami con paesi stranieri”, ha dichiarato Hellen Mukiri-Smith.
L’Udk afferma che la vasta raccolta e l’incrocio dei dati personali per rilevare frodi nei sussidi sociali abbiano “basi legali”. Tuttavia, i risultati di Amnesty International dimostrano che la quantità enorme di dati raccolti e trattati non è né necessaria né proporzionata. Le persone intervistate da Amnesty International hanno descritto il grave impatto psicologico che ha su di loro la sorveglianza cui vengono sottoposte da parte degli ispettori antifrode e degli assistenti sociali.
Gitte Nielsen, la presidente della Commissione per le politiche sociali e del mercato del lavoro della Dansk Handicap Foundation, ha affermato che le persone con disabilità, costantemente interrogate dagli assistenti sociali, spesso si sentono affrante, raccontando che il controllo continuo “le sta consumando”. Descrivendo il terrore di essere indagata per frode nei sussidi, una persona intervistata da Amnesty International ha dichiarato: “[È come] essere seduti di fronte a una pistola. Abbiamo sempre paura. [È come se] la pistola fosse [sempre] puntata contro di noi”.
Algoritmi arbitrari e discriminatori
La discriminazione generata dagli algoritmi della Udk e da Atp avviene in un contesto di disuguaglianze preesistenti – leggi, regole, istituzioni, norme e valori – radicate nella società danese. Questi meccanismi discriminatori sono integrati nella progettazione dei modelli algoritmici di Atp, facilitando la categorizzazione delle persone e delle comunità in base a differenze o secondo logiche di “alterità”.
Per individuare frodi nei sussidi per le pensioni e nei programmi di assistenza all’infanzia, le autorità danesi utilizzano Really Single, un algoritmo volto a determinare lo stato familiare o relazionale di una persona. Tra i parametri usati dall’algoritmo vi sono modelli di vita o disposizioni familiari “insoliti” o “atipici”. Tuttavia, non è chiarito cosa venga considerato “insolito” o “atipico”, lasciando spazio a interpretazioni arbitrarie.
“Persone in strutture abitative non convenzionali – come quelle che, pur essendo sposate, vivono separate a causa di disabilità, persone anziane che hanno una relazione ma vivono separate o persone che vivono in nuclei familiari multigenerazionali, una situazione comune tra le comunità migranti – rischiano di essere prese di mira dall’algoritmo Really Single per ulteriori indagini sulle frodi nei sussidi sociali”, ha proseguito Hellen Mukiri-Smith.
L’Udk e il fondo Atp utilizzano anche parametri relativi a “legami con l’estero” nei loro modelli algoritmici. L’algoritmo Model Abroad individua gruppi di beneficiari ritenuti avere “legami di media o alta intensità” con paesi non appartenenti allo Spazio economico europeo e assegna loro una priorità per ulteriori indagini sulla frode in questione. La ricerca evidenzia che questo approccio discrimina le persone sulla base di fattori come l’origine nazionale e la condizione di persona migrante.
L’Udk ha risposto ad Amnesty International che l’uso della “cittadinanza” come parametro nei propri algoritmi non costituisce un trattamento di dati personali sensibili. Amnesty International non è d’accordo con questa argomentazione, poiché la cittadinanza, come parametro, può rivelare l’origine etnica, la razza e lo status migratorio di una persona, comportando così una discriminazione diretta in base all’origine nazionale.
Un sistema di punteggio sociale?
Udk e Atp hanno fornito ad Amnesty International una documentazione parziale e poco chiara sul disegno di alcuni sistemi algoritmici, rifiutando sistematicamente le richieste dell’organizzazione per un audit collaborativo e negando l’accesso completo al codice e ad altri dati utilizzati negli algoritmi per il rilevamento delle frodi.
“Le informazioni raccolte e analizzate da Amnesty International indicano che il sistema utilizzato da Udk e Atp funziona come un sistema di punteggio sociale ai sensi della nuova legge europea sull’intelligenza artificiale (AI Act) e dovrebbe quindi essere vietato”, ha affermato Hellen Mukiri-Smith. L’Udk ha respinto la valutazione di Amnesty International secondo cui il proprio sistema antifrode ricadrebbe verosimilmente nel divieto di punteggio sociale previsto dall’AI Act, senza però fornire una spiegazione adeguata a supporto del proprio punto di vista.
Amnesty International ha esortato la Commissione europea a chiarire, nelle linee guida dell’AI Act, quali pratiche di intelligenza artificiale costituiscano punteggio sociale, rispondendo alle preoccupazioni sollevate dalla società civile. L’organizzazione ha chiesto inoltre alle autorità danesi di dimostrare e garantire che il sistema di rilevamento delle frodi utilizzato dall’Udk non sia un sistema di punteggio sociale; fino a quando ciò non verrà accertato, il sistema dovrebbe essere sospeso.
“Le autorità danesi devono attuare urgentemente un divieto chiaro e legalmente vincolante sull’uso di dati relativi a ‘legami con l’estero’ o di dati indiretti per la valutazione del rischio ai fini del controllo antifrode. Devono inoltre garantire una trasparenza rigorosa e una supervisione adeguata nello sviluppo e nell’implementazione degli algoritmi di controllo delle frodi”, ha aggiunto Hellen Mukiri-Smith.
In base a diversi trattati internazionali sui diritti umani, alle leggi dell’Unione europea e alla legislazione nazionale, la Danimarca ha l’obbligo legale di tutelare i diritti umani quali la privacy, la protezione dei dati, la libertà di espressione, l’uguaglianza e la non discriminazione. “Questi diritti non sono solo il fondamento di una società giusta, ma garantiscono anche un accesso equo alla sicurezza sociale, all’assistenza sanitaria e a molto altro”, ha concluso Hellen Mukiri-Smith.
Ulteriori informazioni
In vista della pubblicazione del rapporto, Amnesty International ha contattato Nnit, ma la società non ha fornito ulteriori dettagli sui contratti stipulati con Udk e Atp, adducendo obblighi di riservatezza. La Nnit non ha nemmeno condiviso informazioni in merito a eventuali verifiche sui diritti umani effettuate prima di sottoscrivere l’accordo con Udk e Atp.
La ricerca sulla Danimarca si basa anche su precedenti indagini di Amnesty International riguardanti l’automazione e la digitalizzazione del settore pubblico nei Paesi Bassi, in India e in Serbia, con particolare attenzione ai rischi per i diritti umani e alle conseguenze dell’uso di algoritmi decisionali in tali contesti.
