Data Feminism è stato pubblicato nel marzo 2020, nella prima settimana di quella che sarebbe diventata una pandemia mondiale e sulla scia di oltre un decennio di crescente consapevolezza del potere che i dati producono quando vengono raccolti, analizzati e utilizzati. Abbiamo deciso di scriverlo osservando la sovrabbondanza di prove che dimostravano che tipo di potere deriva dai dati, e come quel potere venisse amministrato in modo iniquo. Nello specifico, questo potere è stato esercitato da multinazionali, governi e altre istituzioni che godono di numerose risorse per aumentare il proprio potere e il proprio profitto, con costi personali, politici e finanziari significativi per tutte le altre soggettività. Esisteva già un nutrito dibattito accademico sui modi in cui i dati venivano utilizzati per amplificare le disuguaglianze strutturali esistenti . Data Feminism ha contribuito a mostrare come il femminismo, grazie alla sua attenzione analitica nei confronti delle cause delle disuguaglianze strutturali, potrebbe aiutare a mettere alla prova e riequilibrare quel potere. I sette principi del femminismo dei dati – esaminare il potere, sfidare il potere, ripensare binarismi e gerarchie, dare rilievo alle emozioni e all’embodiment, considerare il contesto, accogliere il pluralismo, e rendere visibile il lavoro – erano destinati a rendere operativi quelli che ci sembravano essere i principi più rilevanti del pensiero femminista riguardo alla data science. Il nostro obiettivo era fornire una serie definita di linee guida ed esempi per chi lavora con i dati, per chi aveva l’intenzione di lavorare con i dati o per chi invece rifiutava il lavoro con i dati per motivi politici o personali. Volevamo mostrare come il femminismo non solo fosse rilevante, ma essenziale per la data science e fornire un modello che permettesse a data scientist, informatic*, digital humanist, politic*, urbanist*, giornalist*, educator*, studenti e altr* di mettere in pratica il femminismo nel loro lavoro.
Dalla pubblicazione del libro, i principi di Data Feminism sono stati accolti e adottati nel mondo accademico e nel settore pubblico . Ma, poiché la conversazione si è spostata dalla data science all’AI, avvertiamo la necessità di riconsiderare questi principi. Questo testo propone una riflessione sul motivo per cui il femminismo è profondamente rilevante per la ricerca sull’AI, riarticola i principi originali del femminismo dei dati adattandoli all’AI e introduce la possibilità di due ulteriori principi, relativi all'impatto ambientale e al consenso, per contribuire a 1) descrivere le dinamiche di potere diseguali, antidemocratiche, estrattive ed escludenti che caratterizzano la ricerca, lo sviluppo e l’impiego dell’AI; 2) ) identificare e mitigare i danni prevedibili prima che dei sistemi non sicuri, oppressivi o discriminatori vengano rilasciati e resi accessibili all* utenti; e 3) ispirare modi creativi, gioiosi e collettivi di lavorare per un mondo più equo e sostenibile, in cui tutt* possiamo prosperare.
2.1. Che cos'è il femminismo?
Il femminismo ha una storia lunga, multiforme, che spesso è stata messa in discussione. Riassumerla andrebbe oltre l’obiettivo di questa analisi, ma è importante chiarire che tipo di femminismo chiamiamo in causa in questa sede. Alla base, il femminismo implica il credere nella parità di tutti i generi. Questo include donne e uomini, ma anche persone Two Spirit , genderqueer, crossdresser, persone non binarie, ecc. Fino a quando la parità di genere non sarà raggiunta, il femminismo a cui ci rifacciamo richiede anche un’attività organizzata per rendere questo obiettivo una realtà. Un altro aspetto relativo al nostro femminismo deriva dal suo patrimonio intellettuale, e una parte cruciale di questa eredità è il femminismo intersezionale, che proviene dal lavoro delle donne femministe razzializzate, e in particolare dalle femministe nere statunitensi. Il contributo del femminismo intersezionale è duplice: in primo luogo, contribuisce ad ampliare il discorso sulla disparità di genere considerando anche aspetti che riguardano gli squilibri sociali; in secondo luogo, porta a insistere sul fatto che ci occupiamo di un potere strutturale, analizzando le ragioni per cui alcune persone sperimentano il privilegio, mentre altre l’oppressione. Il femminismo intersezionale offre dei modelli (in senso concettuale, non di machine learning) che spiegano i meccanismi alla base dei sistemi di potere e guidano l’azione per trasformarli in una prospettiva che ha come obiettivo la giustizia. Tra questi modelli troviamo la riflessione del Combahee River Collective sulla «interconnesione dei sistemi di oppressione» , la nozione di «matrice di dominazione» formulata da Patricia Hill Collins e il termine «intersezionalità», coniato da Kimberlé Crenshaw . È importante notare come quelli del femminismo intersezionale non siano gli unici modelli del potere strutturale esistenti; altr* hanno teorizzato il funzionamento delle disuguaglianze strutturali attraverso la lente del capitalismo, del colonialismo, e così via. Le teorie femministe intersezionali che riflettono sul potere ci attraggono per il modo in cui collegano l’esperienza personale alle dinamiche strutturali e perché rendono esplicito il loro obiettivo: comprendere gli squilibri di potere presenti nel mondo affinché possano essere messi in discussione, riequilibrati e trasformati.
2.2. Il femminismo oggi
Negli anni successivi alla pubblicazione di Data Feminism, ci sono state diverse alterazioni significative nel tessuto sociale e politico degli Stati Uniti e del mondo, molte delle quali hanno portato in primo piano le questioni femministe. Nello specifico, negli Stati Uniti, dove si trovano le autrici di questo articolo, abbiamo assistito alla revoca del diritto costituzionale all’aborto, che ha innescato una serie di crescenti incursioni nell’autonomia e nella privacy delle persone con utero che possono procreare. Queste preoccupazioni, che hanno interessato a lungo i dibattiti femministi, riguardano ora gli spazi digitali (se non esclusivamente relativi all’AI), poiché i dati personali sono diventati un’arma legale utilizzata contro le persone che vogliono abortire . Casi come questi sottolineano anche la stretta relazione che esiste tra giustizia riproduttiva e giustizia per le persone trans, in quanto gli attacchi all’autonomia del corpo di alcun* sono attacchi all’autonomia di tutte le persone. Non è un caso che le restrizioni sull’accesso all’aborto siano state accompagnate da restrizioni sui percorsi di affermazione del genere e da altre azioni legali per controllare i corpi delle persone trans. Una lezione femminista fondamentale qui, nata da oltre un secolo di storia escludente, è che queste lotte sono interconnesse e che non possiamo difendere l’autonomia del corpo utilizzando la definizione essenzialista di “donne” . Un altro insegnamento, strettamente legato a questo, giunge negli Stati Uniti dall’America latina: qui la “marea verde”, un movimento di attivismo durato decenni, ha avuto successo in larga parte grazie alla sua inclusività, al populismo economico e alla sua insistenza nel collegare le questioni lavorative a quelle di genere . Per esempio, mentre negli Stati Uniti si facevano passi indietro sul diritto all’aborto, in Argentina l’IVG è stata legalizzata ed è stata depenalizzata in Colombia e Messico, in alcuni tra i paesi più popolosi dell’emisfero. Questi successi sono stati il risultato di diversi decenni di proteste e attivismo.
Gli attacchi contro le donne e le persone trans non sono avvenuti per caso. L* studios* di comunicazione W. Lance Bennett e Marianne Kneuer hanno recentemente affermato che stiamo assistendo al rafforzamento delle “sfere pubbliche illiberali” in tutto il mondo . Questa espressione si riferisce a contesti caratterizzati da una serie di tattiche di comunicazione antidemocratica, che includono la denigrazione e l’esclusione delle persone appartenenti alle minoranze, attacchi mirati alla stampa e alle istituzioni politiche, la trasgressione delle norme del discorso civile. Queste tattiche sono abilitate e amplificate dalle piattaforme dei social media di proprietà delle Big Tech, il cui modello di business privilegia l’attenzione sopra ogni altro parametro, traendo ampi profitti dall’estremismo, dall'utilizzo delle minacce, dalla spettacolarizzazione e dalle menzogne. Il successo di questa partnership aziendale con l’estremismo di destra è evidente nella proliferazione dei divieti di libri , nella demonizzazione delle pratiche DEI e della Critical Race Theory e nell'uso di tattiche da branco per divulgare informazioni personali, intimidire, silenziare o denigrare le persone che studiano la parzialità dell’informazione, che si oppongono alla violenza razziale e di genere, o la presa di posizione contro chi si ribella al sistema . Allo stesso tempo, abbiamo assistito al lavoro costante delle femministe, incluse quelle latinoamericane, indigene e abolizioniste negli Stati Uniti e a livello globale, per immaginare mondi diversi da quello in cui viviamo . Questo saggio rappresenta il nostro primo tentativo di pensare un mondo più equo, sostenibile e femminista per la ricerca sull’intelligenza artificiale.
3.1. Femminismo e FAccT
All’interno della comunità Fairness, Accountability, and Transparency (FAccT) abbiamo già avuto prova di come il femminismo possa svolgere un ruolo sostanziale nel guidare la ricerca AI/machine learning. Già nel 2021, Leila Marie Hampton ha introdotto il femminismo nero come lente attraverso cui comprendere e analizzare l’oppressione algoritmica. Nello stesso anno, Hancox-Li e Kumar hanno introdotto la nozione di “epistemologia femminista” nella comunità FACcT, offrendo suggerimenti su come allineare la ricerca AI/ML con le idee femministe rispetto al valore della conoscenza situata e dell’ampliamento delle modalità di conoscenza. Negli anni successivi, il lavoro al FAccT ha dimostrato come una serie di concetti femministi tratti dal femminismo nero, dalla STS femminista, e dal neomaterialismo femminista potrebbero essere applicati alla ricerca sul ML e in che modo l’intersezionalità era stata finora (debolmente) resa operativa nella ricerca sull’etica dell’AI .
Il femminismo ha anche influenzato una serie di pratiche, tra i quali la ricerca sugli effetti negativi dei sistemi pubblicitari online e sulla sorveglianza nei luoghi di lavoro , oltre ai processi partecipativi per la progettazione del machine learning . Altri articoli prodotti da FAccT hanno esplorato le questioni di genere in modo più concreto, inclusi i problemi legati ai pregiudizi di genere nei modelli destinati al pubblico (per esempio nei sistemi di completamento automatico ) e nei metodi di ricerca (come quelli relativi al NLP ), nonché nel campo dell’informatica in generale . Questo lavoro resta però minoritario. Nella loro metanalisi del 2022 sull’etica della AI condotta a FAccT, Birhane et al. hanno affermato che «il settore trarrebbe beneficio da un maggiore focus sull’analisi etica basata su casi d’uso concreti, esperienze delle persone e applicazioni dei modelli, così come da approcci sensibili alle asimmetrie storiche e dei potere strutturali» . I principi proposti in questo lavoro rispondono a questo invito, offrendo un quadro femminista per strutturare questo lavoro imprescindibile.
3.2. Femminismo e AI
Ampliando lo sguardo è possibile osservare che un percorso di ricerca che tenga insieme femminismo e AI esiste almeno dal 1998, anno di pubblicazione di Artificial Knowing di Alison Adam che, come ricordano Keyes e Creel , utilizzava l’epistemologia femminista per mettere in discussione la presunta universalità della ricerca sull’AI dell’epoca. Uno degli articoli accademici più citati oggi riguardo all’etica dell’AI, scritto da Joy Buolamwini e Timnit Gebru, ha utilizzato una prospettiva femminista intersezionale per analizzare i sistemi aziendali di computer vision . Man mano che l’interesse rispetto all’AI è aumentato, sono emersi ulteriori studi che collegano esplicitamente femminismo e AI. La studiosa di comunicazione Sophie Toupin ha condotto un’indagine critica su questa letteratura scientifica per creare una tipologia che comprende sei modi in cui il femminismo e l’AI sono stati collegati, inclusi modelli di machine learning (ML) femministi, approcci basati sul design e influenze femministe sulle politiche, sulla cultura, sul discorso e sulla scienza dell’AI. Un volume recente, Feminist AI , elabora in ventuno capitoli riflessioni che vanno dalla carenza di donne nella ricerca sull’AI al futuro digitale afrofemminista , all’intersezione tra l’AI e il capitalismo razziale . Inoltre, sono nate delle reti femministe globali come la Feminist Internet Research Network e l’<A+> Alliance , con il fine di promuovere misure relative a questioni di pregiudizi algoritmici, lavoro ed economia, violenza di genere indotta dall’intelligenza artificiale, ecc. Alcune ONG hanno anche contribuito alla discussione sugli approcci all’AI che siano femministi, decoloniali e di liberazione. Sono troppo numerosi per essere elencati in modo completo, ma alcuni esempi includono Coding Rights in Brasile , IT For Change in India , Data Género in Argentina e Pollicy in Uganda . Osservati complessivamente, questi esempi mostrano l’ampia rilevanza e utilità del femminismo per la ricerca sull’AI.
Nelle sezioni che seguono, elenchiamo i sette principi del femminismo dei dati e spieghiamo come possono essere adattati alla ricerca sull’AI. Discutiamo anche della possibilità di due ulteriori principi che affrontano nuove considerazioni causate dal crescente ambito e impatto dell’AI sia sulle persone che sul pianeta.
4.1. Principio 1: Esaminare il potere
Il femminismo dei dati inizia con l’analisi di come il potere opera nel mondo.
Il primo principio del femminismo dei dati si fonda su un esame del potere: «la configurazione attuale del privilegio e dell'oppressione strutturale in cui alcuni gruppi sperimentano vantaggi immeritati – perché i sistemi sono stati progettati da persone come loro e funzionano per persone come loro – e altri gruppi sperimentano svantaggi sistemici; perché quegli stessi sistemi non sono stati progettati da loro o tenendo in mente persone come loro» . Nel collegare questa concezione del potere alla data science, ci siamo concentrate sulle questioni della disparità di potere rispetto ai gruppi minoritari e in particolare sugli effetti della sottorappresentanza delle donne e di altre minoranze 1) nel campo della data science; 2) come elementi che plasmano i percorsi di ricerca; e 3) come soggetti di ricerca scientifica sui dati. La predominanza di uomini cis – e l’esclusione, anzi l’espulsione, di donne (cis e trans) e persone non binarie, così come di persone nere, indigene e altre persone razzializzate, specialmente quando queste parlano dei danni causati dall’AI, come nel caso di Timnit Gebru e Margaret Mitchell – è ancora più evidente nella ricerca e nello sviluppo dei sistemi AI . Mentre Data Feminism affrontava il ruolo degli interessi aziendali nel determinare l’orientamento degli sforzi per creare i dati e i programmi di ricerca, non eravamo ancora costrette a confrontarci con la quasi totale appropriazione della ricerca sull’AI e del suo impiego da parte delle aziende, che si è verificata in seguito . In questo contesto, è evidente come esaminare il potere nell’ambito dell’AI debba tenere in considerazione anche il potere economico e dei sistemi capitalistici che facilitano l’estrazione, l’aggregazione e la concentrazione delle risorse finanziarie.
Il capitalismo che opera negli USA, epicentro dell’attuale ricerca aziendale sull’AI, è stato chiamato capitalismo della sorveglianza , capitalismo oligarchico e persino neofeudalesimo . Osservando retrospettivamente, possiamo anche vedere il suo potere emergere nel capitalismo razziale descritto da Cedric Robinson e altr*. Questo concetto si riferisce alla convinzione per cui lo sfruttamento razzializzato sia andato di pari passo con l’accumulazione capitalista; anzi, che i mercati dipendano dalla produzione di gerarchie sociali per le quali alcuni gruppi possono possedere, accumulare e prosperare, mentre altri sono esclusi, sfruttati e destinati a una morte prematura. Il capitalismo razziale è anche sempre un capitalismo di genere, come hanno dimostrato i lavori di Angela Davis , Silvia Federici , Verónica Gago e altre femministe marxiste. Si tratta di sistemi in cui le differenze salariali, le leggi sulla proprietà, le norme di genere, le strutture del debito e la mancanza di diritti riproduttivi agiscono per far sì che le donne e le soggettività genderqueer restino a livello globale una classe economicamente subalterna, con ulteriori ripercussioni per coloro che sono anche persone nere o razzializzate. In breve, il capitalismo si basa sulla preservazione di un potere disuguale; sull’imposizione delle gerarchie razziali, di genere e di altre gerarchie sociali che consentono l’estrazione del lavoro – e quindi del valore – dalla maggioranza per il profitto della minoranza . Queste dinamiche sono chiaramente visibili nell’attuale panorama dell’AI, in cui in modo simile, i programmi di ricerca sono stabiliti da poche persone. Non sorprende, quindi, che il loro obiettivo sia massimizzare il profitto aziendale e preservare (o addirittura aumentare) il potere sociale e politico che lo rende possibile.
Studi recenti hanno anche attirato l’attenzione sulle dinamiche coloniali che caratterizzano la ricerca sull’AI . Questo è evidente nell’esternalizzazione di lavori di data-labeling, spesso mal retribuiti e psicologicamente dannosi, a persone economicamente vulnerabili del sud globale, un tema che esploreremo più approfonditamente nel Principio 7 dedicato al lavoro. In questo momento ci limitiamo a sottolineare come queste dinamiche capitaliste e colonialiste generino delle cosiddette “esternalità”: ovvero effetti che non vengono considerati nei modelli di profitto aziendale. Tra questi ci sono gravi impatti ambientali, l’erosione della qualità del lavoro, la maggiore sorveglianza delle persone che lavorano, una serie di violazioni dei diritti civili, evidenti discriminazioni e persino la morte, come stiamo osservando proprio ora a Gaza (e come osserveremo nel Principio 6, relativo al contesto). Da una prospettiva più ampia, quando il profitto è il principale motore della ricerca, ci troviamo in un mondo in cui le questioni di guerra, colonialismo, razzismo e sessismo rimangono irrisolte, poiché queste “esternalità” non contribuiscono alla linea aziendale.
La Library of Missing Datasets dell’artista Mimi Ọnụọha evidenzia proprio questo. Per Ọnụọha, i dataset mancanti servono come «indizi culturali e sociali di ciò che è considerato importante» e di ciò che non lo è. Quando le aziende operano senza restrizioni o regolamenti, determinano su quali problemi (o gruppi di persone) valga la pena raccogliere dati e quali problemi (o persone) possano essere ignorati. Gli interessi degli azionisti e l’interesse pubblico raramente sono allineati. Le scelte aziendali determinano quali linee di ricerca possono essere poste, quale analisi può essere intrapresa, quali modelli possono essere addestrati e a quali utenti saranno forniti poi tali modelli. Abbiamo assistito molto chiaramente a questo fenomeno con i LLM, riguardo ai quali ricercator* come Emily Bender, Timnit Gebru, Angelina McMillan-Major e Margaret Mitchell hanno reso evidente quanto i dataset dei modelli fossero lontani dall’essere rappresentativi, anche se la loro dimensione era notevole . Ricerche successive hanno registrato pregiudizi più specifici nei confronti delle donne , delle persone musulmane , delle minoranze razziali ed etniche , di determinati ruoli sociali , e altro ancora.
A peggiorare la situazione c’è il fatto che questi modelli continuano ad essere sia presentati che utilizzati come «Foundation Dataset», suggerendo che essi servano da base stabile su cui costruire ricerche affidabili. Fino a quando questa concezione errata non verrà corretta, e probabilmente per sempre, è necessario insistere su una valutazione preventiva, accompagnata da un’analisi intersezionale del potere, punto di partenza fondamentale. Questo è in linea con il Blueprint for an AI Bill of Rights dell’Ufficio per le Politiche Scientifiche e Tecnologiche degli Stati Uniti e con il più recente Decreto Esecutivo della Casa Bianca sull’AI, che richiede «valutazioni rigorose, affidabili, ripetibili e standardizzate dei sistemi di AI, così come politiche, istituzioni e, se necessario, altri meccanismi per testare, comprendere e mitigare i rischi derivanti da questi sistemi prima che vengano utilizzati» (enfasi nostra) .
Queste valutazioni sono necessarie sia per l’AI generativa che per quella predittiva. In termini di AI predittiva, nel settore immobiliare, per esempio, abbiamo osservato che i “servizi” automatizzati di screening degli inquilini si basano sui registri degli sfratti, degli arresti e dei credit score per valutare l* inquilin* in base alla loro presunta capacità di pagare l’affitto. Questi registri sono di bassa qualità a causa delle modalità non standardizzate in cui vengono pubblicati e in cui vengono estratti i dati, nonché per la natura altamente razzista del settore immobiliare negli Stati Uniti . Fare affidamento su di essi colpisce in modo sproporzionato le persone razzializzate e promuove sistematicamente le oppressioni strutturali, invece di ridurle.
In questo punto si manifesta anche la convergenza tra le critiche femministe e anticapitaliste al potere, che evidenziano le cause sociali e storiche alla base dei bias di certe fonti di dati nei confronti di specifiche soggettività, così come le cause economiche che causano l’esistenza di sistemi oppressivi ed estrattivi. In altre parole: un approccio femminista nell’analizzare il potere nell’AI deve «porre l’altra domanda», come spiega la teorica critica della razza Mari Matsuda, «cercando sia le relazioni di dominazione evidenti che quelle non evidenti», e permettendoci di «osservare come nessuna forma di subordinazione esista mai in modo isolato» . Nel caso del settore immobiliare, sono sia il potere che il profitto a determinare l’asimmetria informatica tra i proprietari, che possono sapere quasi tutto sull* loro inquilin* perché hanno molti più dati e AI dalla loro parte, e l* inquilin*, che possono conoscere davvero molto poco sull* loro proprietar*. L* inquilin* non possiedono i dati o gli strumenti per verificare, per esempio, la storia di sfratti ingiusti dell* loro padron*di casa, o di scarsa manutenzione delle loro proprietà. In breve, non hanno gli strumenti che permettano loro di costruire potere. Un approccio femminista e anticapitalista all’AI deve concentrarsi sulla progettazione di sistemi al servizio del potere dell* inquilin*, e al servizio di tutt* coloro che sono esclus* dall’attuale schema “ricchezza-genera-ricchezza” della ricerca e dello sviluppo delle AI aziendali.
4.2. Principio 2: Sfidare il potere
Il femminismo dei dati si impegna a sfidare il potere e a lavorare per la giustizia.
Il secondo principio del femminismo dei dati consiste nel mettere in discussione gli squilibri di potere che agiscono nel mondo. In Data Feminism abbiamo proposto diversi metodi per affrontare la questione del potere nei dataset e nei data project, nonché per utilizzare la data science per confrontarci direttamente con le aziende e le istituzioni governative. Tra questi si possono trovare: la raccolta di contro-dati, l’analisi di dati di ogni tipo con una prospettiva orientata alla giustizia, l’immaginare modi alternativi di fare data science e didattica, per gettare le basi che permettano ad altr* di proseguire questo lavoro attraverso iniziative di alfabetizzazione sui dati e sulla statistica. Molte di queste strategie restano valide anche per l’AI. Dobbiamo rispondere alle richieste politiche e raccogliere dati mancanti che riguardano le persone sottorappresentate e le questioni poco studiate. Abbiamo anche bisogno di ulteriori modi di progettare modelli e interpretare i loro risultati in modo che possano alimentare processi di giustizia. È fondamentale fornire un’educazione olistica all’AI , che integri preoccupazioni sociali ed etiche con una solida prospettiva storica anche perché – cosa fondamentale che ci insegnano storic* e altri studios* delle scienze umane – possiamo smettere di diplomare studenti di informatica troppo sicur* di sé ma impreparat* rispetto alle complessità del mondo reale. Abbiamo bisogno di leggi e politiche solide per limitare il potere delle aziende. Infine, abbiamo bisogno di modi più creativi, partecipativi e democratici per immaginare utilizzi alternativi dell’AI, e di creare possibilità di rifiutare l’uso dell’AI, se lo si desidera o lo si ritiene necessario. Sono già in atto pratiche che mettono in discussione il potere delle intelligenze artificiali, relative a ciascuno di questi esempi.
In Nuova Zelanda, per esempio, un gruppo di ricerca guidato da persone indigene sta addestrando un sistema di riconoscimento vocale basato sul machine learning per supportare la rivitalizzazione del Te Reo Maori, la lingua parlata dal popolo Maori . Nel frattempo, l* ricercator* di LLM stanno lavorando per creare dataset esplicitamente multilingue e modelli per lingue a bassa disponibilità di risorse . Naturalmente, una maggiore raccolta di dati non è sempre la “soluzione” ai problemi di disparità. In molti casi, la raccolta di dati supplementari può portare a danni evidenti. Questo è il “paradosso dell'esposizione” di cui parliamo in Data Feminism, «il doppio legame che mette in pericolo coloro che, pur potendo trarre un significativo vantaggio dall’essere conteggiati, sono al contempo esposti ai rischi derivanti da quello stesso atto di conteggio (o classificazione)» (p 105). Per questo motivo, mentre riconosciamo il valore di questi esempi specifici, dobbiamo anche ricordarci di chiederci prima di iniziare qualsiasi nuovo progetto se un intervento tecnico sia appropriato, e se noi, assieme alle comunità alle quali prestiamo servizio, abbiamo preso in considerazione anche la gamma dei possibili danni . Dobbiamo anche continuare a prevedere progetti che impiegano l’AI al servizio della giustizia, come la generazione di Alt text per le immagini per migliorare l’accessibilità visiva, quando assenti . Al momento, tuttavia, ci sono troppo pochi esempi di studi AI orientati alla giustizia. Come abbiamo osservato, ciò può essere dovuto al fatto che i requisiti di dati per le LLM e altri modelli generativi di AI sono così vasti da non poter tener conto degli approcci small-data . Potrebbe anche essere dovuto al fatto che questi modelli devono essere addestrati su dati che provengono dal passato, e il passato è pieno di disuguaglianze strutturali che i modelli apprendono . Questi modelli, infatti, tendono a generare output che si concentrano sulla parte centrale della distribuzione di probabilità, trascurando le opzioni meno probabili. Al contrario, le femministe sostengono che gli “outlier” (cioè gli elementi marginali) – sia nel linguaggio che nella vita – ci offrono informazioni molto più significative rispetto ai dati che si trovano al centro della distribuzione . Questa combinazione di “caratteristiche” dimostra che sia l’AI predittiva che quella generativa sono macchine dello status quo, e che sono veramente eccellenti nel riprodurre le condizioni esistenti e nel plasmare il futuro a immagine del passato razzista, sessista, abilista, transfobico. Da un altro punto di vista, tuttavia, la base probabilistica di questi modelli può essere sfruttata per sfidare e riequilibrare il potere. Come Wendy Kui Hyong Chun spiega utilizzando l’esempio dei modelli sul cambiamento climatico, questi modelli «ci offrono il futuro più probabile, considerate le azioni passate e attuali, non perché accettiamo le loro previsioni come inevitabili, ma piuttosto per usarle per contribuire a cambiare il futuro» (enfasi nostra) . Seguendo il pensiero di Chun, potremmo trattare l’output parziale dei modelli linguistici di grandi dimensioni (LLM) non come una verità assoluta, ma come una motivazione per intervenire affinché questi pregiudizi non vengano più sperimentati nel mondo? È anche possibile utilizzare sia l’intelligenza artificiale generativa che predittiva per speculare in senso afrofuturista, per contribuire a immaginare un futuro ultraterreno o alternativo. Per esempio, il lavoro condotto da Wonyoung So impiega algoritmi riparativi per valutare quali possibili interventi potrebbero essere più efficaci per colmare il divario di ricchezza tra famiglie bianche e nere negli Stati Uniti; un esempio di come l’AI può lavorare per rettificare uno status quo ingiusto.
Allo stesso tempo, l’entità e la portata dell’acquisizione aziendale dell’AI richiedono anche un impegno volto a una visione e un’azione collettiva. Si stanno portando avanti lavori preziosi sui “data trust” come alternativa ai tradizionali archivi di dati, come ad esempio il Worker Info Exchange, che raccoglie dati dall* lavorator* delle piattaforme di ride sharing, affinché essi possano porre domande sull* loro dator* di lavoro . Nel campo degli LLM, possiamo guardare al modello BLOOM, un tentativo di addestrare un modello linguistico di grandi dimensioni completamente documentato in modo aperto e collaborativo . L* ricercator* stanno anche prendendo in considerazione la formazione di reti di ricerca indipendenti per fare pressione al fine di accedere ai dati delle Big Tech di cui hanno bisogno per svolgere il loro lavoro . E l* lavorator*, i cui mezzi di sussistenza sono minacciati dall'AI, si stanno rivolgendo ai sindacati e si stanno mobilitando per difendere le condizioni di cui hanno bisogno per emanciparsi .
Queste iniziative che avvengono al livello della società civile devono essere accompagnate da regolamenti e politiche governative. L’AI Act dell'Unione Europea, se implementato con rigore, si preannuncia essere uno strumento potente per limitare l’invasione delle Big Tech nella vita privata, così come l’Executive Order sull’AI degli Stati Uniti, finché sarà in vigore. Alcuni Paesi, come il Canada e la Danimarca , sono andati oltre, integrando esplicitamente politiche femministe e anti-oppressive nei loro governi. Naturalmente, continueremo sempre ad avere bisogno di forme di resistenza basate sulla cura, sulla comunità, sulla solidarietà e sul mutuo aiuto; nulla di meno che un riconoscimento della nostra umanità condivisa, che il capitalismo vorrebbe farci dimenticare. Se intendiamo opporci alla completa appropriazione dell’AI da parte delle forze capitaliste, dobbiamo tornare a rivolgerci a questi modelli profondamente umani e anticapitalisti, prendendoli come nostri punti di riferimento.
4.3. Principio 3: Ripensare i binarismi e le gerarchie
Il femminismo dei dati ci chiede di sfidare il binarismo di genere, insieme ad altri sistemi di conteggio e classificazione che perpetuano l’oppressione.
Il terzo principio del femminismo dei dati deriva dal falso binarismo che la cultura occidentale ha istituito tra la categoria di “uomo” e la categoria di “donna”. Ci sono più di due generi, naturalmente, e un impegno fondamentale del pensiero femminista è quello per la parità di tutti i generi. Inoltre, i binarismi spesso nascondono le gerarchie, e quello di genere ne è un chiaro esempio. Esso nasconde una gerarchia patriarcale in cui gli uomini cisgender sono al vertice, dominano le istituzioni sociali, dai consigli aziendali alle posizioni di leadership governative; donne, trans e persone genderqueer sono intenzionalmente mantenute in posizioni subalterne e non c'è nessuno spazio intermedio. È sufficiente osservare l’equilibrio di genere distorto dei firmatari della lettera AI pause, quelli invitati a testimoniare davanti al Congresso degli Stati Uniti sull’AI, o il posizionamento di Larry Summers – noto per i suoi commenti sprezzanti su donne e scienza – a capo del nuovo consiglio di OpenAI, per riconoscere i problemi evidenti di inclusione nell’ambito dell’AI. Ma le questioni legate al binarismo di genere e alla gerarchia che esso perpetua vanno molto più in profondità, arrivando a influenzare la stessa formazione del campo della ricerca sull’AI.
L’ambito della data science, il focus di Data Feminism, non è mai stato esempio di inclusività. Tuttavia, la portata e l’intensità del dibattito sul potere e sui rischi dei dati hanno portato a un cambiamento – se non a una completa ricalibrazione – dell’inclusività nel settore. In meno di un decennio, l’Harvey Mudd College, sotto la guida della presidente Maria Klawe, ha aumentato la percentuale di donne laureate in informatica di più del 50%, dimostrando che i professori di informatica e le amministrazioni che si lamentano del “problema della pipeline” non hanno alcuna giustificazione valida . Non è però un caso se, mentre i campi più ampi della data science e dell’informatica sono diventati più inclusivi, un sottoinsieme di ricercatori provenienti da questi stessi ambiti ha iniziato a distaccarsi per rimodellare il campo dell’AI. Il fatto che questo gruppo sia composto prevalentemente da individui WEIRD – occidentali, istruiti, industrializzati, ricchi e (presumibilmente) democratici – e fortemente dominato da uomini cisgender bianchi, ci appare come l’ennesima reiterazione di una tendenza comune nei campi tecnici: l’emergere di nuovi meccanismi di esclusione per garantire che coloro al vertice possano mantenere il loro status di élite nel settore.
Questo movimento di potere si palesa anche a livello concettuale: le persone che utilizzano le AI sono incoraggiate a credere che le capacità della tecnologia siano magiche e misteriose, e quindi impossibili da comprendere per qualsiasi individuo normale. Anche questo ha un antecedente storico dato che le menti che hanno sviluppato i software sono state considerate “magiche” e “stregonesche”, in un modo che scoraggiava e faceva apparire inaccessibile l’acquisizione di competenze tecniche a chi era privo di accesso a percorsi di formazione. . Questo ha anche uno scopo strategico: fa sì che gli utenti credano di non poter mettere in discussione o avanzare richieste riguardo a questi strumenti; fa sembrare all* ricercator* estern* illegittimo chiedere documentazione o analizzare i meccanismi interni; convince i legislatori di non avere le competenze necessarie per sviluppare politiche o normative adeguate per regolamentare l’AI. Rischiamo di ripetere questo schema ogni volta che accettiamo acriticamente il linguaggio delle “proprietà emergenti” dell’AI e l’agiografia dei presunti fondatori del campo, come riportato in un articolo del New York Times del 2023 che celebrava esclusivamente uomini, perlopiù ultraricchi e bianchi . Ecco perché l’inclusione evocata dallo slogan dell’Algorithmic Justice League è così cruciale in questo momento: «Se hai un volto, hai diritto a partecipare alla conversazione» .
È anche importante riconoscere i modi in cui il binarismo di genere è stato operazionalizzato e addirittura utilizzato come arma nella ricerca sull’AI. Oltre alle numerose prove dei pregiudizi di genere contro le donne cis, le persone transgender e non binarie, che sono radicati nei LLM, sembra che i ricercatori di AI abbiano una comprensione obsoleta del genere stesso . Questa mancanza di comprensione del genere porta a una progettazione e applicazione della ricerca inaccurata (nel migliore dei casi) e dannosa (nel peggiore dei casi). E lo stesso vale per il sesso . C'è una quasi universale incapacità di comprendere che né il sesso, né il genere sono proprietà essenziali, “naturali” o fisse, e che non possono essere “rilevati” con certezza. Si potrebbe estendere questo problema di genere ad altri progetti che cercano di identificare, misurare o quantificare in altro modo aspetti complessi della differenza sociale e fisica. Dall’intera industria che si sta costituendo attorno alle “Emotion AI”, che cercano di misurare le emozioni nelle immagini e nei video in tempo reale, ai servizi di screening che pretendono di valutare l’occupabilità lavorativa, fino a ciò che è stato definito neofrenologia: un tentativo di misurare qualità ineffabili come l’intelligenza o la potenzialità criminale tramite algoritmi . In questi casi e in qualsiasi nuovo utilizzo proposto, dobbiamo chiederci se stiamo rafforzando i binarismi di genere, le gerarchie patriarcali, gli stereotipi paternalistici e, in tal caso, riflettere su come modellare diversamente il genere, come costruire strumenti per la sicurezza di genere e come creare un mondo in cui le tecnologie smettano di cancellare e danneggiare le persone trans e non binarie.
4.4. Principio 4: Dare importanza all’emozione e all’embodiment
Il femminismo dei dati ci insegna a valorizzare molteplici forme di conoscenza, inclusa quella che proviene dalle persone in quanto corpi viventi e senzienti.
Dare importanza all’emozione e all’embodiment in relazione ai dati si collega al principio precedente, perché l’emozione è spesso vista in opposizione binaria alla ragione, come un elemento “femminilizzato” che dovrebbe essere esiliato dalla ricerca scientifica perché soggettivo e non oggettivo; “soft” (stereotipo femminile) invece di “hard” (stereotipo maschile). Se consideriamo una critica delle gerarchie nascoste possiamo tornare al binarismo tra ragione ed emozione e riconoscere 1) come si tratti di una dicotomia falsa, e non esista una scienza puramente razionale ; e 2) come questa dicotomia nasconda una gerarchia in cui l’emozione, l’embodiment, l’esperienza vissuta e altri modi di conoscenza femminilizzati sono relegati a forme di conoscenza di status inferiore. Il femminismo ci fornisce gli strumenti per mettere in discussione questo falso binarismo. Il concetto di conoscenza situata della filosofa femminista Donna Haraway – l’idea che la conoscenza abbia origine in uno specifico momento, in un determinato luogo e da un insieme determinato di contesti sociali e politici – ci aiuta a riconoscere come tutta la conoscenza, compresa quella scientifica, sia modellata in base alle prospettive delle persone che la producono . Più recentemente, la teorica femminista nera Katherine McKittrick ha sottolineato come esistano molteplici sistemi di creazione della conoscenza e come questi debbano essere intesi come luoghi di “prassi collaborativa” in sé, e come relazionali l’uno rispetto all’altro . Una conoscenza più approfondita dei sistemi di conoscenza multipla migliora in modo sostanziale, e non riduce, la nostra conoscenza collettiva.
Questa oggettività femminista è rilevante per la ricerca sull’AI in svariati modi, non da ultimo per come si è svolto il dibattito sui rischi e i danni legati all’AI nell'ultimo anno. Da un lato, abbiamo visto coloro che occupano posizioni di potere (che, non a caso, rappresentano gruppi sociali dominanti) lanciare l’allarme su futuri danni ipotetici, come il rischio che i robot AI sviluppino armi nucleari e altre questioni relative all’“allineamento" morale”. Dall’altro lato, ricercator* di intelligenza artificiale con pari competenze tecniche, arricchit* da un “empirismo dell'esperienza vissuta” come donne (cis e trans), persone queer e/o persone razzializzate, hanno richiamato l’attenzione sui danni che i sistemi di AI stanno già causando in questo momento . Com’è noto, la dott.ssa Joy Buolamwini, una scienziata informatica nera, ha intrapreso un “audit evocativo” e ha utilizzato l’esempio del suo stesso volto per dimostrare la scarsa precisione dei software di riconoscimento facciale. Successivamente, ha collegato tale evidenza ai danni più ampi che scaturiscono dal fatto che questi software imprecisi sono stati (e continuano a essere) utilizzati nei dipartimenti di polizia, che sono già intrinsecamente legati al razzismo strutturale . Diverse ricerche hanno anche documentato la misoginia e il razzismo, nonché casi di stupro e pornografia, in dataset multimodali come LAION; in seguito, LAION ha ritirato i suoi dataset dalla circolazione . È importante osservare che questa ricerca è stata inizialmente condotta da team di ricerca guidati da donne nere, che hanno portato la loro esperienza personale con questi dataset nella loro ricerca. Tuttavia, solo quando questa ricerca è stata replicata da ricercatori bianchi a Stanford il team dietro LAION ne ha preso atto. Purtroppo, si tratta di un iter ricorrente nella ricerca sull’AI, in cui l’esperienza incarnata delle donne nere nella ricerca viene ignorata, per poi essere legittimata da persone provenienti dai gruppi dominanti, spesso dopo anni .
Il punto non è solamente che l’intera gamma dell’esperienza umana dovrebbe essere incorporata nelle valutazioni dei danni causati dall’AI. Un altro dualismo che deve essere messo in discussione riguarda la nostra idea che il lavoro con i dati e l’AI possa solo servire ad aumentare l’efficienza, l’automazione e il controllo. Ricerche recenti che descrivono le pratiche sui dati dell* attivist* contro il femminicidio hanno mostrato come la produzione di dati possa diventare uno strumento di intimità, relazionalità, cura e lavoro sulla memoria . La studiosa e attivista Helena Súarez Val ha descritto questi lavori come «amplificatori affettivi» che traducono il lutto e la rabbia femminista in azione pubblica . Questa forma di lavoro collettivo, impegnato nella comunità e intenzionalmente carico di emozioni, può anche ricordarci della nostra interdipendenza, un concetto chiave negli studi sulla disabilità che sottolinea come «dipendiamo gli uni dagli altri, e le nostre azioni possono avere conseguenze sugli altri» . Man mano che andiamo avanti, dobbiamo continuare a considerare come creare sistemi di AI che si concentrano sul «praticare alleanze» creano «reti di cura e comunità», e sono progettati per il «non adattamento» . I passi in questo senso si stanno concretizzando nelle interazioni uman*-macchine in discussioni sul trauma-informed computing, sugli healing database e sulla data science trasformativa/riparativa, e dovrebbero essere estesi alla ricerca sulle AI.
4.5. Principio 5: Accogliere il pluralismo
Il femminismo dei dati insiste sul fatto che la conoscenza più completa deriva dalla sintesi di molteplici prospettive, dando priorità alle modalità di apprendimento locali, indigene ed esperienziali.
Il principio che si basa sull’accogliere il pluralismo nasce da quello precedente, che pone in rilievo le forme alternative di conoscenza. In questo punto ci concentriamo su come si potrebbero rappresentare prospettive multiple nel nostro lavoro. È determinante affermare che “prospettive multiple” non significa semplicemente opinioni multiple. Basandosi sul lavoro di Sandra Harding e, più recentemente, della Design Justice Network, l’espressione «multiple perspectives» è diventata un faro per la vasta gamma di esperienze, posizioni sociali e luoghi da cui le persone producono conoscenza. La premessa centrale per accogliere il pluralismo è che possiamo ottenere una conoscenza veritiera solo se teniamo insieme queste prospettive, prestando particolare attenzione a quelle di coloro che sono più direttamente interessat* dalle varie questioni che prendiamo in esame. La promozione del pluralismo è molto importante per la ricerca sull’AI, sia a causa della ristretta composizione demografica dell*stess* ricercator* (vedi Principio 3, sui binarismi e le gerarchie), sia a causa dello squilibrio di potere tra coloro che attualmente progettano sistemi di AI e chi è soggetti* alle loro decisioni (vedere principi 1 e 2, sul potere). In parole povere: il settore dell’AI ha bisogno di sviluppare metodi più partecipativi, più responsabili e più modesti per entrare in dialogo con le comunità interessate. Catherine D’Ignazio ha avuto l’opportunità di impararlo in prima persona, in un progetto di co-progettazione di strumenti AI in collaborazione con attivist* del data feminism in giro per l’America.
Insieme, hanno deciso di sviluppare un classificatore di machine learning per rilevare notizie sul femminicidio, una violazione sistematica dei diritti umani che coinvolge gli omicidi di donne e ragazze legati al genere. Lo strumento era destinato a semplificare il lavoro dell* attivist*. Quest* però si sono opposte alla piena automazione del processo per due ragioni: (1) l’impossibilità di individuare una definizione di femminicidio generalmente accettata, e (2) per il fatto che concepivano il loro lavoro come una forma di giustizia della memoria: un modo per onorare le vite delle donne uccise affinché non venissero dimenticate. Il risultato è stato uno strumento che ha visto un notevole utilizzo da parte di gruppi di monitoraggio dei diritti umani in tutto il mondo. Tutto il contrario rispetto ai numerosi strumenti di ML/AI creati senza consultazione, che non hanno utenti, né vengono realmente utilizzati.
La volontà di accogliere il pluralismo incontra ostacoli sia in termini di architettura che di accesso quando si passa a modelli più ampi. Gli LLM devono essere pre-addestrati da chi ha accesso sia ai dati che alle risorse di calcolo, e questo crea barriere nella partecipazione nelle fasi iniziali che prima non esistevano. Sebbene la spinta verso modelli open-source (ad esempio BLOOM, OLMo) e modelli più trasparenti (si veda l’Indice di Trasparenza di Stanford) sia sicuramente ben accolta, i requisiti tecnici per l’addestramento di questi modelli rendono molto più difficile coinvolgere nella loro creazione le persone e i piccoli gruppi su cui hanno un impatto. Un esempio recente che suggerisce una via da seguire proviene da un progetto guidato da Maria Antoniak , che ha effettuato un sondaggio tra persone incinte e fornitori di servizi sanitari riguardo le loro idee e paure sulla possibilità di un chatbot assistito da AI che possa aiutare nell’affrontare l’esperienza della gravidanza. Come nel caso del classificatore per il femminicidio, Antoniak e collegh* non hanno costruito il chatbot prima di richiedere i feedback; al contrario, hanno realizzato uno studio che includeva persone con molteplici esperienze, permettendo loro di condividere quei saperi. Il risultato del progetto è stato un insieme di valori, distillati dall* partecipanti stess*, che potrebbero guidare il lavoro futuro. C’è un altro livello in cui potremmo concepire il pluralismo: quello del governo e di quegli organismi democratici che sono stati progettati per servire l’interesse pubblico. Vediamo questa tensione nell’abbracciare il pluralismo nelle idee di public-interest AI e digital public infrastructure . Proprio come le infrastrutture fisiche – strade, parchi, scuole – questi sistemi potrebbero essere concepiti e progettati tramite processi guidati dall’interesse pubblico, seguendo requisiti di trasparenza e governance. Ci sono già state importanti cause legali e processi nei confronti delle aziende e delle tecnologie che sviluppano, ma potremmo anche immaginare la possibilità di processi di progettazione guidati dall* cittadin*, in cui le idee provengono dalle comunità e i progetti sono finanziati (e mantenuti) con i soldi dell* contribuenti.
Nonostante questi esempi di progettazione partecipativa, è importante riconoscere che «la partecipazione non rappresenta una soluzione progettuale per il machine learning», come hanno spiegato Mona Sloane et al. . Alcune delle preoccupazioni da loro sollevate riguardano il fatto che la partecipazione può essere estrattiva, generare tokenismo , essere carente di risorse da parte di ricercator* inespert* riguardo all’investimento richiesto, o incorporata troppo tardi nel processo di progettazione per influenzarne i risultati. Dobbiamo continuare a opporci a quelle che Lorraine Daston chiamerebbe «virtù epistemiche» della ricerca AI/ML, che riflettono quelle del campo più ampio dell'informatica: l’enfasi sulla novità, la generalizzabilità e l’efficienza, che non solo sovradeterminano i tipi di ricerca che vengono supportati, ma sono anche ritenuti implicitamente i migliori . Sebbene molta attenzione sia stata dedicata all’acquisizione della ricerca tecnica da parte delle aziende, è anche vero che esiste una ricezione della ricerca accademica da parte dell’informatica. Noi accademic* abbiamo osservato le tendenze nella composizione delle discipline universitarie e, di conseguenza, nelle assunzioni dell* docenti, che portano a un investimento sproporzionato di risorse nell'informatica e nelle forme di ricerca che essa supporta, a detrimento di tutti gli altri settori.
L’informatica continua a marginalizzare le donne e le persone razzializzate in misura maggiore rispetto agli altri ambiti scientifici. Fallisce sistematicamente nell'insegnare il valore dello sviluppo tecnologico contestualizzato e culturalmente appropriato, e si impegna in fantasie maschiliste riguardo ai modelli fondamentali («un modello per governarli tutti»). L’arroganza specifica di questo campo sembra non conoscere limiti, nonostante emergano ripetutamente danni evidenti. Abbiamo anche osservato come campi come l’HCI e l’informatica sociale attingano a competenze che derivano, per esempio, dall’antropologia, la sociologia e gli studi letterari, mentre i dipartimenti di informatica rifiutano di assumere studios* con dottorati in questi settori per formare l* propri* studenti. Se abbiamo fiducia che la conoscenza migliore, più accurata e più veritiera derivi dalla compresenza di prospettive multiple, allora dobbiamo ristrutturare i processi di ricerca e i modelli di finanziamento in modo da tenerne conto.
4.6. Principio 6: considerare il contesto
Il femminismo dei dati afferma che i dati non sono né neutri né oggettivi. Sono prodotti di relazioni sociali diseguali, e questo contesto è essenziale per condurre un'analisi etica accurata.
Il sesto principio, che consiste nel considerare il contesto, è universalmente applicabile alla ricerca sull’AI e ciononostante (quasi) universalmente ignorato. Questo principio si applica più direttamente alla questione dei dataset, che abbiamo iniziato a discutere in relazione ai modelli linguistici nel principio che analizza il potere. Le ricerche correlate hanno dimostrato come ulteriori decisioni (umane) prese durante il processo di formazione e filtraggio introducano ulteriori bias in questi dataset, per esempio in testi scritti da persone con uno status socioeconomico più elevato e da coloro che occupano ruoli sociali e professionali specifici . Le ricerche hanno esplorato modelli testo-immagine, evidenziando come questi tendano a riprodurre sessismo, razzismo e pregiudizi coloniali . Ciò che apprendiamo dal femminismo è come comprendere i contesti in cui questi dataset sono creati, e più in generale, come riconoscere che tutti i dati sono modellati da relazioni sociali diseguali è essenziale per identificare eventuali pregiudizi o danni potenziali. Inoltre, è necessario garantire che le domande di ricerca siano correttamente formulate, che le prove siano adeguatamente analizzate e che qualsiasi affermazione che potrebbe essere fatta sulla base dell’analisi sia compresa in modo adeguato. Esistono diverse raccomandazioni utili per ristabilire un contesto per i modelli ML in modo più ampio, come ad esempio il suggerimento di Eun Seo Jo e Timnit Gebru di adottare pratiche simili a quelle impiegate dall* archivist* nella conservazione e documentazione dei dataset e la proposta di Mitchell et al. di creare «schede modello per la documentazione dei modelli» quando si rilascia un modello per l’utilizzo pubblico . Sarebbe utile considerare come questi concetti possano essere adattati all’attuale panorama dell’AI/ML, soprattutto considerando che le architetture basate su reti neurali dei modelli di AI generativa rendono difficile per l’utente finale (o chiunque altr*) risalire a quali fonti abbiano contribuito a un determinato output. Ma per fare questo lavoro, dobbiamo mettere in discussione l’attuale stratificazione della pipeline della data science e l’erronea idea per la quale curare, annotare e documentare i dati sia in qualche modo un lavoro non qualificato e che invece l’analisi e la modellazione del flusso di lavoro ne rappresentino la parte “scientifica” . Come sanno bene l* archivist* e altr* lavorator* delle scienze umane, creare un dataset che rappresenti accuratamente il quesito di ricerca in questione deve essere un lavoro lungo, meticoloso e basato su una profonda competenza. Eppure, il mantra dominante delle Big Tech rimane «muoviti in fretta e rompi le cose». Questa fondamentale discrepanza di valore si ricollega alla critica capitalista che ha introdotto questo articolo; fino a quando la produzione e la cura dei dati non verranno considerate come attività preziose, non saremo in grado di supportare adeguatamente questo tipo di competenza umana. Inoltre, i sistemi di AI che sviluppiamo utilizzando dati imprecisi o non accuratamente selezionati rischiano di produrre risultati errati. Questi sono i «cascami di dati» che Sambivasan et al. identificano come causa di gravi problemi qualitativi a monte, che si amplificano lungo il processo .
Un’ultima considerazione relativa ai contesti ha a che fare con il contesto storico e, in particolare, quello in cui si svolge la ricerca sull’AI. Si tratta di una storia scomoda, perché evidenzia la complicità di lunga data tra l'informatica e la ricerca militare negli Stati Uniti. Questa storia risale alla creazione di ARPANET, finanziato dalla DARPA e precursore di Internet , prosegue con la costruzione di OntoNotes, il modello linguistico annotato a mano che sta alla base di molte librerie NLP comuni; anch'esso un progetto finanziato dalla DARPA e con specifici approcci alla modellazione del linguaggio, come il topic modeling, nato dal desiderio del governo di monitorare i messaggi delle agenzie di stampa globali su larga scala . Più di recente, i media hanno richiamato l’attenzione sul ruolo che Amazon ha svolto nell’archiviazione su cloud per l’agenzia statunitense Immigration and Customs Enforcement (ICE) e su come Google abbia sviluppato una tecnologia per rendere più accurate le operazioni con i droni, che poi ha venduto al governo degli Stati Uniti . Questi sviluppi non sono più teorici, poiché sono emerse prove che dimostrano il loro utilizzo da parte di Israele contro la Palestina, con orribili costi umani . Come ci ricordano iniziative come #NoTechForApartheid e pubblicazioni come Logic(s) Magazine , questi contesti disumani, distruttivi e, nel caso della Palestina, genocidari, sono quelli in cui troppe innovazioni tecnologiche vengono impiegate. Noi, come ricercator* di AI, non possiamo più fingere di non sapere che queste sono possibili applicazioni del nostro lavoro.
4.7. Principio 7: Rendere visibile il lavoro
Il lavoro della data science, come tutti i lavori nel mondo, è opera di molte mani. Il femminismo dei dati dà visibilità a questo lavoro in modo che possa essere riconosciuto e valorizzato.
Questo ultimo principio sottolinea l’importanza delle numerose persone il cui impegno rende possibile il lavoro con i dati. In Data Feminism, abbiamo osservato come il lavoro della data science replicasse le gerarchie professionali, con i data scientist qualificati in cima alla piramide, e quell* percepit* come impiegat* in ruoli meno tecnici – come l’annotazione dei dati e la moderazione dei contenuti – in fondo. Abbiamo anche osservato come questa piramide professionale possa essere mappata su gerarchie di genere, razziali e, in ultima analisi, coloniali, con le soggettività del nord globale che occupano i ruoli di alto status e alta retribuzione, e quelle del sud globale che occupano quelli in fondo alla scala sociale.
Poiché l’attuale configurazione della ricerca sull’AI si fonda sulla concentrazione di risorse significative – tecniche, economiche e, soprattutto, umane – questa struttura di tipo coloniale si è consolidata come le fondamenta basilari su cui poggia lo sviluppo dell’AI. Basta guardare al giornalismo investigativo che ha seguito il rilascio iniziale di ChatGPT, che ha mostrato come questa “intelligenza artificiale” dipendesse da lavorator* molto uman* in Kenya che esaminavano in tempo reale le risposte potenzialmente offensive . La posizione di quest* lavorator* non è casuale. Accademic* come Julian Posada hanno affermato che le aziende del nord globale sfruttano l’instabilità politica e capitalizzano sulle catastrofi per arricchirsi; un modello storico noto e consolidato nel tempo . Questo si inserisce in una lunga serie di ricerche (e prove fattuali) che dimostrano come il capitalismo dipenda fondamentalmente dall’estrazione di risorse, e dal pagare il meno possibile per queste risorse, inclusa la manodopera umana, al fine di massimizzare il profitto .
La forza lavoro del nord globale non è esente dall’incursione dell’AI, naturalmente. Negli Stati Uniti, si è assistito alle cause legali da Getty Photography e The New York Times contro le aziende che vendono tecnologie generative di AI. Inoltre, durante l’estate e l’autunno del 2023 sono stati organizzati grandi scioperi da parte della Writers Guild of America e della Screen Actors Guild . Questi scioperi hanno portato a misure di protezione necessarie contro l’uso dell’AI per correggere le sceneggiature e la creazione di sosia di attor* uman*. Accogliamo con favore anche la tendenza più ampia verso l’azione collettiva nel settore tecnologico e, in generale, nei lavori impiegatizi, vedendola come una forza contrapposta all’implacabile individualismo promosso dal capitalismo. L* studenti delle università di ingegneria d'élite negli Stati Uniti stanno iniziando a sindacalizzarsi, unendosi a sindacati storici di istituzioni pubbliche, tra cui il sistema dell’Università della California, il sistema Cal State e la City University di New York. Dobbiamo continuare a lavorare perché questi sforzi per costruire solidarietà travalichino i limiti altrimenti tracciati dalla competenza tecnica. Dopotutto, la storia del colonialismo ci insegna che coloro che si trovano nella parte bassa delle gerarchie del lavoro saranno quelli più colpiti da qualsiasi tentativo di aumentare il profitto o l’efficientamento sul posto di lavoro. Senza solidarietà tra classi, razze, generi e settori lavorativi, il potere capitalistico continuerà ad accumularsi.
Abbiamo fin qui esposto il nostro pensiero su come i sette principi definiti in Data Feminism possano essere applicati alla ricerca sull’AI, ma due temi richiedono ulteriore attenzione: l’impatto ambientale della ricerca e della diffusione dell'AI e le questioni relative al consenso. Riassumiamo qui le nostre riflessioni su ognuno di questi temi.
5.1. Il femminismo dei dati e l’ambiente
Le questioni relative all’impatto ambientale dell’AI derivano per molti versi da come il suo sviluppo e la sua diffusione rafforzano le dinamiche storicamente consolidate del capitalismo e del colonialismo. L’estrazione delle risorse, dopotutto, è tanto una questione di risorse naturali quanto di lavoro umano. È già stato osservato come gli impatti ambientali di questa estrazione di risorse si verifichino in modo iniquo, con persone nel sud globale che vivono gli effetti deleteri del cambiamento climatico in misura molto maggiore rispetto a quelli nel nord globale, anche se contribuiscono molto meno alle emissioni. Google, per esempio, ha utilizzato circa 21 miliardi di litri d’acqua nel 2022, con un aumento del 20% rispetto all'anno precedente . Un centro dati di Meta consuma in media una quantità di elettricità pari a quella di 150.000 abitazioni . Come risulta dalle attuali ricerche sui fabbisogni energetici e idrici delle LLM , l’AI sembra poter aggravare ulteriormente questi effetti. Ancora una volta, questi sistemi sembrano istituiti per portare benefici agli utenti d’élite nel nord globale, facendo pagare il loro costo a quell* del sud globale. Si tratta di una questione ambientale, ma anche femminista, perché questi effetti non sono sperimentati in modo ineguale solo in termini geografici, ma anche in termini di genere. Una prospettiva femminista nei confronti dell’impatto ambientale dell’AI potrebbe attingere da diversi decenni di studi ecofemministi che hanno lavorato per stabilire il collegamento tra i danni ambientali e altre forme di oppressione strutturale. Potrebbe anche fare riferimento al lavoro delle femministe indigene in America latina, per le quali il cuerpo-territorio (corpo-terra) è un sistema interconnesso, e a quello delle femministe indigene nordamericane che in modo simile legano il corpo alla sovranità della terra, mentre lavorano per porre fine alle violenze strutturali contro entrambi .
5.2. Femminismo dei dati e consenso
Anche il consenso è una questione femminista affrontata da anni a causa delle percentuali di stupro e violenza sessuale subiti da donne, persone trans e non binarie in tutto il mondo, che vivono nell’eterocispatriarcato. La maggior parte delle leggi occidentali che trattano lo stupro e la violenza sessuale si basano in qualche forma sul consenso, e ci sono varie formulazioni femministe su cosa questo possa significare, come il popolare modello FRIES del 2016 di Planned Parenthood, dove il consenso è: liberamente dato, reversibile, informato, entusiasta e specifico. Esistono però numerose critiche femministe al concetto di consenso, considerato troppo focalizzato sull’individualità, troppo semplicistico e troppo binario (per esempio perché rafforza gli stereotipi di genere eteronormativi che concepiscono gli uomini come aggressivi e le donne relegate al lavoro di cura, ignorando del tutto le relazioni queer) .
A causa della violenza e dei danni già propagati dai sistemi di AI e della probabilità che questi danni continueranno a crescere, crediamo che possa essere utile formulare un principio femminista per l’AI sul consenso in forme ampliate, cioè consenso queer, collettivo e/o interdipendente.
L’AI sta attualmente facilitando lo sfruttamento di massa non consensuale delle immagini pornografiche di donne sotto forma di deep fake. Come afferma Danielle Citron, questo è coerente con una serie di tecnologie “intelligenti” come le automobili intelligenti, le app per smartphone e altre, che sono state sfruttate dall* aggressor* per controllare e dominare l* loro partner . Inoltre, esistono questioni più ampie riguardanti il consenso, in particolare per quanto riguarda le fonti di dati utilizzate nell’addestramento degli LLM e dei sistemi di AI generativa, come abbiamo visto nel Principio 6. I dati online – inclusi i post sui social media, le foto di famiglia, le opere d'arte originali, i reportage giornalistici e i blog personali – possono essere considerati liberamente utilizzabili per l'inclusione in enormi dataset senza il consenso di chi li crea? In attesa dello sviluppo di linee guida informate per un utilizzo equo, siamo cert* che sia necessario qualcosa di diverso dall’attuale sistema in cui le Big Tech rubano il lavoro delle persone, lo sfruttano, guadagnano denaro e facilitano la violenza strutturale. È già stato fatto un lavoro significativo sul consenso e la tecnologia, come per esempio quello relativo al Consentful Tech Project di Allied Media Projects, e studi su cosa sia il consenso nell’interazione essere umano-computer , che possiamo utilizzare per costruire sistemi più relazionali, inclusivi e liberatori; oltre a rifiutare quelli che non lo sono.
Se è vero che le forze del capitalismo razziale e di genere che stanno attualmente plasmando la ricerca sull'AI sono potenti, è altrettanto vero che sono anche prevedibili. Operano in modi che abbiamo osservato e sperimentato per secoli. Proponiamo questi pensieri sui principi femministi per la ricerca sull’AI con grande speranza, perché sappiamo cosa accadrà se non modificheremo l’attuale corso degli eventi. La prevedibilità del capitalismo in fase avanzata ci offre, per certi versi, un obiettivo facile: se lo status quo non è quello che vogliamo, allora dobbiamo seguire l'invito di Ruha Benjamin a costruire «mondi di cui non si può più fare a meno, proprio come smantelliamo quelli in cui non si può più vivere» .
[Testo originariamente pubblicato in AI & Conflicts. Volume 2, a cura di Daniela Cotimbo, Francesco D'Abbraccio e Andrea Facchetti. Brescia: Krisis Publishing, 2025. Titolo originale: ““Data Feminism for AI”, in FAccT ‘24: Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (2024)]
