Di recente, potenti generatori di immagini basati sul machine learning sono stati resi accessibili a un pubblico ampio, composto da artist*, designer e non addett* ai lavori, innescando vivaci dibattiti sulle nuove estetiche e sulle pratiche creative che ne derivano. Il machine learning consente di creare simulazioni verosimili grazie a modelli statistici addestrati su dataset composti da un’enorme quantità di immagini. I sistemi generativi basati su machine learning hanno guadagnato grande visibilità per le loro potenzialità, poiché rendono possibile la creazione di immagini fotografiche estremamente realistiche a partire da semplici input testuali, senza bisogno di competenze tecniche avanzate. Seppur sia possibile considerare le immagini come il risultato di un’elaborazione di dati o come entità interscambiabili con essi, le implicazioni teoriche di questa visione si collegano a tendenze di lunga durata nella storia della fotografia e della grafica digitale. In questi ambiti, i metodi tecnici di produzione delle immagini sono stati spesso interpretati come osservativi, piuttosto che interpretativi. Tuttavia, è necessario ripensare criticamente le prospettive sui media visivi, poiché i nuovi metodi evidenziano una frattura tra il carattere speculativo implicito nella produzione delle immagini e la loro capacità di trasmettere conoscenza visiva . In questo testo esamineremo delle pratiche interdisciplinari che lavorano con forme di visualizzazione intensive di dati in relazione alle teorie esistenti sulle qualità epistemiche delle tecnologie visive.
L’utilizzo diffuso di modelli generativi per creare immagini ha dato origine a tendenze estetiche particolari, che spesso emulano gli stili di altre forme di media visivi, come la fotografia o la pittura, pur implicando processi e quadri interpretativi significativamente diversi. Questo provoca una discorrelazione tra l’interpretazione percettiva soggettiva umana di un’immagine e i sistemi tecnici altamente automatizzati, che riducono progressivamente l’importanza a essa attribuita. Sebbene i sistemi generativi possano produrre visualizzazioni estremamente accurate basandosi sui dati, le stesse tecniche possono anche essere utilizzate per creare immagini che hanno scarsa connessione con la realtà. Le immagini sintetiche, per esempio, integrano elementi degli approcci osservativi tradizionali alla produzione di immagini con nuovi metodi generativi, producendo rappresentazioni visive la cui accuratezza è spesso difficile da valutare. Non essendo del tutto oggettive dal punto di vista scientifico, ma nemmeno interamente fittizie, le immagini sintetiche dimostrano che il valore epistemico dei media visivi è altamente legato al contesto. Considerando queste problematiche in relazione alle nozioni esistenti di oggettività scientifica nei media visivi, questa analisi propone una prospettiva sulle estetiche data-based, in cui la produzione di immagini viene intesa come mediata dai dati, piuttosto che come rappresentativa rispetto a essi.
Immagini sintetiche
I sistemi generativi di machine learning hanno reso possibile la produzione di immagini sintetiche , ovvero render digitali realistici che possono essere utilizzati come dataset per altri sistemi di ML. Per meglio comprendere questi processi può essere utile considerare tali immagini come il prodotto di una sintesi, piuttosto che il risultato di un apparato di cattura, come avviene per quelle che nei contesti ingegneristici vengono definite immagini reali o naturali. Questa distinzione, però, benché apparentemente immediata, diventa meno chiara di fronte a un esame più approfondito. Vediamo per esempio che la definizione di immagine naturale proposta da Goodfellow, Bengio e Courville si basa sull’uso di una fotocamera: «Un’immagine naturale è un’immagine che potrebbe essere catturata da una fotocamera in un ambiente ragionevolmente ordinario, a differenza di un'immagine sintetica renderizzata, uno screenshot di una pagina web, ecc.» .
Questa definizione, per quanto funzionale, non considera la gamma di sfumature che esistono tra le categorie di immagine naturale e immagine sintetica, soprattutto considerando che la fotografia digitale è ormai la norma e che è sempre più comune che le fotocamere integrino funzionalità basate sull’AI per migliorare le immagini prodotte. La qualità delle immagini catturate da una fotocamera può essere estremamente variabile. Uno screenshot di una pagina web, invece, può fungere da forma accurata di documentazione del suo contenuto visivo. Quello fotografico, ad oggi il paradigma dominante dell'immagine, presuppone anche una particolare forma di referenzialità visiva che non è sempre valida. Le immagini non sono necessariamente rappresentative di oggetti o fenomeni del mondo reale, e nel caso delle immagini rappresentazionali vi sono molti aspetti variabili.
Per approfondire la questione, possiamo trarre spunti dal lavoro di Forensic Architecture, che spesso sfuma i confini tra fatto e finzione. In molti dei loro progetti, il gruppo si propone di generare dati che possano essere utilizzati come una forma di prova legalmente riconosciuta, spesso con l’obiettivo di dimostrare in modo tangibile casi di violazioni dei diritti umani. A proposito delle loro sperimentazioni nella creazione di dati sintetici, Forensic Architecture spiega:
Per addestrare classificatori di machine learning a rilevare un determinato oggetto (“oggetto di interesse”) in un’immagine o in un fotogramma video, di solito è necessario un ampio dataset di immagini dell’oggetto stesso. Tuttavia, le immagini degli oggetti di interesse nel contesto delle violazioni dei diritti umani (ad esempio veicoli militari o armi chimiche) sono spesso rare. Forensic Architecture ha sperimentato metodi per integrare un dataset di immagini reali con ulteriori controparti “sintetiche” .
Da questa affermazione comprendiamo che le immagini sintetiche emergono dalla necessità di acquisire un numero sufficiente di dati per addestrare il riconoscimento di un determinato tipo di oggetto. Va notato che potrebbe anche esserci una relazione reciproca tra immagini reali e sintetiche, con la possibilità che le immagini sintetiche vengano utilizzate al posto di quelle reali. Le figure sopra illustrate dimostrano questa interrelazione: la Figura 1 mostra un carro armato russo preso da Internet, mentre la Figura 2 è un’immagine sintetica della stessa prospettiva del carro armato, generata da Forensic Architecture. Per quanto abbastanza simili nell’aspetto, ci sono sottili indizi visivi, come la risoluzione e il dettaglio, che ci permettono di stabilire che una è più probabilmente una fotografia reale, mentre l’altra è stata generata artificialmente. Ciononostante, è facile immaginare situazioni in cui due immagini di questo tipo potrebbero non essere distinguibili. La Figura 2, infatti, rappresenta un esempio di dati generati piuttosto che raccolti; persistono tuttavia numerosi dubbi sulle caratteristiche che distinguono queste due categorie, soprattutto considerando che le immagini reperite su Internet spesso presentano un valore di verità incerto.
Mentre le immagini possono, di fatto, essere utilizzate come dati, per esempio per addestrare un modello a generare altre immagini, gli aspetti relazionali delle immagini sintetiche potrebbero rendere la distinzione tra immagini reali e sintetiche semplicemente posizionale all’interno di un determinato contesto, piuttosto che radicata nelle qualità intrinseche delle immagini stesse. Le immagini sintetiche potrebbero così sovvertire le forme di oggettività tradizionalmente associate al realismo visivo dei media ottici. È ormai possibile generare immagini realistiche di praticamente qualsiasi soggetto. Un caso celebre ha visto alcun* ricercator* dimostrare di poter creare immagini fotografiche estremamente credibili di persone che, in realtà, non esistono . In questi casi, si tratta di veri e propri simulacri, che Jean Baudrillard definisce come copie senza originali. Secondo Baudrillard, con i simulacri, la simulazione «non è più quella di un territorio, di un essere referenziale o una sostanza. È piuttosto la generazione di modelli di un reale senza origine o realtà: un iperreale» .
Nelle immagini generate, o in questo caso, nei volti sintetici, ogni istanza è una copia prodotta da un modello del volto umano. Tuttavia, nessun volto è concepito come una rappresentazione diretta di una persona realmente esistente. Un altro gruppo di ricercatori ha dimostrato che la situazione è più complessa di quanto apparisse inizialmente: nell’articolo intitolato This Face Does Not Exist… But It Might Be Yours! l* autor* evidenziano come lo stesso sistema possa riprodurre somiglianze di persone reali a partire dai dataset. Questo rende difficile definire cosa rappresenti un’immagine generata: da un lato, manca un referente specifico nel mondo reale, dall’altro, si apre la possibilità che il sistema replichi con grande precisione i modelli presenti nei dati di origine.
Gli strumenti di machine learning possono essere utilizzati in contesti scientifici per creare immagini estremamente accurate, e in alcuni casi questo implica processi di visualizzazione del non-visibile o dell’invisivo . La relazione tra gli aspetti visivi e processuali delle immagini è stata ampiamente discussa in relazione al concetto di “immagine operazionale”, un termine coniato da Harun Farocki per descrivere un tipo di immagine definita dalla sua esecuzione di un’operazione spaziale, piuttosto che dalle sue qualità visuali, come avviene nelle prospettive tradizionali di creazione delle immagini.
Un caso interessante è quello rappresentato dalle immagini dei buchi neri prodotte dall’Event Horizon Telescope . Qui la visualizzazione viene realizzata a partire da frequenze radio: il fenomeno originale è di natura non visiva, questo implica che il confronto con il referente non può avvenire attraverso una corrispondenza visiva diretta, ma esclusivamente tramite misurazioni computazionali. In Cloud Studies, un altro progetto di Forensic Architecture , vengono prodotte visualizzazioni di fenomeni nuvolosi, che sono estremamente effimeri e, di nuovo, spesso non visivi. Applicando tecniche di data visualization su dati raccolti in merito a inquinanti o armi chimiche, si è riuscit* a far emergere vari fenomeni ambientali e a creare prove di attacchi criminali che altrimenti sarebbero stati impossibili da rintracciare. Un’altra area in crescita in cui il ML ha applicazioni molto promettenti è l’analisi delle immagini e l’imaging medico, ambiti in cui può essere utilizzato per aiutare a rilevare o addirittura prevedere il cancro, o per assistere durante gli interventi chirurgici.
Fig. 3 - PR Image eso1907a. Prima immagine di un buco nero. Fonte: www.eso.org
Ma, sebbene in alcuni casi il machine learning sia in grado di creare immagini scientifiche molto accurate, un aspetto ampiamente discusso del suo funzionamento è che può anche essere soggetto a gravi problemi di imprecisione e conseguenze di bias. Questo è stato evidenziato in particolare da ricercator* come Joy Buolamwini, Timnit Gebru, Angelina McMillian-Major e Margaret Mitchell , che hanno sottolineato la sua tendenza a rinforzare ulteriormente le disuguaglianze già esistenti, commettendo errori profondamente legati a questioni di genere, razzismo, omofobia e classismo. Oltre ai problemi relativi al design, all’applicazione e alla gestione dei sistemi ML, esiste anche un aspetto interpretativo che riguarda il modo in cui valutiamo i loro risultati. Per esempio, quando applicati a contesti come l’arte e il design, i risultati visivi sono soggetti a griglie analitiche, interpretative e valutative differenti rispetto a quelle utilizzate nella ricerca tecnica e scientifica. L’interrelazione tra arte e metodi, apparati ed estetiche tecnoscientifiche mette in crisi le aspettative su ciò che questi risultati rappresentano. Nel caso di artisti che si appropriano o prendono in prestito tecniche scientifiche, i risultati vengono riformulati in una nuova relazione con il mondo, non più governata dagli stessi principi che regolano l’ambito scientifico.
La visione scientifica del mondo è stata normalizzata al punto da essere considerata scontata, addirittura neutrale. Le opere d’arte possono essere realizzate utilizzando metodi tecnici e scientifici, ma ciò che esse rappresentano va oltre la conoscenza scientifica. Si tratta di un’esperienza estetica che sfrutta il linguaggio dell’imaging scientifico per comunicare significati diversi. Di conseguenza, emerge la necessità di sviluppare metodi, criteri e framework concettuali – come quelli propri della storia dell’arte e della critica – che ci consentano di esplorare e comprendere i casi in cui arte, scienza e tecnologia si intrecciano strettamente.
Dan McQuillan propone la teoria del punto di vista come possibile via di uscita da quella che lui definisce la necropolitica dell’AI, affermando che «la teoria del punto di vista suggerisce la possibilità di modi alternativi di conoscenza, radicati nell’esperienza vissuta delle persone marginalizzate o minoritarie. È, prima di tutto, una sfida all’aura di oggettività assoluta che pone i metodi scientifici al di sopra degli altri modi di conoscenza» . Le pratiche artistiche esplorano proprio i modi alternativi di conoscenza che McQuillan descrive, e credo che esplorazioni critiche delle immagini sintetiche possano aiutare a sviluppare nuovi quadri concettuali in grado di coglierle pienamente.
Un esempio interessante è la serie Material Speculation di Moreshin Allahyari (Figura 4) , in cui l’artista ha stampato in 3D i modelli di beni culturali distrutti dall’ISIS. Utilizzando la documentazione relativa a opere d’arte che non esistono più materialmente, la memoria culturale di questi artefatti viene rivitalizzata attraverso la reinterpretazione di fatti noti e dati concreti, come i video della loro distruzione che si trovano su YouTube. L’artista inserisce poi le chiavette USB contenenti i file digitali dei modelli 3D all’interno delle sculture, creando una combinazione diretta tra i dati e la loro manifestazione spaziale. Nel processo di ricostruzione dei modelli di questi artefatti, Allahyari adotta un approccio speculativo basato su metodi computazionali. Gli oggetti generati da questo processo si fondano su dati, ma producono anche qualcosa di nuovo attraverso la reinterpretazione del passato, mettendo in discussione l’idea che i dati siano autoevidenti o che possano sostituire il loro referente originale.
In modo simile a quanto accade utilizzando metodi tecnici e scientifici al di fuori dei loro contesti specifici, le immagini sintetiche comportano un allontanamento dalle concezioni tradizionali di oggettività scientifica nelle rappresentazioni visive, come quelle delineate da Lorraine Daston e Peter Galison nel loro libro Objectivity. Nel testo vengono esaminate in particolare le concettualizzazioni dell’oggettività nelle immagini degli atlanti scientifici, da cui delineano tre forme principali, o virtù epistemiche . La prima di queste è la “fedeltà alla natura”, che si riferisce alla verosimiglianza o alla qualità di essere fedele alla realtà in termini di referenzialità visiva. Le illustrazioni botaniche e biologiche ne sono un buon esempio. Una seconda forma di oggettività è l’oggettività meccanica, in cui avviene una mediazione fisica diretta di un fenomeno, come avviene attraverso la fotografia o la microscopia. La terza forma di oggettività di cui Daston e Galison parlano è il “giudizio formato”, dove l’immagine non aspira al realismo visivo, ma piuttosto coinvolge una forma di notazione visiva che deve essere interpretata in un modo particolare e informato. È importante sottolineare che queste forme di oggettività non si escludono a vicenda:
Le immagini degli atlanti – che siano ragionate, meccaniche o interpretate – portano i segni sia dell’epistemologia che dell’etica. [L’oggettività] ha mostrato come l’epistemologia e l’etica siano emerse e si siano fuse nel tempo e nella contingenza, con una virtù epistemica spesso in opposizione dialettica alle altre. Ma, sebbene possano talvolta scontrarsi, le virtù epistemiche non si annientano a vicenda come eserciti rivali. Piuttosto, si accumulano: la fedeltà alla natura, l’oggettività e il giudizio formato sono tutte ancora disponibili come modi di fare immagini e modi di vita nelle scienze ad oggi .
Un aspetto che Daston e Galison mettono in evidenza, e che crea un interessante parallelo con il machine learning, è come questi metodi implichino processi di selezione del campione. Cercare di presentare le informazioni visive nel modo più accurato possibile comporta anche la scelta di un campione che sia considerato rappresentativo del fenomeno raffigurato. Questa relazione tra l’uno e il molteplice implica il perfezionamento della natura, selezionando un’istanza che possa servire da modello esemplare di un dato fenomeno. In questo senso, le immagini cercano di catturare una generalizzazione in un caso specifico, qualcosa che si riflette nei risultati dei modelli di machine learning. Mancando di una relazione salda con l’osservazione diretta, il processo tecnico o il giudizio formato, le pratiche visive più recenti, come la creazione di immagini attraverso modelli generativi, potrebbero segnare un passaggio dalle strategie rappresentative verso quelle che Daston e Galison definiscono come strategie presentazionali delle descrizioni visive:
A questo punto, la relazione tra scienza ed estetica si è allontanata da tutti i nostri modelli precedenti. L’arte e la scienza non sono evidentemente un’unica impresa (pochi oggi ritengono che il Vero e il Bello debbano necessariamente convergere), né si pongono in una ferma opposizione l’una all’altra. Piuttosto, si rinforzano in modo faticoso ma produttivo in alcune aree di confine .
Le immagini sintetiche generate da un sistema di machine learning possono essere difficili da distinguere – esteticamente, computazionalmente e filosoficamente – dalle immagini reali o naturali. Esse sconvolgono i framework concettuali esistenti che riguardano la visione mediata tecnicamente, e danno origine a nuove relazioni epistemiche. Sebbene i sistemi di immagini generative possano basarsi sull’analisi su larga scala dei dati attraverso metodi altamente tecnici, essi sono in grado di produrre risultati con gradi variabili di accuratezza.
Utilizzare il concetto di data-based aesthetics per riflettere su tali questioni si rifà sia all'idea che un’immagine sia basata sui dati – come nel caso delle immagini sintetiche generate dai dati – quanto alla nozione di estetica come forma di conoscenza visiva. La concezione delle immagini come prodotto di, intercambiabili con, o come una forma di dati in sé, è legata a tendenze di lungo corso all'interno della storia delle tecnologie visive. È fondamentale riflettere su come le basi epistemiche dell’imaging possano dipendere da assunzioni problematiche ereditate da paradigmi di rappresentazione più antichi. Comprendere gli artefatti mediatici come entità data-based richiede prospettive critiche nuove, che prendano in considerazione i processi e i dati sottostanti alle immagini, anziché l’osservazione di oggetti isolati.
Victoria Vesna, anticipando quindici anni fa ciò che è accaduto di recente, affrontò alcune di questi problemi nel suo libro Database Aesthetics: «In un’epoca in cui abbiamo sempre più coscienza di noi stess* in quanto database, identificat* da numeri di previdenza sociale e strutture genetiche, è necessario che l* artist* partecipino attivamente al modo in cui i dati vengono modellati, organizzati e diffusi» .
Questa prospettiva ci ricorda che, sebbene sia comune trattare i dati come intercambiabili con qualsiasi cosa, i loro aspetti relazionali sono consequenziali, mentre gli aspetti intrinseci delle cose che i dati rappresentano sono irriducibili. Alva Noë osserva che «niente è un modello solo in virtù della sua composizione intrinseca» . I modelli sono modi per esplorare il mondo o per raggiungere determinati obiettivi. Un modello è utile, efficace, accurato solo nella misura in cui raggiunge uno scopo. Non sono quindi le qualità intrinseche del modello a renderlo tale. In questo senso, un modello si misura in base alla sua funzionalità o efficienza nel raggiungere gli scopi per cui viene utilizzato. Il pericolo di considerare le immagini data-based come separate dai modelli e dalle visioni da cui emergono sarebbe quello di neutralizzare la particolare posizione da cui essi derivano.
Come i dati, anche i modelli hanno natura relazionale, e questo può condizionare in modo significativo la nostra prospettiva sui media visivi. Un punto importante da tenere a mente è che i dati non ci dicono molto di per sé, e che sono sempre soggetti a interpretazione. Questa idea è influenzata dalla visione della post-fenomenologia , secondo cui la mediazione dell’esperienza percettiva crea relazioni ermeneutiche in cui gli aspetti tangibili del fenomeno originale vengono interpretati e trasformati durante il processo. Come descrivono Daston e Galison, le moderne forme di imaging basate sui dati potrebbero rappresentare una fusione tra l’artefatto e il naturale , dando vita a una pratica epistemica che produce conoscenza visiva.
All’interno delle sue riflessioni sull’epistemologia visiva e sugli strumenti digitali interpretativi, Johanna Drucker afferma: «Il campo dell’epistemologia visiva si basa su una storia alternativa delle immagini prodotte principalmente come espressioni di conoscenza» . Ciò presuppone che la conoscenza possa essere espressa in forma visiva, un concetto che spesso viene messo in discussione, soprattutto in ambito artistico. Drucker prosegue spiegando che l’interpretazione è strettamente legata alla lettura visiva delle informazioni, sottolineando la natura contestuale e interpretativa dei dati. L’approccio estetico, concettuale e metodologico adottato nella creazione delle immagini può influenzare il modo in cui queste vengono interpretate, e tale dinamica diventa ancora più complessa quando viene introdotto un fondamento basato su dati.
Aurora Hoel propone il concetto di “realtà operazionale” come alternativa alle dicotomie solitamente applicate per separare il reale dal virtuale o dall’irreale: «La realtà operazionale è una realtà intermedia istituita e sostenuta dall’azione mediatrice o risolutiva di qualche apparato tecnico (ad esempio, un corpo vivente o una macchina) che svolge il ruolo di mediatore adattivo. Questo implica che la realtà operazionale sia un ambiente misto di un ordine intermedio di grandezza; un milieu complesso costituito da elementi e poteri eterogenei e conflittuali che sono stati messi in comunicazione dalla tecnicità» .
Se le immagini sintetiche possono svolgere la funzione di immagini reali nell’addestramento di un sistema ML ed essere incluse nei dataset, queste immagini possono essere considerate operativamente reali. Come afferma Hoel: «La realtà operazionale è una realtà mista, una virtualità istituita e sostenuta dalla mediazione» . Pensare alle pratiche di imaging basate sui dati da questa prospettiva ci permette di riconoscere gli aspetti posizionali e relazionali dei dati e delle visualizzazioni basate su di essi, invece di tentare di dividerli in categorie separate. Come sottolineato da Noë, i modelli non sono definiti dalla loro composizione intrinseca, ma piuttosto dagli obiettivi a cui sono: ciò può valere per la base di dati delle immagini.
Rispetto ai paradigmi tradizionali di produzione delle immagini, i recenti sviluppi tecnici implicano relazioni complesse tra il percepibile e la sua interpretazione. I processi alla base di un’immagine spesso influiscono sulla sua interpretazione, anche se non sono visibilmente accessibili nell’immagine stessa. Inoltre, la nostra comprensione della tecnologia influenza le aspettative che abbiamo nell’interpretare queste relazioni tra il visivo e il processuale. Di conseguenza, le forme altamente tecniche di media visivi possono richiedere una conoscenza esterna all’immagine stessa, rimodellando il modo in cui decifriamo visivamente le immagini, ma anche come gestiamo la loro contestualizzazione all'interno di ambiti più ampi al di là della dimensione puramente visiva.
I modi in cui l’AI influenza la mediazione visiva possono essere difficili da prevedere, valutare, correggere o contrastare. Questo rende ancora più necessario sviluppare prospettive critiche che possano mettere in discussione le narrazioni dominanti sull’AI. Data l'enorme quantità di dati visivi che vengono prodotti, diffusi e analizzati quotidianamente, è sempre più importante considerare prospettive alternative, come quelle proposte dalla teoria dei punti di vista, dall’epistemologia visiva o dall’idea secondo cui esistono molteplici forme di oggettività visiva. In definitiva, l’idea che l'immagine sia un prodotto o una forma di dato in sé è sfocata in modo sorprendente e richiede lo sviluppo di nuovi modelli di indagine critica per comprendere le estetiche emergenti basate sui dati.
[Testo originariamente in AI & Conflicts. Volume 2, a cura di Daniela Cotimbo, Francesco D'Abbraccio e Andrea Facchetti. Brescia: Krisis Publishing, 2025. Titolo originale: “Synthetic Images: Data-based Aesthetics”, in Live Interfaces Journal, vol. 1 (2023)]
