Pubblichiamo su cheFare il saggio di Massimo Airoldi e Daniele Gambetta, Sul mito della neuttralità algoritmica pubblicato su The Lab’s Quarterly. Oggi la terza parte.

Storicamente, le scienze sociali e il dibattito pubblico hanno prestato molta più attenzione a come la tecnologia influenza la società che al rapporto inverso, spesso adottando quella postura intellettuale semplicistica nota come determinismo tecnologico.

Questa posizione, assumendo la tecnologia come indipendente dalla società nel suo complesso, va logicamente a sostegno del discorso dominante intorno alla neutralità del calcolo e all’ineluttabilità del progresso, in quanto la società non può far altro che rassegnarsi ed adattarsi all’inevitabile cambiamento tecnologico.

Durante gli anni Ottanta, una contronarrazione partita da lontano (si veda il Paragrafo 5) si fece largo grazie all’espansione del filone di ricerca divenuto poi noto come STS (Science and Technology Studies): la tecnologia, lungi dall’essere una sfera autonoma, è una costruzione sociale che dipende tanto da interessi economici e politici contestuali quanto dal percorso scientifico e tecnologico avvenuto in precedenza – anch’esso, a sua volta, socialmente condizionato (si veda MacKenzie & Wajcman, 1999).

Ad esempio, la lampadina di Edison fu studiata come parte di un preciso sistema di distribuzione dell’elettricità e progettata per essere competitiva in termini di costi rispetto alla già esistente luce a gas. Gli «intenti» e «obiettivi» (Foucault, 2011, 84) del discorso imprenditoriale di Edison entrarono direttamente nei brevetti, volti a minimizzare la quantità di costoso rame utilizzato nei cavi elettrici (MacKenzie & Wajcman, 1999, 16-19). In altre parole, nessuna tecnologia è mai stata neutrale.

Esattamente come la lampadina di Edison, gli algoritmi sono costruzioni sociali che riflettono interessi, discorsi di verità, assunti arbitrari sul mondo sociale (Rieder, 2017; Pasquinelli, 2014). Allo scopo di illustrare concretamente questo punto, nei prossimi paragrafi presenteremo in breve degli esempi di sistemi algoritmici dedicati alle funzioni più diverse, dalla classificazione automatica di immagini alla prevenzione del crimine, concentrandoci perlopiù sui loro errori.

Questi casi serviranno a mostrare in pratica la fallacia del mito della neutralità algoritmica, così come a esaminarne le varie sfaccettature discorsive. In particolare, tre aspetti cardine del mito verranno discussi e problematizzati attraverso gli esempi seguenti: primo, l’assunto che nella fase di progettazione e/o addestramento dell’algoritmo non abbiano interferito distorsioni sistematiche e che, pertanto, l’output restituisca un punto di vista oggettivo sulla realtà (Paragrafo 4.1); secondo, l’idea che l’automatizzazione e la disintermediazione di processi complessi siano di per se stesse garanzie di neutralità (Paragrafo 4.2); terzo, la pretesa che i risultati del calcolo algoritmico, narrati come accurati e infallibili, non alterino la realtà secondo logiche socialmente, storicamente e politicamente determinate.

Lupi, Husky e oggettività

Nel senso più ampio del termine, per algoritmo si intende una sequenza di operazioni da eseguire in un ordine prestabilito, un po’ come la ricetta per cucinare una torta. Nel caso in cui un algoritmo-procedura sia progettato per l’analisi e la risoluzione di questioni umane e sociali, alla base della sua fase di creazione è necessaria, a maggior ragione, l’elaborazione teorica di un modello – la formalizzazione in termini matematici di un problema e della sua soluzione (Gillespie, 2016, 19).

Dietro la genericità di una nozione che, come sottolinea Gillespie (2016), è sineddoche di sistemi tecnici differenti ma strettamente collegati, esiste un ampio spettro di tecniche e approcci differenti. Mentre la presenza della teoria e delle sue implicazioni è più evidente nel caso di un algoritmo classico, deterministico, poiché esso risulta essere niente di più che l’automatizzazione di un processo manuale – si pensi a una macchina che cucina torte alla crema –, questa fase umana di teorizzazione e modellizzazione sembra venire a mancare qualora si tratti di algoritmi utilizzati per simulare capacità intuitive, progettati in modo data-driven grazie a informazioni «digerite» in fase di apprendimento.

Nel caso degli algoritmi di machine learning, tra il momento della scrittura del codice e l’applicazione finale, c’è una fase durante la quale – secondo l’interpretazione scientista – l’algoritmo apprenderebbe la «realtà» in modo «oggettivo» da una grossa mole di dati classificati. Tuttavia, sia la scelta del dataset che la generazione dei dati stessi sono il prodotto di azioni umane culturalmente e socialmente situate, le quali possono introdurre distorsioni sistematiche nel modello. Come mostrato da vari testi – ad esempio Armi di distruzione matematica di Cathy O’Neil (2016) e Algorithms of oppression di Safiya Umoja Noble (2018) – questi bias possono portare a conseguenze sociali indesiderabili, specialmente quando riguardano piattaforme utilizzate da milioni di utenti (Airoldi, 2018).

Per decostruire il discorso intorno all’oggettività degli algoritmi, consideriamo l’esperimento di un gruppo di ricercatori dell’Università di Washington (Ribeiro et al., 2016), pensato per mettere in discussione l’accuratezza di predizioni effettuate tramite machine learning. Ipotizziamo di voler costruire un classificatore capace di distinguere foto di husky da foto di lupi.

Per quanto ampio sia il nostro dataset, se tutti gli husky sono ritratti (involontariamente o volontariamente, come in questo studio) in presenza di neve, si ottiene un algoritmo che classifica come husky qualunque animale (cane o husky) fotografato in presenza di neve. Questo esempio è utile a formalizzare la critica all’oggettività degli algoritmi. La macchina, infatti, non sta sbagliando, nel senso che effettivamente ha trovato una feature capace di discernere, nei casi analizzati, le due classi di oggetti.

L’inadeguatezza dello strumento, allora, deriva dall’assunto che i dati di partenza siano adeguati a rappresentare il reale e le sue peculiarità. Per quanto questo esempio non sia legato a scelte socialmente rilevanti, quando si tratta di applicazioni più concrete il discorso rimane il medesimo: lo scienziato – data scientist – ipotizza che un dataset di apprendimento e un’eventuale classificazione manuale costituiscano un input adeguato per appresentare fedelmente il fenomeno analizzato.

La presunta oggettività del calcolo è, perciò, «finzionale» (Gillespie, 2014). Il funzionamento dei sistemi algoritmici, anche nel caso di machine learning e intelligenza artificiale, non è mai totalmente indipendente da scelte umane, errori, e distorsioni culturalmente indotte.

Amazon, Bitcoin e disintermediazione

Gli algoritmi sono perlopiù descritti da sviluppatori e aziende come strumenti capaci di rendere efficienti processi che, altrimenti, richiederebbero intermediari umani (Morris, 2015). È il caso, ad esempio, delle raccomandazioni automatiche proposte da piattaforme come Amazon e di criptovalute come Bitcoin. Fino a che punto quella della disintermediazione algoritmica è una retorica discorsiva che maschera una molteplicità di interventi umani?

Il 18 settembre 2017, i giornalisti dell’emittente inglese Channel 4 firmavano un’inchiesta con al centro un imputato sui generis: il sistema di raccomandazione di Amazon. La notizia, poi ripresa da testate quali Guardian, Independent e NY Times, suonava particolarmente appetitosa in mesi costellati da diversi attacchi terroristici.

Cercando uno specifico agente chimico sulla piattaforma, il sistema di raccomandazione suggeriva tra gli articoli «spesso comprati insieme» altri ingredienti che, se combinati, avrebbero potuto essere utilizzati per fabbricare una rudimentale bomba artigianale. L’algoritmo in questione funziona secondo una logica nota come collaborative filtering: se un numero di persone considerevole compra sia X che Y, i due prodotti saranno con grande probabilità correlati (si veda Airoldi , 2015).

A fare scalpore non fu tanto la possibilità di acquistare facilmente agenti chimici potenzialmente pericolosi online, quanto piuttosto il carattere automatico di suggerimenti moralmente tabù – completi persino di un set di pallini d’acciaio, utile a rendere ancora più letale una ricetta già esplosiva. Di chi è la colpa?

L’algoritmo, da un certo punto di vista, ha eseguito il suo compito in modo oggettivamente corretto, tracciando correlazioni nei pattern d’acquisto degli utenti. I risultati, però, tanto neutrali non sono. Seguendo la linea argomentativa dell’ex executive di Facebook intervistato dal Guardian nel 2017, la colpa è, in ultima istanza, della società.

L’algoritmo è innocente, in quanto non ha fatto altro che riprodurre una verità statistica sul mondo sociale («statistical truth») difficile da digerire. Il discorso sulla presunta neutralità dell’algoritmo così, però, vacilla: non solo perché l’output della disintermediazione algoritmica è il prodotto delle discutibili attività degli utenti della piattaforma, ma anche e soprattutto perché Amazon, per rassicurare i media, ha dovuto promettere un intervento umano sul codice.

Il portavoce ha successivamente dichiarato alla BBC che i suggerimenti automatici sono sistematicamente filtrati tramite una blacklist di parole chiave, la quale sarebbe stata aggiornata di conseguenza. La mitica disintermediazione algoritmica, nella pratica, sembra perciò essere a geometria variabile.

Se decostruire il discorso intorno alla neutralità dell’algoritmo risulta essere relativamente semplice considerando gli errori di app e piattaforme, i sistemi algoritmici di criptovalute come Bitcoin sono raramente oggetto di critiche o scandali. La tecnologia blockchain alla base di Bitcoin consente una disintermediazione totale, grazie alla registrazione automatica e in tempo reale di ogni transazione in un registro pubblico condiviso.

Qui ci viene però in aiuto la tesi di dottorato del noto hacker, attivista e media artist Jaromil Rojo, intitolata Algorithmic Sovereignty (2018), la quale offre una preziosa analisi di prima mano – e di stampo foucaultiano – sulla genesi del progetto Bitcoin. «Bitcoin has no single monetary authority, but a shared pact and the underlying rationality of a mathematical algorithm – the intangible dream of neutrality», scrive l’autore (Ivi, 37). Dalla scelta del logo al mito fondativo del misterioso Satoshi Nakamoto, passando per le storie personali degli sviluppatori-attivisti (Ivi, 38-41), il percorso socio-politico che ha portato allo sviluppo della criptovaluta mostra, secondo Rojo, che quella della neutralità algoritmica, anche nel caso di Bitcoin, rimane un’utopia.

La tecnologia alla base della disintermediazione totale è un prodotto dell’azione collettiva umana, fatto di idee e scelte arbitrarie, oggettificate nel codice e perpetuate attraverso di esso. Così conclude l’autore:

there is nothing inherently neutral in an algorithm. To the contrary, an algorithm is there to implement visions, ideas, beliefs and to satisfy needs and desires […]. To perceive the presence of a decentralised algorithm as guarantee of neutrality, to consider its existence per-se as the basis of a constituency, is an error made by many. This error is also evident on the surface of Bitcoin, a project whose foundations are social, political and technical (Ivi, 13)

Compas, Lombroso e infallibilità

Il crescente consenso scientifico e istituzionale intorno all’accuratezza – per non dire infallibilità – di decisioni esternalizzate a tecniche di intelligenza artificiale (Natale e Ballatore, 2018) ha portato ad applicazioni eticamente discutibili di sistemi algoritmici ad ambiti delicati come, ad esempio, quello giudiziario.

Nel noto racconto Rapporto di minoranza di Philip K. Dick, la divisione Precrimine è capace di prevedere crimini futuri. Non molto diversamente, Compas (Correctional Offender Management Profiling for Alternative Sanctions) è un software che promette di analizzare la fedina penale e i dati personali di un imputato per stabilire la possibilità che commetta nuovamente un crimine.

In uno studio pubblicato su Science Advances, Julia Dressel e Hany Farid (2018) scrivono: «i sostenitori di questi sistemi dicono che i big data e l’uso del machine learning avanzato rendono queste analisi più accurate e con meno pregiudizi rispetto a quelle svolte dagli uomini». Ma, in verità, «Compas non è più accurato e più imparziale delle previsioni di persone con poca o senza esperienza di diritto penale» (Dressel & Farid, 2018, tr. aut., 1).

La ricerca mostra innanzitutto che piccoli gruppi di persone scelte a caso sono in grado di prevedere se un imputato commetterà un crimine con un’accuratezza del 67%, percentuale identica a quella di Compas. Inoltre l’algoritmo del Compas ha evidenti pregiudizi razziali. Già due anni prima dello studio, ProPublica aveva elaborato una lunga inchiesta su questo software: a parità di condizioni, una persona di colore veniva sistematicamente classificata come ad alto rischio.

L’applicazione di tecniche di machine learning alla prevenzione della criminalità si è spinta fino al punto di rivalutare il pensiero di Cesare Lombroso. Secondo una controversa ricerca (Wu & Zhang, 2016), è possibile distinguere tra criminali e non criminali con il 90 per cento di accuratezza semplicemente attraverso l’analisi automatica di immagini di volti umani. Le parole degli autori sono imbevute del mito della neutralità algoritmica: «unlike a human examiner/judge, a computer vision algorithm or classifier has absolutely no subjective baggages, having no emotions, no biases whatsoever due to past experience, race, religion, political doctrine, gender, age, etc., no mental fatigue, no preconditioning of a bad sleep or meal» (Ivi, 2).

Basta poco a decostruire un discorso così ingenuo: come svelano i tipi di Callingbullshit.org, il dataset utilizzato da Wu e Zhang consiste in un misto di foto segnaletiche di criminali incarcerati – certo non molto felici di esserlo – e immagini di volti estratti automaticamente dal Web, probabilmente da pagine professionali, spesso con tanto di camicia e cravatta. Se nel caso Compas è la riproduzione algoritmica delle disuguaglianze sociali a confutare il mito della neutralità, le caratteristiche delle immagini utilizzate per addestrare la macchina-Lombroso minano alla radice l’apparente infallibilità del modello.

Ovviamente sappiamo che la comunità scientifica è ben lontana dall’approvare le tesi e i metodi lombrosiani, ma qui vogliamo mostrare come in alcuni ambienti di ricerca (pubblica o privata), anche a causa dell’assenza di un adeguato dibattito epistemologico, l’idea che la correlazione sia sufficiente e la teoria superflua (Priori, 2018) può portare persino ad avvalorare una pseudo-frenologia.

Come sottolineano Ribeiro e colleghi, anzichè valutare gli algoritmi esclusivamente sulla base della (presunta) accuratezza dell’output – solitamente misurata come la percentuale di elementi del test set correttamente classificati dalla macchina – bisognerebbe mettere al centro la sua «interpretabilità» (2016:2). Solo in questo modo, aprendo la scatola nera e affermando la necessità di una «spiegazione» del modello, è possibile avere fiducia nei risultati.

Immagine di copertina: ph. Aisvri da Unsplash