L’articolo che segue è un estratto della tesi magistrale di Dario Petrelli in Strategie e Tecniche della Comunicazione, Università di Siena (ottobre, 2019) ed è la prima uscita di una collaborazione tra cheFare e il corso in Sociologia della Comunicazione (prof. Tiziano Bonini) del Dipartimento di Scienze sociali, politiche e cognitive (DISPOC) dell’Università di Siena.  La collaborazione vuole dare visibilità a lavori di ricerca per tesi di laurea particolarmente originali e rilevanti per i temi di cheFare

Il 26 ottobre, un articolo di Repubblica ha destato clamore, riportando ancora una volta l’attenzione del pubblico sui fenomeni d’odio che hanno luogo nella sfera online – ed in particolar modo sulle piattaforme social. Il pezzo, firmato Piero Colaprico, espone i dati raccolti dall’Osservatorio antisemitismo in una ricerca sul web, dalla quale emerge come la senatrice a vita Liliana Segre riceva in media 200 messaggi d’odio al giorno, tra “attacchi politici e religiosi, insulti, maldicenze”.

Il minimo comune denominatore di questi messaggi sta nel sentimento antisemita – Liliana Segre, com’è noto, è una testimone diretta degli orrori dell’Olocausto, sopravvissuta all’internamento nel campo di concentramento di Auschwitz quand’era poco più che una bambina.

La notizia ha suscitato le reazioni dell’opinione pubblica e della classe politica italiana, col premier Conte che ha dichiarato di voler spingere il Parlamento ad introdurre “norme per contrastare il linguaggio dell’odio a tutti i livelli, nel dibattito pubblico e nelle comunicazioni via social”.

La stessa Segre, peraltro, è la prima firmataria di una mozione per l’istituzione di una Commissione straordinaria per il contrasto di intolleranza, razzismo, antisemitismo e incitamento all’odio; mozione che è stata approvata in Senato pochi giorni dopo l’articolo di Repubblica, il 30 ottobre, con 151 voti favorevoli, nessun voto contrario e 98 astensioni – quelle dei senatori di destra e centrodestra, che si son detti preoccupati dalla possibilità che tale Commissione possa finire per restringere la libertà d’espressione anche di coloro che volessero esprimere e diffondere idee nazionaliste.

La divisione che è venuta a formarsi intorno alla mozione Segre ci mostra come sia difficile giungere ad un accordo e ad una visione comune per quanto riguarda le misure da intraprendere nei confronti delle forme d’odio, trattandosi di una materia inestricabilmente legata ad un diritto fondamentale dell’uomo, qual è la libertà d’espressione.

L’articolo di Repubblica, d’altro canto, ci segnala che il dibattito e le conversazioni online vanno incattivendosi sempre di più, e ci spinge a domandarci se non sia arrivato il momento di porre dei limiti più severi alla circolazione di certi contenuti e certe idee sul web. Di norme mirate a contenere l’odio (o l’hate speech) online si discute ormai da anni, tanto a livello italiano quanto internazionale, e a finire sul banco degli imputati sono quasi sempre i grandi social media: il nostro continente vede la Commissione Europea in prima linea nel tentativo di rendere queste aziende più responsabili e attive nel rimuovere i contenuti tossici dalle loro pagine.

Tuttavia, sebbene i gestori di queste piattaforme siano soliti prodursi in solenni dichiarazioni d’intenti e annunci di nuove policies destinate a contrastare le forme d’odio, episodi come quello che vede convolta Liliana Segre continuano a riproporsi nel tempo – viene da chiedersi, allora, se questi stiano davvero facendo il massimo per arginare tale problematica, e per trovare risposta può essere utile indagare le loro strategie di moderazione.

Nel commentare uno dei messaggi antisemiti rivolti alla senatrice a vita, Colaprico riflette: “Come definire questo messaggio? Però viene scritto, letto, circola, resta dov’è”. Per capire come mai certi contenuti non vengano rimossi dagli amministratori delle piattaforme social, bisogna innanzitutto tenere a mente che la maggior parte di esse – e quasi tutte quelle di grandi dimensioni – moderano su segnalazione degli utenti, il che vuol dire che non si occupano di individuare i contenuti illeciti, bensì delegano questo compito ai loro iscritti; una volta che gli iscritti hanno segnalato alla piattaforma la presenza di contenuti contrari alle sue regole, i moderatori si incaricano di verificarne il carattere illecito ed eventualmente di procedere alla loro rimozione.

Tale modalità di gestione dei contenuti viene adottata per diversi motivi. Innanzitutto, vi è il discorso della mole spropositata di contenuti che queste piattaforme si ritrovano a gestire – basti pensare che Instagram ospita qualcosa come 95 milioni di post al giorno in tutto il mondo, e diviene facile comprendere come i soli amministratori della piattaforma non possano riuscire nell’impresa di valutarli tutti, per quanto ampia sia la loro equipe di moderatori e per quanto avanzati siano i loro programmi di IA.

C’è poi il riverbero positivo sulla reputazione del social network che coinvolge gli utenti nelle proprie strategie di moderazione, ponendosi come organizzazione democratica pronta a dar voce alle opinioni della sua community – qualcosa solo in parte vera, però, dato che di fatto le piattaforme si riservano il diritto di decidere in totale autonomia quali contenuti rimuovere tra quelli segnalati e quali invece lasciare al loro posto, in base ai princìpi e alle regole enunciati nei propri termini di servizio.

Ho così deciso di passare una giornata su Facebook…

Tornando alla riflessione di Colaprico, allora, come mai certi messaggi come quelli antisemiti rivolti alla Segre continuano a circolare sui nostri social? È “colpa” degli utenti che non segnalano quei contenuti, o dei moderatori che decidono di non rimuoverli nonostante vengano segnalati? Per scoprirlo, non resta che provare a segnalare qualche esemplare (nient’affatto raro) di messaggio carico d’odio.

Ho così deciso di passare una giornata su Facebook – nonostante l’ormai nota perdita di appeal sulle fasce più giovani, rimane pur sempre il social media più utilizzato al mondo e nel nostro Paese – alla ricerca di hate speech nelle sezioni commenti di alcune fanpage.

Ho individuato i commenti da segnalare attenendomi alla definizione di incitamento all’odio che la piattaforma fornisce nei suoi Standard della community, nella quale si dice che vanno considerati illeciti quegli attacchi diretti “alle persone sulla base di aspetti tutelati a norma di legge” (ad esempio l’etnia, l’affiliazione religiosa, l’orientamento sessuale, e altre) e “l’attacco” viene descritto come “un discorso violento o disumanizzante, dichiarazioni d’inferiorità o incitazioni all’esclusione o alla segregazione” – nel documento vengono poi elencate a titolo esemplificativo varie espressioni offensive, classificate secondo tre livelli di gravità.

Per trovare messaggi diretti a queste categorie, mi sono recato su quelle pagine in cui vengono trattati frequentemente temi come l’immigrazione (Salvini, sei tu? Sì, ma anche pagine di influencer e giornalisti che trattano argomenti d’attualità e politica), o su pagine appartenenti ai profili di intellettuali e celebrità abituati, per un motivo o per un altro, a fare da obiettivo delle invettive tossiche di parte dell’opinione pubblica (ad esempio Gad Lerner, di origine ebraica come la Segre; o Mario Balotelli, di recente tornato nell’occhio del ciclone mediatico dopo i fischi e gli insulti razzisti di parte della tifoseria del Verona).

Durante la mia ricerca mi sono imbattuto in decine di commenti dai toni accesi e dal contenuto ambiguo, che ballavano – a mio avviso e secondo la mia interpretazione di quelle regole – sul confine tra ciò che è consentito e ciò che è vietato dagli Standard della community di Facebook. Trenta commenti, tuttavia, mi sono sembrati violare in maniera evidente le norme della piattaforma e pertanto li ho segnalati secondo la procedura prevista, ossia spuntando le motivazioni per cui ritenevo quei commenti illeciti (nel nostro caso, “incitamento all’odio”), e le categorie protette che andavano a colpire.

Fra i 30 segnalati, vi sono messaggi come questo: “Le risorse colorate,, bisogna sparargli a vista”; o questo: “Cani rognosi bastardi”, rivolto alle stesse risorse colorate del messaggio precedente – entrambi i commenti sono stati pubblicati in risposta ad un post di Salvini nel quale si richiamava l’attenzione su un servizio di Striscia la notizia, incentrato sulle piazze di spaccio a Bolzano. Non solo commenti dal contenuto breve e conciso (oltre a quelli già visti, vale la pena di citare questo: “Sei un grosso coglione ebreo…” rivolto a Lerner; o quello di una signora che ci tiene a far sapere di avercela con Balotelli “E anche perche e nero coglione”) ma anche messaggi più estesi; non solo espressioni dirette ad offendere sulla base dell’appartenenza etnica o razziale, ma anche su quella dell’affiliazione religiosa (“Me la sucano sti esseri inferiori!!?????” rivolto ai religiosi di fede islamica, tra i commenti al post di un influencer che si occupa di politica), dell’orientamento sessuale (“Mi potete pure sospendere da fb ma lasciatemelo dire : benvenuti froci .” rivolto ai migranti extracomunitari che si dichiarerebbero omosessuali per accedere al diritto di protezione umanitaria in Italia, dai commenti a un post di Giorgia Meloni) e altro ancora.

Nessuno dei commenti segnalati è stato rimosso.

Il campione è probabilmente troppo esiguo per giungere a conclusioni certe (trenta commenti sono nulla rispetto alle migliaia di segnalazioni che una piattaforma come Facebook può arrivare a ricevere ogni giorno in tutto il mondo), ma questo risultato sembrerebbe comunque suggerire che la permanenza di contenuti tossici sui social non è legata alla mancanza o insufficienza di segnalazioni; al contempo, ci permette di fare alcune considerazioni sul funzionamento (spesso criptico) delle procedure di segnalazione e della capacità di risposta della piattaforma.

La prima considerazione che devo fare, è che non posso fare considerazioni sull’operato dei moderatori: nessuno dei commenti da me segnalati per incitamento all’odio, infatti, è stato realmente supervisionato da un moderatore, e pertanto non posso trarre conclusioni sulla loro capacità di giudizio, sulla coerenza delle decisioni prese, sui loro tempi di risposta. Tutte le mie segnalazioni sono invece state vagliate dagli algoritmi della piattaforma, i quali agiscono effettuando un primo controllo e decidendo se inoltrare i contenuti ad un operatore umano o se stoppare la procedura poiché mancano gli estremi per rimuovere il commento.

L’utilizzo di software in sostegno all’azione dei moderatori è necessario al fine di riuscire ad esaminare tutte le segnalazioni ricevute: Facebook può contare su diverse migliaia di moderatori (la maggior parte dei quali appaltati ad altre aziende), ma comunque non abbastanza da riuscire a coprire in tempi brevi l’enorme mole di contenuti segnalati – e la velocità d’intervento è importante per i grandi social media, come emerge da questo articolo di Valigia Blu. Va specificato che il compito degli algoritmi in merito ai commenti segnalati si limita a questo, ossia inviare i contenuti ritenuti passibili di rimozione ai moderatori – non si occupano mai di rimuovere autonomamente post o commenti dalla piattaforma.

Per classificare correttamente il linguaggio umano, che è per sua natura fluido e mutevole, occorre un approccio diverso, meno meccanico e più elastico

Se l’azione di questi software sembra essere vicina alla perfezione quando si tratta di discernere contenuti illeciti di natura grafica (immagini di nudo, pornografia, violenza, ecc.), la loro efficacia cala invece parecchio quando si tratta di rilevare correttamente i casi di hate speech.

Ciò dipende – come spiega Tarleton Gillespie in Custodians of the Internet (2018) – dal fatto che gli algoritmi analizzano i contenuti ricercando quei pattern e quegli elementi che siano già stati allenati a riconoscere dai loro sviluppatori.

Pertanto, essi sono capaci di identificare immediatamente un’immagine di nudo che abbiano precedentemente salvato nel proprio database, e non solo: attraverso la comparazione con le immagini e i video già analizzati, riescono a valutare con buone percentuali di successo anche i contenuti grafici nuovi.

Ma per classificare correttamente il linguaggio umano, che è per sua natura fluido e mutevole, occorre un approccio diverso, meno meccanico e più elastico, e la capacità di interpretare i commenti ed il contesto in cui vengono inseriti – capacità al momento assente o insufficiente anche nei migliori programmi di IA, che quindi valutano i commenti segnalati alla ricerca di frasi e parole chiave che coincidano con gli esempi salvati nella loro memoria.

Il fatto che gli algoritmi di Facebook abbiano ritenuto idonei a rimanere sulla piattaforma i commenti che ho segnalato potrebbe esser dovuto, allora, ad un mancato riconoscimento delle espressioni offensive poiché assenti dal loro database – il che costituirebbe un grosso problema, perché equivarrebbe a dire che questi programmi non sono in grado di riconoscere alcuni insulti e forme di turpiloquio elementari, oltre a forme d’offesa esplicitamente vietate dagli Standard della community (come i paragoni con gli animali, le dichiarazioni di inferiorità, ammissioni di intolleranza, ecc.).

Può anche darsi che i software abbiano rilevato correttamente le espressioni offensive, ma non abbiano riscontrato l’attacco alle categorie protette dalla definizione degli Standard.

Ad esempio, in un commento come “Le risorse colorate,, bisogna sparargli a vista”, quel “risorse colorate” potrebbe aver eluso il controllo degli algoritmi, che non associano quell’espressione a delle persone e pertanto non rilevano l’epiteto razzista – per quanto un commento in cui compaia la frase “bisogna sparargli a vista” dovrebbe sempre catturare l’attenzione di un software che ricerchi forme d’odio o di violenza, a chiunque esso venga rivolto. Ad ogni modo, anche in questo caso staremmo parlando di un problema e di una lacuna nella progettazione di algoritmi la cui attività di controllo sembra facilmente eludibile, ad esempio con il ricorso a terminologie meno convenzionali.

La possibilità di aggirare i programmi di IA con tecniche elusive e formulazioni ambigue è già ampiamente nota, e non tocca i soli algoritmi della piattaforma di Zuckerberg. Alcuni dei commenti segnalati, peraltro, mi hanno portato a supporre che le inefficienze del sistema di segnalazione di Facebook non siano dovute soltanto a mancanze dei suoi software. Mi riferisco a determinati messaggi, come quelli rivolti ai fedeli e alla stessa religione islamica, in cui risultano davvero evidenti sia le offese che il destinatario a cui sono rivolte (cito: “Islam merda! Maometto maiale!”); com’è possibile che commenti di questo genere, così elementari e al tempo stesso inequivocabili nel loro contenuto, possano sfuggire all’analisi di una piattaforma come Facebook, le cui risorse economiche e tecnologiche sono tali da consentire l’utilizzo di software avanzatissimi?

Esiste la possibilità che i commenti che ho segnalato non siano stati inoltrati ai moderatori perché questi ultimi li avevano già esaminati in seguito a segnalazioni precedenti alla mia, e li avevano giudicati idonei a rimanere sulla piattaforma (il parere di un moderatore di Facebook, salvo rare circostanze, assume valore definitivo).

L’impressione che il social network di Menlo Park moderi chiudendo un occhio, ma anche tutti e due

Tale scenario “scagionerebbe” gli algoritmi – non si potrebbe accusarli di non saper riconoscere gli elementi che caratterizzano un caso di hate speech – e sposterebbe il focus sui moderatori: come mai avrebbero deciso di non rimuovere quei commenti? Come detto sopra, non posso esser certo che ci siano state delle valutazioni da parte di operatori umani, e Facebook non fornisce molte spiegazioni sul perché determinati commenti non vengano sottoposti alla loro supervisione.

Esistono però ricerche più estese e autorevoli della mia che mostrano come i moderatori del social network sembrino interpretare le norme sull’hate speech espresse negli Standard della community in maniera ben meno rigida (e quindi ben più concessiva) rispetto a quanto tendono a fare utenti o attori esterni che cercano di applicare quelle stesse norme per segnalare correttamente i contenuti. In altre parole: quando si tratta di incitamento all’odio, i moderatori di Facebook rimuovono pochi contenuti rispetto a quanti gliene vengono segnalati.

L’impressione che il social network di Menlo Park moderi chiudendo un occhio (ma anche tutti e due) sull’hate speech emerge, in definitiva, anche dalle risposte alle mie segnalazioni – che siano dovute all’azione degli algoritmi o a quella dei moderatori, il risultato finale è quello che vede 30 commenti tossici ancora online. Impressione rafforzata dal fatto che uno di quei commenti, in realtà, è stato rimosso – ma solo dopo che l’ho segnalato nuovamente, e spuntando una motivazione diversa da quella dell’incitamento all’odio.

Il messaggio, dedicato a Greta Thunberg e pubblicato in risposta ad un post della pagina “Mario Giordano club”, definiva la giovane attivista svedese con le seguenti parole: “Maledetta puttanella!”. Dopo aver ricevuto l’ennesima risposta identica nella quale venivo informato che, se lo volevo, potevo “nascondere” il messaggio o bloccarne l’autore – ma non mi veniva concesso di sottoporlo ad un moderatore – ho deciso di provare a segnalarlo inquadrandolo come un contenuto che tutti i social media stanno ben attenti a scacciare dalle proprie pagine: “abuso su bambini” (del resto Thunberg ha appena 16 anni, e inveire su di lei con insulti simili non è il massimo per un utente adulto …). Risultato: la segnalazione è stata accolta, il commento inviato ad un moderatore e rimosso nel giro di 24 ore.

Ciò sembra suggerire che anche le motivazioni spuntate durante la segnalazione influiscono sulle chance che il commento venga trasmesso ad un moderatore – e se le cose stanno così, è ovviamente comprensibile che contenuti segnalati in quanto “abuso su bambini” vengano inviati più facilmente ad operatori umani che possano valutarli in fretta. Ma, se una gerarchia delle motivazioni effettivamente esiste, sarebbe interessante scoprire che posizione occupa al suo interno quella dell’incitamento all’odio, al fine di capire quanto sia davvero utile cercare di segnalare le forme di hate speech.

Quanto osservato fin qui, inoltre, sembra mettere in dubbio quel che viene detto negli Standard della community riguardo la loro completezza e coerenza interna: essi sarebbero “progettati per essere completi: ad esempio, un contenuto che potrebbe non essere considerato discorso di incitazione all’odio potrebbe essere comunque rimosso perché viola le normative contro il bullismo”. Ma se le segnalazioni per hate speech non vengono nemmeno inviate ai moderatori, come si può certificare che non comportino altri tipi di infrazione?

Riguardo i social media è in essere ormai da anni un dibattito che vede contrapposte due posizioni speculari: quella di chi giudica questo medium uno strumento di diffusione di forme d’odio e fake news; e quella di chi accusa invece i loro amministratori di perpetrare un’opera di censura atta ad oscurare le opinioni di nazionalisti, sovranisti e conservatori in generale.

Preso nel fuoco incrociato di queste polemiche, Facebook non ha dato l’idea di volersi schierare con decisione: se da una parte si è speso in dichiarazioni di impegno nel contrasto a tutti i discorsi d’odio e nella chiusura di pagine fasciste, dall’altra bastano semplici ricerche empiriche per notare come la lotta all’hate speech non sembri rientrare tra le priorità della sua strategia di gestione dei contenuti.

Questa condotta ambigua è dettata dal perseguimento degli obiettivi economici della piattaforma di Zuckerberg, la quale punta – come è noto – ad attrarre e a mantenere sulle proprie pagine il maggior numero di utenti possibili, per la maggior durata di tempo possibile. Ai fini della sua strategia economica, per Facebook non cambia nulla se nella sua community vi sono molti o pochi haters: l’importante è che il numero degli iscritti continui ad aumentare, così da massimizzare i profitti derivanti dalle inserzioni pubblicitarie e dalla raccolta dati.

La presenza di discorsi tossici diviene però un problema quando la loro diffusione arriva a rovinare la reputazione della piattaforma e ad allontanare un numero eccessivo di utenti infastiditi dall’incitamento all’odio. La vera sfida che i grandi social media affrontano tutti i giorni, allora, è quella di trovare il giusto compromesso tra una moderazione troppo severa ed una troppo concessiva – ma non è detto che le soglie di hate speech ritenute accettabili dagli amministratori di un social network coincidano con quelle di sopportazione dei suoi utenti, o che non comportino un impatto negativo sul livello delle conversazioni e del dibattito pubblico che hanno luogo online.

La diffusione di odio e rancore è un fenomeno molto complesso, che non può essere risolto semplicemente obbligando i social media a moderare di più

Così, per riprendere le parole di Conte, l’idea di norme giuridiche per responsabilizzare le piattaforme e indurle a prendere sul serio la lotta alle forme d’odio potrebbe anche sortire degli effetti positivi – ed è normale che se ne parli in un periodo che vede la diffusione di intolleranza e razzismo raggiungere livelli livelli drammatici nel nostro Paese.

Al momento non è chiaro se di tali questioni si interesserà anche la Commissione promossa dalla Segre o se questa si occuperà piuttosto di formulare osservazioni e proposte più generali, per cui è difficile prevedere quanto la sua azione possa incidere sull’attività di attori come i social media. Ad ogni modo, se in futuro venissero concepiti dei provvedimenti secondo un approccio che adotti la rimozione dei contenuti come soluzione al problema (come ha fatto ad esempio la Germania), questi dovrebbero essere anticipati da una riflessione mirata a trovare definizioni precise, organi competenti e adatti a svolgere il lavoro interpretativo, e il modo di mantenere sempre trasparenti i processi decisionali: senza la dovuta cautela, infatti, si potrebbe incorrere nel rischio di generare leggi dannose.

E, soprattutto, si dovrebbe tenere a mente che quello della diffusione di odio e rancore è un fenomeno molto complesso, che non può essere risolto semplicemente obbligando i social media a moderare di più. Le ragioni del propagarsi dei discorsi tossici vanno ricercate nello scontento che anima la società, e nei suoi livelli (sempre più bassi) di istruzione e informazione; ma anche nella narrazione strumentale di certe tematiche portata avanti da alcuni attori (politici, influencer, mezzi d’informazione …) attraverso le piattaform

Se l’obiettivo è quello di invertire certe derive pericolose della nostra società, allora correggere le distorsioni e i difetti nell’attività di moderazione dei social media potrebbe rappresentare un buon inizio – ma di strada da fare per cambiare davvero le cose ne rimarrebbe ancora tanta.

---

Nota Le considerazioni espresse in questo articolo sono state fatte prendendo in esame l’operato degli amministratori di Facebook perché è il social network più utilizzato e quello che ho scelto per segnalare i commenti incitanti all’odio, ma i tanti casi che hanno guadagnato l’attenzione dei mezzi d’informazione mostrano come possano essere facilmente estese ad altre grandi piattaforme come Instagram, Twitter, Youtube.