Censura algorísmica, la millor eina contra els discursos d'odi en línia?

🎙Xarxa de Ràdios Comunitàries de Barcelona
🎙Spotify
🎙Ivoox

Davant la creixent preocupació per la propagació dels discursos d'odi a Internet i, sobretot, en les plataformes socials, el Ministeri d'Inclusió, Seguretat Social i Migracions ha donat a conèixer un protocol algorísmic l'objectiu del qual és automatitzar la detecció d'aquests discursos il·legals. Es tracta d'un sistema de processament de llenguatge natural, entrenat en base a una sèrie de paraules clau, que es consideren determinants en la detecció de possibles discursos d'odi.

Aquesta decisió s'emmarca en un context d'auge de l'ús de sistemes d'intel·ligència artificial per part de les institucions públiques que, no obstant això, queda sovint fora del coneixement i el debat públic. Aquesta ponència analitza aquesta problemàtica des de la perspectiva de la democràcia, la justícia social i la defensa dels drets humans.

Una primera qüestió a valorar és com aquest sistema pot afectar la societat i, en aquest cas particular, al compliment de drets fonamentals com la privacitat, la protecció de dades o la llibertat d'expressió. Perquè aquesta reflexió pugui donar-se cal reivindicar, d'una banda, transparència sobre els seus objectius, els actors implicats en la seva adopció, les persones o els grups afectats, etc. i, de l'altra, cal ressaltar la importància d'establir un consens social al respecte.

En segon lloc, és important parar atenció als aspectes més tècnics d'aquesta eina tecnològica, per valorar si s'adapta de forma coherent a la realitat social en què opera. Això implica conèixer com es configuren: en base a quins criteris es programa, quina és la seva forma d'aprenentatge, els potencials biaixos implícits, etc. En la majoria dels casos, aquests sistemes operen com caixes negres, impedint la comprensió, el control democràtic i, fins i tot, la traçabilitat dels motius que porten a la decisió final.

L'algorisme que s'inclou en aquest protocol de Govern és un assaig pilot. Però, quin serà el seu impacte quan es comenci a fer servir? En el camp de la llibertat d'expressió, les empreses gestores de les plataformes socials porten anys rebent crítiques per l'opacitat dels seus criteris de moderació de continguts, que ni són públics ni respecten els estàndards internacionals. El fet que ara les institucions públiques tractin d'establir un protocol que superi aquest monopoli de les empreses privades, és una bona notícia. Però, per evitar que les eines públiques caiguin en els mateixos problemes d'opacitat i funcionament antidemocràtic que ja existien fins al moment, cal promoure el debat ciutadà, lliure i informat, sobre el tipus de tecnologia que volem i per a què la volem, i també establir mecanismes efectius de control i decisió col·lectiva.

* Aquesta sessió es realitzarà en castellà. NO es transmetran per streaming.