Cambios en "Censura algorítmica, ¿la mejor herramienta contra los discursos de odio en línea? "

Davant la creixent preocupació per la propagació dels discursos d'odi a Internet i, sobretot, en les plataformes socials, el Ministeri d'Inclusió, Seguretat Social i Migracions ha donat a conèixer un protocol algorísmic l'objectiu del qual és automatitzar la detecció d'aquests discursos il·legals. Es tracta d'un sistema de processament de llenguatge natural, entrenat en base a una sèrie de paraules clau, que es consideren determinants en la detecció de possibles discursos d'odi.

Aquesta decisió s'emmarca en un context d'auge de l'ús de sistemes d'intel·ligència artificial per part de les institucions públiques que, no obstant això, queda sovint fora del coneixement i el debat públic. Aquesta ponència analitza aquesta problemàtica des de la perspectiva de la democràcia, la justícia social i la defensa dels drets humans.

Una primera qüestió a valorar és com aquest sistema pot afectar la societat i, en aquest cas particular, al compliment de drets fonamentals com la privacitat, la protecció de dades o la llibertat d'expressió. Perquè aquesta reflexió pugui donar-se cal reivindicar, d'una banda, transparència sobre els seus objectius, els actors implicats en la seva adopció, les persones o els grups afectats, etc. i, de l'altra, cal ressaltar la importància d'establir un consens social al respecte.

En segon lloc, és important parar atenció als aspectes més tècnics d'aquesta eina tecnològica, per valorar si s'adapta de forma coherent a la realitat social en què opera. Això implica conèixer com es configuren: en base a quins criteris es programa, quina és la seva forma d'aprenentatge, els potencials biaixos implícits, etc. En la majoria dels casos, aquests sistemes operen com caixes negres, impedint la comprensió, el control democràtic i, fins i tot, la traçabilitat dels motius que porten a la decisió final.

L'algorisme que s'inclou en aquest protocol de Govern és un assaig pilot. Però, quin serà el seu impacte quan es comenci a fer servir? En el camp de la llibertat d'expressió, les empreses gestores de les plataformes socials porten anys rebent crítiques per l'opacitat dels seus criteris de moderació de continguts, que ni són públics ni respecten els estàndards internacionals. El fet que ara les institucions públiques tractin d'establir un protocol que superi aquest monopoli de les empreses privades, és una bona notícia. Però, per evitar que les eines públiques caiguin en els mateixos problemes d'opacitat i funcionament antidemocràtic que ja existien fins al moment, cal promoure el debat ciutadà, lliure i informat, sobre el tipus de tecnologia que volem i per a què la volem, i també establir mecanismes efectius de control i decisió col·lectiva.

* Aquesta sessió es realitzarà en castellà. NO es transmetran per streaming.

Ante la creciente preocupación por la propagación de los discursos de odio en Internet y, en especial, en las plataformas sociales, el Ministerio de Inclusión, Seguridad Social y Migraciones ha dado a conocer un protocolo algorítmico cuyo objetivo es automatizar la detección de estos discursos ilegales. Se trata de un sistema de procesamiento del lenguaje natural, entrenado en base a una serie de palabras clave, que se consideran determinantes en la detección de posibles discursos de odio. 

Esta decisión se enmarca en un contexto de auge del uso de sistemas de inteligencia artificial por parte de las instituciones públicas que, no obstante, queda a menudo fuera del conocimiento y el debate público. Esta ponencia analiza esta problemática desde la perspectiva de la democracia, la justicia social y la defensa de los derechos humanos.

Una primera cuestión a valorar es cómo este sistema puede afectar a la sociedad y, en este caso particular, al cumplimiento de derechos fundamentales como la privacidad, la protección de datos o la libertad de expresión. Para que esta reflexión pueda darse cabe reivindicar, por una parte, transparencia sobre sus objetivos, los actores implicados en su adopción, las personas o los grupos afectados, etc. y, por otra, cabe resaltar la importancia de establecer un consenso social al respecto.

En segundo lugar, es importante prestar atención a los aspectos más técnicos de esta herramienta tecnológica, para valorar si se adapta de forma coherente a la realidad social en la que opera. Esto implica conocer cómo se configuran: en base a qué criterios se programa, cuál es su forma de aprendizaje, los potenciales sesgos implícitos, etc. En la mayoría de los casos, estos sistemas operan como cajas negras, impidiendo la comprensión, el control democrático, e incluso la trazabilidad de los motivos que llevan a la decisión final.

El algoritmo que se incluye en este protocolo del Gobierno es un ensayo piloto. ¿Pero cuál será su impacto cuando se empiece a usar? En el campo de la libertad de expresión, las empresas gestoras de las plataformas sociales llevan años recibiendo críticas por la opacidad de sus criterios de moderación de contenidos, que ni son públicos ni respetan los estándares internacionales. El hecho de que ahora las instituciones públicas traten de establecer un protocolo que supere este monopolio de las empresas privadas, es una buena noticia. Pero, para evitar que las herramientas públicas caigan en los mismos problemas de opacidad y funcionamiento antidemocrático que ya existían hasta el momento, es necesario promover el debate ciudadano, libre e informado, sobre el tipo de tecnología que queremos y para qué la queremos, y también establecer mecanismos efectivos de control y decisión colectiva.

* Esta sesión se realizará en castellano. NO se transmitirán por streaming.

In view of the growing concern about the spread of hate speech on the Internet and especially on social platforms, the Ministry of Inclusion, Social Security and Migration has unveiled an algorithmic protocol aimed at automating the detection of such illegal speech. It is a natural language processing system, trained on the basis of a series of keywords, which are considered to be decisive in the detection of possible hate speech. 

This decision is part of a context in which the use of artificial intelligence systems by public institutions is on the rise, although it is often left out of public knowledge and debate. This paper analyses this problem from the perspective of democracy, social justice and the defence of human rights.

A first question to be assessed is how this system can affect society and, in this particular case, the fulfilment of fundamental rights such as privacy, data protection or freedom of expression. In order for this reflection to take place, it is important to demand, on the one hand, transparency about its objectives, the actors involved in its adoption, the people or groups affected, etc., and, on the other hand, the importance of establishing a social consensus on the matter.

Secondly, it is important to pay attention to the more technical aspects of this technological tool, in order to assess whether it is coherently adapted to the social reality in which it operates. This implies knowing how they are configured: on the basis of what criteria they are programmed, how they are learned, the potential biases involved, etc. In most cases, these systems operate as black boxes, preventing understanding, democratic control, and even traceability of the motives that lead to the final decision.

The algorithm included in this government protocol is a pilot test, but what will its impact be when it is put into use? In the field of freedom of expression, the companies that manage social platforms have been criticised for years for the opacity of their content moderation criteria, which are neither public nor do they respect international standards. The fact that public institutions are now trying to establish a protocol to overcome this monopoly of private companies is good news. But to prevent public tools from falling into the same problems of opacity and anti-democratic functioning that have existed up to now, it is necessary to promote free and informed citizen debate on the type of technology we want and what we want it for, and also to establish effective mechanisms for collective control and decision making.

* This session will be conducted in Spanish. It will NOT be streamed.