Mantero, moro o sudaca son algunos de los términos que podrían conllevar la eliminación o bloqueo de contenidos en Internet de ser considerados ilícitos, según el Protocolo para combatir el discurso de odio Ilegal en línea, publicado el pasado 18 de marzo por la Secretaría de Estado de Migraciones del Ministerio de Inclusión, Seguridad Social y Migraciones. Pero no son los únicos. Diversos especialistas observan con preocupación cómo en el elenco de palabras clave, que han servido para entrenar a un algoritmo rastreador de los discursos de odio, se han introducido conceptos como frontera, boicot o sionismo. Un ejemplo a modo de resumen: ¿las críticas a las políticas del Estado de Israel podrían ser consideradas racistas y, por tanto, ser eliminadas de la Red?

El Observatorio Español de Racismo y la Xenofobia (OBERAXE), órgano dependiente de la Secretaría General de Inmigración y Emigración, coordina este protocolo, en el que han participado diversas organizaciones de la sociedad civil. El instrumento sobre delitos de odio se basa en el Código de Conducta de la Comisión Europea de 2016 con las empresas en Internet y en la Recomendación de 2018 sobre medidas para combatir eficazmente estos contenidos en línea.

La propia recomendación recuerda en su artículo 19 que, para evitar la retirada de contenidos lícitos, “deben existir salvaguardias eficaces y apropiadas” ya que, de lo contrario, supondría una colisión con la libertad de expresión, derivada de la “retirada o el bloqueo de los contenidos considerados ilícitos”.

Bajo sospecha inicial

Según la página web de la Secretaría de Estado, este protocolo nace con “la vocación de ser una guía para la cooperación y la colaboración entre los actores institucionales de la sociedad civil y las empresas de servicios de alojamiento de datos para prevenir, eliminar y combatir el discurso de odio ilegal en línea”.

Para ello, se plantea un proceso con tres fases: la recolección de contenidos con diferentes criterios por medio de un listado o banco de palabras; un algoritmo construido en el proyecto europeo ALRECO, al que se le va entrenando para que identifique contenidos susceptibles de ser considerados discursos de odio y, posteriormente, su revisión por “una persona para asegurar que el algoritmo lo ha hecho correctamente”, según explica Karoline Fernández de la Hoz, directora del OBERAXE.

Tras reconocer que “toda inteligencia artificial no es perfecta”, Lena de Botton, investigadora del proyecto ALRECO que ha dado lugar al protocolo y profesora de la Universitat de Barcelona, afirma que la finalidad de la investigación es el monitoreo y la evaluación del discurso del odio racista, xenófobo, islamófobo, antisemita y antigitano en la Red, para lo cual se han diseñado unos indicadores de alerta temprana que evalúan la intensidad, gravedad, distribución y potencial impacto de este contenido en línea.

“No hay claridad sobre cuáles son los criterios detrás de esas intensidades y si están relacionados con los propuestos por el Plan de Acción de Rabat para prohibir contenidos que inciten a la violencia y al odio”, señala Paulina Gutiérrez, de la organización internacional Artículo 19, consagrada a la libertad de expresión y al derecho a la información. Gutiérrez se refiere a los seis parámetros para evaluar un determinado discurso de odio, según la compilación que Naciones Unidas elaboró en Marruecos en 2012.

Como la abogada de la ONG, otros miembros de la sociedad civil y del ámbito académico muestran su preocupación frente a los riesgos del protocolo, cuya aplicación podría conllevar tanto al bloqueo y/o eliminación de mensajes en Internet, como el inicio de un procedimiento judicial contra las personas que emitiesen dichos contenidos supuestamente ilícitos.

Conceptos enredados

Entre los conceptos utilizados para la captura automática de mensajes se encuentran términos como machupichu o conguito. Pero, tal y como ha podido saber La Marea, en este banco de palabras también hay vocablos como frontera, boicot, expulsión, nazi o sionista.

El profesor de Derecho Constitucional de la Universidad de Sevilla Víctor Vázquez explica el riesgo que existe en la utilización de estos conceptos. “No se justifica en ningún caso la inclusión dentro del algoritmo de términos que permitan un sesgo ideológico, ya que el mismo puede condicionar el debate de interés público que se produce en redes sociales, que, recordemos, son empresas oligopólicas. Es un problema que podría generar censura y que atenta contra el pluralismo”, afirma.

Otra estrategia manejada para la creación del banco de palabras ha sido el análisis de 20 perfiles de usuarios de Twitter españoles (y escritos en castellano) que eran, “de manera obvia y ostentosa, racistas”, según el documento de presentación del protocolo y sistema de indicadores. De los 50 hashtags frecuentes examinados en el modelo piloto, la mitad se refirieron a contenido relacionado con los derechos humanos y a determinadas opiniones y actividades políticas, como las promovidas por el movimiento de Boicot, Desinversión y Sanciones (BDS) a Israel.

Según todos los especialistas consultados, esta elección de la muestra podría provocar un sesgo en la base de datos inicial difícil de corregir durante el proceso de entrenamiento y perfeccionamiento del algoritmo, ya que el proceso de análisis automático se cimienta en estas palabras.

Víctor Vázquez recalca la importancia de la elección de estos términos clave en el protocolo, al examinar los resultados de su fase piloto. “Podría suponer un problema de censura política que afectaría a la neutralidad de contenido en la web”, explica el profesor universitario, suponiendo una sospecha inicial de discurso del odio que puede enmascarar una estigmatización de determinadas opiniones políticas, como se observa en el caso del sionismo.

Sin embargo, para Lena de Botton, la incorporación de esta palabra en el banco de términos pretende “recoger un nuevo antisemitismo que se esconde en el antisionismo”. Esta “nueva judeofobia”, como la define la profesora, fue un acuerdo conjunto de todos los miembros del consorcio y se inspira en la definición de la Alianza Internacional para el Recuerdo del Holocausto (IHRA por sus siglas en inglés).

La ideología vinculada al apoyo y defensa del Estado de Israel posee críticas de distintas personas y colectivos, como los activistas del movimiento BDS. Alys Samson Estapé, de BDS Catalunya, lo tiene claro e incide en que el “BDS es antirracista”. Según la activista, “considerar el antisionismo como indicio de delito de odio es una medida para silenciar las voces palestinas que denuncian la vulneración de sus derechos humanos. Israel y sus aliados pretenden manipular la definición de antisemitismo para evitar incluir en él la crítica legítima al apartheid israelí”.

En este sentido, Laia Serra, abogada y autora de la investigación Discurso de incitación al odio: Análisis desde los derechos humanos y pautas interpretativas, opina que este tipo de herramientas poseen otro riesgo añadido: “Los colectivos que enfrentan los discursos de incitación al odio pueden estar legitimándolas, desconociendo que, en nombre de su protección, se puede instaurar una herramienta que restrinja la libertad de expresión colectiva y sus propias manifestaciones críticas”.

Discursos de odio: ¿son posibles los matices y la ironía?

El mecanismo propuesto por la Secretaría de Estado para las Migraciones utiliza la inteligencia artificial para identificar contenidos con discursos de odio en línea. Según explica la investigadora de la Universitat de Barcelona, el algoritmo rastreador se entrena en base al listado de palabras elegido previamente, por medio de personas que, durante meses, han etiquetado miles de tuits por intensidades y categorías. Una vez terminada esa fase, la propia inteligencia artificial analiza de forma automática el contenido en red, por un proceso denominado machine learning.

Diversas investigaciones han demostrado que existen dos situaciones potencialmente peligrosas relacionadas con el sistema de moderación de contenidos en línea que, eventualmente, pueden considerarse discursos de odio: “En primer lugar, las palabras clave que se usen para encontrar contenido serán necesariamente parciales e incompletas. Y después, si se confía solo en la inteligencia artificial para decirle al algoritmo qué contenido es un discurso de odio, se cometerán errores. Porque los modelos de inteligencia artificial para la detección del odio todavía tienen fallas”, explica Paul Rottger, investigador del Oxford Internet Institute.

Rottger es coautor del estudio HateCheck publicado el 27 de mayo. En él, diversos científicos analizan los cuatro sistemas de inteligencia artificial comerciales y académicos para detectar discursos de odio. “Todavía no existe inteligencia artificial capaz de comprender todos los matices del discurso de odio”, afirma el investigador.

Las herramientas automatizadas no son capaces de identificar el sarcasmo, la ironía o la reapropiación de ciertas palabras por parte de colectivos vulnerados. Por ejemplo, algunas personas del colectivo LGBTIQ+ utilizan palabras como bollera o maricona para nombrarse, articulando respuestas a los discursos ofensivos.

Ahondando en esta idea, la abogada Laia Serra concluye que “la máquina nunca puede reconocer las intenciones ni los contextos que hay detrás de esas palabras, que se usan para dañar, pero también para ejercer crítica legítima. Actualmente, ningún ajuste durante el proceso de entrenamiento del algoritmo puede asegurar la eliminación del sesgo inicial”.

La falta de transparencia es otro de los riesgos identificados por la penalista. “El autoaprendizaje genera el llamado fenómeno black box. Esto es, que ni los propios creadores del algoritmo de rastreo pueden explicar el mecanismo que le lleva a identificar un contenido como discurso de incitación al odio. Luego, ¿cómo podremos discutir el criterio y ante quién protestaremos por la censura algorítmica?”.

Combatir las fake news y los discursos de odio Los discursos de odio modifican la percepciÓn del migrante en la frontera sur de mÉxico “Los discursos de odio anteceden a los crímenes de odio” (Vídeo) Donostia: El discurso de odio, la ideologia del odio, los mensajes del odio vuelven a ser protegidos por la ertzaintza de Urkullu y Erkoreka Verano 2021: plan específico de la Inspección de Trabajo para combatir riesgos de los golpes de calor [Prisiones chilenas] LOS RIESGOS DE LA MULTIFORMIDAD Los riesgos de la multiformidad– PALABRAS DEL PRISIONERO ANARQUISTA FRANCISCO SOLAR La ESI y los discursos de odio en los medios Los discursos del Odio El Salvador: entre los discursos de odio y la negación del pasado Una clase politica y unas instituciones superadas por su incompetencia, estiran una alfombra roja a los discursos del odio en Nafarroa La invasión de los discursos de odio (21/12/2021). Instituciones y partidos vascos piden no bajar la guardia ante los discursos de odio