June 30, 2021
De parte de Nodo50
2,402 puntos de vista

Mantero, moro o sudaca son algunos de los t茅rminos que podr铆an conllevar la eliminaci贸n o bloqueo de contenidos en Internet de ser considerados il铆citos, seg煤n el Protocolo para combatir el discurso de odio Ilegal en l铆nea, publicado el pasado 18 de marzo por la Secretar铆a de Estado de Migraciones del Ministerio de Inclusi贸n, Seguridad Social y Migraciones. Pero no son los 煤nicos. Diversos especialistas observan con preocupaci贸n c贸mo en el elenco de palabras clave, que han servido para entrenar a un algoritmo rastreador de los discursos de odio, se han introducido conceptos como frontera, boicot o sionismo. Un ejemplo a modo de resumen: 驴las cr铆ticas a las pol铆ticas del Estado de Israel podr铆an ser consideradas racistas y, por tanto, ser eliminadas de la Red?

El Observatorio Espa帽ol de Racismo y la Xenofobia (OBERAXE), 贸rgano dependiente de la Secretar铆a General de Inmigraci贸n y Emigraci贸n, coordina este protocolo, en el que han participado diversas organizaciones de la sociedad civil. El instrumento sobre delitos de odio se basa en el C贸digo de Conducta de la Comisi贸n Europea de 2016 con las empresas en Internet y en la Recomendaci贸n de 2018 sobre medidas para combatir eficazmente estos contenidos en l铆nea.

La propia recomendaci贸n recuerda en su art铆culo 19 que, para evitar la retirada de contenidos l铆citos, 鈥渄eben existir salvaguardias eficaces y apropiadas鈥 ya que, de lo contrario, supondr铆a una colisi贸n con la libertad de expresi贸n, derivada de la 鈥渞etirada o el bloqueo de los contenidos considerados il铆citos鈥.

Bajo sospecha inicial

Seg煤n la p谩gina web de la Secretar铆a de Estado, este protocolo nace con 鈥渓a vocaci贸n de ser una gu铆a para la cooperaci贸n y la colaboraci贸n entre los actores institucionales de la sociedad civil y las empresas de servicios de alojamiento de datos para prevenir, eliminar y combatir el discurso de odio ilegal en l铆nea鈥.

Para ello, se plantea un proceso con tres fases: la recolecci贸n de contenidos con diferentes criterios por medio de un listado o banco de palabras; un algoritmo construido en el proyecto europeo ALRECO, al que se le va entrenando para que identifique contenidos susceptibles de ser considerados discursos de odio y, posteriormente, su revisi贸n por 鈥渦na persona para asegurar que el algoritmo lo ha hecho correctamente鈥, seg煤n explica Karoline Fern谩ndez de la Hoz, directora del OBERAXE.

Tras reconocer que 鈥渢oda inteligencia artificial no es perfecta鈥, Lena de Botton, investigadora del proyecto ALRECO que ha dado lugar al protocolo y profesora de la Universitat de Barcelona, afirma que la finalidad de la investigaci贸n es el monitoreo y la evaluaci贸n del discurso del odio racista, xen贸fobo, islam贸fobo, antisemita y antigitano en la Red, para lo cual se han dise帽ado unos indicadores de alerta temprana que eval煤an la intensidad, gravedad, distribuci贸n y potencial impacto de este contenido en l铆nea.

鈥淣o hay claridad sobre cu谩les son los criterios detr谩s de esas intensidades y si est谩n relacionados con los propuestos por el Plan de Acci贸n de Rabat para prohibir contenidos que inciten a la violencia y al odio鈥, se帽ala Paulina Guti茅rrez, de la organizaci贸n internacional Art铆culo 19, consagrada a la libertad de expresi贸n y al derecho a la informaci贸n. Guti茅rrez se refiere a los seis par谩metros para evaluar un determinado discurso de odio, seg煤n la compilaci贸n que Naciones Unidas elabor贸 en Marruecos en 2012.

Intensidades

Como la abogada de la ONG, otros miembros de la sociedad civil y del 谩mbito acad茅mico muestran su preocupaci贸n frente a los riesgos del protocolo, cuya aplicaci贸n podr铆a conllevar tanto al bloqueo y/o eliminaci贸n de mensajes en Internet, como el inicio de un procedimiento judicial contra las personas que emitiesen dichos contenidos supuestamente il铆citos.

Conceptos enredados

Entre los conceptos utilizados para la captura autom谩tica de mensajes se encuentran t茅rminos como machupichu o conguito. Pero, tal y como ha podido saber La Marea, en este banco de palabras tambi茅n hay vocablos como frontera, boicot, expulsi贸n, nazi o sionista.

Palabras para la captura de tuits (provisional)

El profesor de Derecho Constitucional de la Universidad de Sevilla V铆ctor V谩zquez explica el riesgo que existe en la utilizaci贸n de estos conceptos. 鈥淣o se justifica en ning煤n caso la inclusi贸n dentro del algoritmo de t茅rminos que permitan un sesgo ideol贸gico, ya que el mismo puede condicionar el debate de inter茅s p煤blico que se produce en redes sociales, que, recordemos, son empresas oligop贸licas. Es un problema que podr铆a generar censura y que atenta contra el pluralismo鈥, afirma.

Otra estrategia manejada para la creaci贸n del banco de palabras ha sido el an谩lisis de 20 perfiles de usuarios de Twitter espa帽oles (y escritos en castellano) que eran, 鈥渄e manera obvia y ostentosa, racistas鈥, seg煤n el documento de presentaci贸n del protocolo y sistema de indicadores. De los 50 hashtags frecuentes examinados en el modelo piloto, la mitad se refirieron a contenido relacionado con los derechos humanos y a determinadas opiniones y actividades pol铆ticas, como las promovidas por el movimiento de Boicot, Desinversi贸n y Sanciones (BDS) a Israel.

Hashtags frecuentes en los usuarios racistas

Seg煤n todos los especialistas consultados, esta elecci贸n de la muestra podr铆a provocar un sesgo en la base de datos inicial dif铆cil de corregir durante el proceso de entrenamiento y perfeccionamiento del algoritmo, ya que el proceso de an谩lisis autom谩tico se cimienta en estas palabras.

V铆ctor V谩zquez recalca la importancia de la elecci贸n de estos t茅rminos clave en el protocolo, al examinar los resultados de su fase piloto. 鈥淧odr铆a suponer un problema de censura pol铆tica que afectar铆a a la neutralidad de contenido en la web鈥, explica el profesor universitario, suponiendo una sospecha inicial de discurso del odio que puede enmascarar una estigmatizaci贸n de determinadas opiniones pol铆ticas, como se observa en el caso del sionismo.

Sin embargo, para Lena de Botton, la incorporaci贸n de esta palabra en el banco de t茅rminos pretende 鈥渞ecoger un nuevo antisemitismo que se esconde en el antisionismo鈥. Esta 鈥渘ueva judeofobia鈥, como la define la profesora, fue un acuerdo conjunto de todos los miembros del consorcio y se inspira en la definici贸n de la Alianza Internacional para el Recuerdo del Holocausto (IHRA por sus siglas en ingl茅s).

La ideolog铆a vinculada al apoyo y defensa del Estado de Israel posee cr铆ticas de distintas personas y colectivos, como los activistas del movimiento BDS. Alys Samson Estap茅, de BDS Catalunya, lo tiene claro e incide en que el 鈥淏DS es antirracista鈥. Seg煤n la activista, 鈥渃onsiderar el antisionismo como indicio de delito de odio es una medida para silenciar las voces palestinas que denuncian la vulneraci贸n de sus derechos humanos. Israel y sus aliados pretenden manipular la definici贸n de antisemitismo para evitar incluir en 茅l la cr铆tica leg铆tima al apartheid israel铆鈥.

Hashtags frecuentes en los usuarios racistas

En este sentido, Laia Serra, abogada y autora de la investigaci贸n Discurso de incitaci贸n al odio: An谩lisis desde los derechos humanos y pautas interpretativas, opina que este tipo de herramientas poseen otro riesgo a帽adido: 鈥淟os colectivos que enfrentan los discursos de incitaci贸n al odio pueden estar legitim谩ndolas, desconociendo que, en nombre de su protecci贸n, se puede instaurar una herramienta que restrinja la libertad de expresi贸n colectiva y sus propias manifestaciones cr铆ticas鈥.

Discursos de odio: 驴son posibles los matices y la iron铆a?

El mecanismo propuesto por la Secretar铆a de Estado para las Migraciones utiliza la inteligencia artificial para identificar contenidos con discursos de odio en l铆nea. Seg煤n explica la investigadora de la Universitat de Barcelona, el algoritmo rastreador se entrena en base al listado de palabras elegido previamente, por medio de personas que, durante meses, han etiquetado miles de tuits por intensidades y categor铆as. Una vez terminada esa fase, la propia inteligencia artificial analiza de forma autom谩tica el contenido en red, por un proceso denominado machine learning.

Diversas investigaciones han demostrado que existen dos situaciones potencialmente peligrosas relacionadas con el sistema de moderaci贸n de contenidos en l铆nea que, eventualmente, pueden considerarse discursos de odio: 鈥淓n primer lugar, las palabras clave que se usen para encontrar contenido ser谩n necesariamente parciales e incompletas. Y despu茅s, si se conf铆a solo en la inteligencia artificial para decirle al algoritmo qu茅 contenido es un discurso de odio, se cometer谩n errores. Porque los modelos de inteligencia artificial para la detecci贸n del odio todav铆a tienen fallas鈥, explica Paul Rottger, investigador del Oxford Internet Institute.

Rottger es coautor del estudio HateCheck publicado el 27 de mayo. En 茅l, diversos cient铆ficos analizan los cuatro sistemas de inteligencia artificial comerciales y acad茅micos para detectar discursos de odio. 鈥淭odav铆a no existe inteligencia artificial capaz de comprender todos los matices del discurso de odio鈥, afirma el investigador.

Las herramientas automatizadas no son capaces de identificar el sarcasmo, la iron铆a o la reapropiaci贸n de ciertas palabras por parte de colectivos vulnerados. Por ejemplo, algunas personas del colectivo LGBTIQ+ utilizan palabras como bollera o maricona para nombrarse, articulando respuestas a los discursos ofensivos.

Ahondando en esta idea, la abogada Laia Serra concluye que 鈥渓a m谩quina nunca puede reconocer las intenciones ni los contextos que hay detr谩s de esas palabras, que se usan para da帽ar, pero tambi茅n para ejercer cr铆tica leg铆tima. Actualmente, ning煤n ajuste durante el proceso de entrenamiento del algoritmo puede asegurar la eliminaci贸n del sesgo inicial鈥.

La falta de transparencia es otro de los riesgos identificados por la penalista. 鈥淓l autoaprendizaje genera el llamado fen贸meno black box. Esto es, que ni los propios creadores del algoritmo de rastreo pueden explicar el mecanismo que le lleva a identificar un contenido como discurso de incitaci贸n al odio. Luego, 驴c贸mo podremos discutir el criterio y ante qui茅n protestaremos por la censura algor铆tmica?鈥.




Fuente: Lamarea.com