5 reflexiones sobre la moderación de contenidos en línea, desde adentro

Durante los últimos años trabajé en diferentes rincones de lo que, en términos generales, podría llamarse industria de la moderación de contenidos. Primero como contratista y luego como empleada de muy conocidas redes sociales, donde el trabajo cotidiano está íntimamente ligado a consecuencias sociales cruciales en diferentes partes del mundo.

Las decisiones tomadas por esa industria pueden definir qué cuenta como identidad real, el nivel de desnudez considerado socialmente aceptable e incluso qué imágenes de guerra quedarán en la memoria colectiva de la sociedad. Estas decisiones a menudo son polémicas y, por buenas razones, deberían ser constantemente cuestionadas y debatidas en forma abierta.

Mucho antes de que las prácticas de moderación de contenidos de Silicon Valley llegaran a los titulares de los periódicos, muchas organizaciones especializadas que trabajan en la intersección de la tecnología y los derechos humanos cuestionaron a las redes sociales por sus prácticas y les exigieron mayor transparencia y procesos de asunción de responsabilidades. A pesar de ello, el debate sigue permeado generalmente por mitos que solo sirven para diluir la realidad y volver más confusas las prácticas más cuestionables de la industria.

Muchas organizaciones especializadas que trabajan en la intersección de la tecnología y los derechos humanos cuestionaron a las redes sociales por sus prácticas y les exigieron mayor transparencia y procesos de asunción de responsabilidades

Estos mitos son una de las razones para seguir exigiendo mayor transparencia en la moderación de contenidos, no sólo en cuanto a los valores que orientan las intenciones, sino también en cuanto a los procesos, las prácticas laborales y su implementación. Tal vez yo sea ingenua pero aún creo que hay personas en la industria con las mejores intenciones de apoyar y proteger a usuarios y usuarias. De todos modos, muchas veces quedan atrapadas en medio de un debate entre directivos de la industria y el público, en un tono algo alejado de la realidad de su trabajo diario. Por todo esto quiero insistir en cinco aspectos de la moderación de contenidos que deberían permanecer al frente de toda discusión.

1. Las empresas de tecnología se equivocan a cada rato

Resulta interesante comprobar hasta qué grado las personas siguen creyendo que las empresas de Silicon Valley son maquinarias precisas, casi mágicas. Como consumidores/as nos acostumbramos a deificar la intrusión de la tecnología en nuestra vida cotidiana, sólo para luego denigrarla cuando no cumple con nuestras expectativas. Esto no es del todo erróneo. Las empresas estadounidenses se basan en realidades políticas y económicas que sin duda sesgan sus tendencias. Sin embargo, muy a menudo la mejor metáfora de cómo opera la censura de contenidos es el principio de Hanlon: no atribuyas a la maldad lo que puede ser explicado por la estupidez. Los errores se producen a cada rato, pero pocas veces llegan a las noticias.

Categorizarlos como acciones intencionales solo agrega a la confusión general. Es importante que la gente sepa la diferencia entre la consecuencia no intencional de una acción intencional y las instancias donde el proceso intencional de toma de decisiones falla, por una razón u otra.

2. La llamada automatización depende de trabajo humano poco reconocido.

The Cleaners es un importante documental que pone de relieve la realidad de la moderación de contenidos como práctica laboral. Aunque no muestra todo el cuadro, deja ver hasta qué punto es necesario ese trabajo humano oculto para producir plataformas en línea ‘limpias’. Las personas que realizan esta tarea, por lo general en empresas tercerizadas, se hallan entre las primeras que ven el contenido denunciado antes de que se vuelva viral o antes de que llegue a las noticias. Sus decisiones rutinarias pueden tener un impacto tan impredecible como desproporcionado. Tal vez una consecuencia inevitable de las plataformas donde se comparte contenido es que esta forma de trabajo es necesaria.

De todos modos, y si éste fuera el caso, debería prestarse más atención y realizar un debate abierto sobre las condiciones de este trabajo y una legislación más clara sobre cómo están representados los intereses de los/as trabajadores/as individuales dentro de las empresas. No sólo por su propio beneficio, sino también para bien general, ya que son quienes más conocen la actividad de la moderación de contenidos y deberían tener más poder para delinear esa actividad.

3. Importan más los procesos que los valores

Dentro del mundo digital el discurso empresario tiende a resaltar que los procesos de toma de decisiones tienen como marco misiones que a su vez se orientan por valores. Estos valores pueden ser ‘privacidad’, ‘autenticidad’, ‘igualdad de género’ o cualquier otra cosa que suene bien. Sin embargo, el uso de estas expresiones es también la forma más rápida de esconder la realidad de los procesos. La verdad es que ninguna de ellas significa nada fuera de contexto.

Periodistas, activistas y diseñadores/as de políticas deberían cuestionar los procesos antes que los resultados. Nymwars señala cómo incluso algo aparentemente simple y directo como un nombre puede tener distintas implicaciones en diferentes sociedades. Debería haber un debate acerca de la configuración de cada valor promovido por cada plataforma. Esto es especialmente importante para problemáticas relacionadas con la seguridad, como la privacidad y el bullying, que pueden adoptar distintas formas en diferentes lugares.

Periodistas, activistas y diseñadores/as de políticas deberían cuestionar los procesos antes que los resultados

4. Y nadie sabe tanto sobre la totalidad del proceso

Este sea tal vez el problema más importante en la moderación de contenidos. Entre quienes toman las decisiones y las personas responsables de implementar esas decisiones existe una enorme pirámide de diseñadores/as, traductores/as, programadores/as, educadores/as y gerentes que informan a otros/as gerentes. Sería difícil exagerar cuán caótica es toda la operación. Esto torna muy complicado atribuir responsabilidades pues el conocimiento se reparte entre muchos equipos, internos y externos, cada uno con una pericia específica pero también con un acceso limitado al cuadro mayor.

Las personas que más conocen sobre moderación de contenidos son las que revisan en primer lugar. Sin embargo, tienden a ser las que cuentan con menos poder de decisión para arreglar lo que está mal. Si combinamos esto con documentación mínima y cambios constantes en tecnología, herramientas y políticas – el resultado es que nadie puede describir con seguridad la totalidad del proceso de toma de decisiones una vez que se ha realizado una denuncia.

También significa que los empleados y empleadas que se encargan de las relaciones con el público, quienes deben responder a las preguntas de la prensa, suelen ser quienes tienen menos comprensión de los temas en discusión. La escala y complejidad de cada uno de los temas es tan abrumadora que la mayoría de las veces nadie sabe demasiado acerca de nada que esté fuera de su esfera de pericia directa. El hecho de que la propiedad y autoría de los procesos esté tan diluida debería ser la razón principal por la que no debería permitirse que las compañías tecnológicas operen en secreto.

El hecho de que la propiedad y autoría de los procesos esté tan diluida debería ser la razón principal por la que no debería permitirse que las compañías tecnológicas operen en secreto

5. La conformación de los datos importa

El motivo por el que gran parte de la moderación de contenidos continúa siendo un proceso que demanda un trabajo intensivo es que la tecnología suele ser mucho más boba de lo que creemos. Un libro reciente de Safiya Noble, Algorithms of Oppression: How Search Engines Reinforce Racism [Algoritmos de opresión. Cómo los motores de búsqueda refuerzan el racismo], demuestra hasta qué punto los datos reflejan, amplifican y refuerzan cada tendencia humana. Los datos está dando forma al mundo y lo que sabemos del mundo, y esto se está convirtiendo en un problema del modo en que leemos la realidad en todos los niveles. Con un aumento de la preocupación sobre la desinformación en línea y presiones sobre las empresas de redes sociales para abordar esa desinformación, debemos primero comenzar a pensar si realmente queremos que las empresas de redes sociales se conviertan en “policías de la verdad” y qué significa para la alfabetización en contenidos digitales si construimos la expectativa creciente de que el mundo digital es un espejo en línea de la realidad fuera de línea.

Los datos está dando forma al mundo y lo que sabemos del mundo, y esto se está convirtiendo en un problema del modo en que leemos la realidad en todos los niveles