Por qué los moderadores no pueden proteger por sí solos a las comunidades en línea

Las comunidades en línea a menudo se anuncian como un medio para unir a la gente, pero muchas se caracterizan por un comportamiento tóxico, desde el acoso manifiesto, la incitación al odio, el trolling y el doxing hasta comentarios más casuales (aunque a menudo todavía bastante dañinos) que menosprecian y excluyen. Entre ellas se incluyen plataformas tan conocidas como Reddit, Discord y 4chan, junto con comunidades de marcas como Call of Duty. Los datos son aleccionadores: Según un informe reciente, casi uno de cada tres adolescentes ha sufrido ciberacoso, y alrededor del 15% ha perpetuado el ciberacoso contra otros. Otros informes han revelado que el 40% de todos los usuarios de Internet se han enfrentado a algún tipo de acoso en línea, y una de cada cinco mujeres ha sufrido abusos misóginos en línea. ¿Por qué está tan extendida esta toxicidad en línea? ¿Y qué hace falta para que los responsables de las plataformas le pongan freno? Para explorar estas cuestiones, analizamos 18 años de datos de una comunidad en línea para aficionados a la música electrónica de baile (EDM) en el Reino Unido, que suman más de siete millones de mensajes de 20.000 miembros. A continuación, aumentamos estos datos con siete entrevistas en profundidad con miembros de la comunidad, notas de campo de la asistencia a 15 eventos comunitarios fuera de línea y una revisión exhaustiva de la bibliografía existente para identificar cinco conceptos erróneos comunes sobre cómo y por qué surge la toxicidad en las comunidades en línea. En este artículo, desmontamos cada uno de estos mitos y ofrecemos estrategias respaldadas por la investigación para ayudar a los administradores y moderadores de plataformas a replantearse su enfoque para mitigar la toxicidad en línea. 1. Los miembros no se van tras experimentar toxicidad En primer lugar, una suposición muy extendida es que los usuarios que experimentan toxicidad en una comunidad en línea la abandonarán porque ya no les proporciona el sentimiento de pertenencia, confianza e intimidad que buscaban. Y como la participación en las comunidades en línea es voluntaria, la gente suele elegir participar por diversión y es fácil entrar o salir de estos espacios virtuales, parece natural suponer que los usuarios se irían si experimentaran un comportamiento desagradable y abusivo. Sin embargo, nuestra investigación muestra que, por el contrario, los usuarios a menudo permanecen activos a pesar de experimentar daños continuos, a veces durante años. Por ejemplo, un miembro de la comunidad que estudiamos fue objeto de ataques incesantes simplemente porque a otras personas no les gustaba el contenido que compartía. A lo largo de una serie de posts, fue agredida con insultos capacitistas. Uno de los miembros le dijo: "Eres la definición misma de la frase ignorancia/bendición, ignorante de estanque. Induces tanta ira y, sin embargo, pareces ajena a ella... Habría mucha menos negatividad si no estuvieras aquí". Otro posteó: "Pregunta/sugerencia seria para los mods/devs. ¿Podemos hacer una ronda y pagar para que le amputen las manos? No evitará que [ella] siga posteando, pero la ralentizará un poco". A pesar de estar en el extremo receptor de este torrente de abusos, la usuaria se mantuvo activa en el foro, publicando alrededor de 2.000 mensajes e iniciando 500 nuevos hilos en el año siguiente. Del mismo modo, otro miembro fue víctima de una campaña continua de acoso en la que los usuarios insultaban su aspecto e incluso le enviaban amenazas de muerte. Pero en lugar de abandonar la plataforma, reunió a sus amigos para participar en un esfuerzo de un año para silenciar a los acosadores. Incluso en los casos en los que una víctima de abusos decide abandonar la comunidad en señal de protesta, no es raro que regrese. Este fenómeno se conoce como "flouncing", o abandono dramático de una plataforma sólo para volver poco después. Fue bastante común entre los usuarios de nuestro estudio, muchos de los cuales anunciaban que abandonaban la comunidad pero al final acababan quedándose o regresando tras un breve paréntesis, sólo para volver a recibir los mismos abusos. Entonces, ¿por qué la gente no abandona estos entornos tóxicos? Descubrimos que la gente se resiste a abandonar definitivamente estas comunidades porque los lazos profundos y duraderos que a menudo se crean a lo largo de los años las convierten en espacios sociales muy importantes para sus usuarios. A pesar de recibir malos tratos, los miembros también obtienen reconocimiento y un sentimiento de pertenencia. Las comunidades también se convierten en fuentes primarias de información tanto de expertos como de personas con ideas afines; marcharse corta el acceso de los usuarios a la información. Abandonar también puede generar disrupción en el acceso al apoyo social en el que confían los usuarios para responder a sus retos personales, especialmente para aquellos para los que la comunidad sirve como vía de escape y salida para procesar y desahogar la frustración. A la luz de esta realidad, los administradores y moderadores de las plataformas no pueden dar por sentado que los usuarios abandonarán sin más las comunidades que les causen daño, porque los usuarios en línea no son consumidores puramente racionales: son miembros de una comunidad que valoran las relaciones y la lealtad a sus amigos. En su lugar, las plataformas deben tomar medidas activas para hacer frente a estas formas de toxicidad. Al fin y al cabo, si no se controlan, es probable que las personas sigan sufriendo daños durante meses o incluso años, atrapadas esencialmente en una dinámica abusiva, porque no están dispuestas a renunciar a las relaciones positivas que ofrece la comunidad. Esto acaba perjudicando tanto a los miembros individuales como a toda la comunidad, que probablemente sufrirá y se volverá menos activa a largo plazo. ¿Hay formas de evitar la toxicidad sin abandonar la comunidad? Sí. Nuestra investigación revela que las plataformas pueden mitigar los comportamientos tóxicos mediante tres estrategias principales. En primer lugar, las plataformas capacitan a los usuarios para gestionar sus interacciones ofreciéndoles herramientas como silenciar, bloquear, denunciar y funciones de filtrado de contenidos. Estos mecanismos permiten a los usuarios detener eficazmente el acoso continuado de personas concretas. En segundo lugar, las plataformas pueden establecer "refugios seguros" para los usuarios nuevos y vulnerables: espacios estrechamente moderados diseñados para apoyar a quienes acaban de unirse a la plataforma o pertenecen a comunidades nicho. Estos entornos seguros permiten a los usuarios controlar su exposición a comportamientos tóxicos al tiempo que permiten a las plataformas equilibrar la tensión entre fomentar un discurso abierto y garantizar la protección. Por último, los avances en los grandes modelos lingüísticos permiten ahora detectar en tiempo real los contenidos tóxicos, lo que brinda a los propietarios de las plataformas la oportunidad de realizar intervenciones rápidas y ampliables. Desde funciones automatizadas como el cierre temporal de temas y los "modos lentos" post-limitación hasta acciones más decisivas como las prohibiciones, la IA está ampliando el espectro de herramientas disponibles para frenar las interacciones nocivas. Sin embargo, aunque estas estrategias ofrecen valiosas defensas, son insuficientes por sí solas para proteger plenamente a los usuarios que buscan relacionarse en los medios sociales. Para fomentar un entorno en línea más seguro e inclusivo, las plataformas también deben abordar la dinámica colectiva de la toxicidad, lo que nos lleva a la siguiente creencia errónea. 2. Los comportamientos tóxicos en línea no son incidentes aislados El segundo mito común es que los comportamientos tóxicos son incidentes aislados que pueden mitigarse simplemente abordando conflictos específicos de forma puntual. Por ello, muchas plataformas se centran en difundir, mediar y arbitrar los conflictos; censurar las incidencias de comportamientos tóxicos; castigar y excluir a miembros tóxicos individuales; y cerrar ciertos hilos para restablecer la paz. De hecho, nuestra investigación demostró que la toxicidad en línea es a menudo una característica esencial de las comunidades en línea, que los usuarios reproducen y amplifican de forma proactiva. Por ejemplo, un moderador entrevistado en nuestro estudio describió cómo la eliminación de casos individuales de comportamiento tóxico no resolvía el problema de fondo porque cuando se expulsa a un acosador, "hay que llenar una especie de vacío y, la mayoría de las veces, la pobre persona a la que estaban molestando es la que da un paso al frente para ocupar el lugar de los chicos malos". Resolver conflictos puntuales no curará la toxicidad cuando ésta se reproduce mediante mecanismos de recompensa, sistemas y prácticas comunitarias que (a menudo sin querer) permiten o incluso fomentan que prosperen los comportamientos tóxicos. De hecho, a menudo vimos jerarquías comunitarias opresivas que animaban a un grupo comunitario a marginar a otros, afianzando aún más los patrones de comportamiento tóxicos. Por ejemplo, algunos grupos comunitarios ofrecían premios que celebraban a los "toreros" agresivos en línea que humillaban a otros para entretenimiento de una audiencia. Los diseños y algoritmos de las plataformas suelen recompensar las expresiones intensas de rabia y odio porque impulsan los clics y los comentarios a corto plazo, mientras que las prácticas de moderación de no intervención y laissez-faire empujan a muchos usuarios hacia el vigilantismo como estrategia pragmática para defender a su comunidad, lo que a menudo agrava aún más el conflicto. Abordar esta toxicidad sistémica requiere una transformación estructural. Las plataformas deben identificar las estructuras comunitarias tóxicas y sustituirlas por alternativas más saludables, ya sea cuestionando las jerarquías existentes entre los miembros, cambiando los algoritmos de recomendación, replanteándose las prácticas de moderación de contenidos o realizando otros cambios estructurales. Como ejemplo, los periodistas han informado de que la eliminación del subreddit "incel" (célibe involuntario), con 40.000 miembros, resultó ineficaz para suprimir esta comunidad a menudo tóxica, ya que los miembros simplemente se trasladaron a otras plataformas. Sin embargo, la creación de un espacio alternativo en Reddit llamado "IncelExit" ha resultado más eficaz para desradicalizar a los miembros. Con 20.000 miembros, la comunidad IncelExit da prioridad a la vulnerabilidad, el crecimiento y la franqueza por encima de la experiencia sexual y el atractivo, por lo que los "me gusta" y "no me gusta" de las publicaciones sacan a la superficie contenidos sanos. Los incels reformados de esta comunidad ahora desradicalizan activamente a los recién llegados, mientras que una estricta moderación hace cumplir las normas contra el body shaming, la misoginia y la retórica violenta. Esto ilustra que el cambio sistémico es más eficaz que castigar únicamente los comportamientos más atroces o excluir a los infractores individuales. 3. La toxicidad surge de la cultura, no de unas pocas "manzanas podridas Una tercera idea errónea, relacionada con la anterior, es que la toxicidad en línea proviene de individuos problemáticos movidos por el deseo de causar daño. Desde este punto de vista, unos pocos usuarios enfadados, posiblemente incluso sádicos patológicos (o "manzanas podridas") invaden deliberadamente las comunidades en línea para provocar a los miembros, provocar peleas y cacarear detrás de sus pantallas mientras las comunidades arden en llamas. De hecho, nuestra investigación demuestra que casi cualquiera puede convertirse en un miembro tóxico en un entorno en línea. Encontramos un caso tras otro en los que miembros aparentemente inofensivos publicaron mensajes increíblemente crueles. Estos miembros no lo hicieron porque fueran malas personas. Al contrario, su comportamiento estaba motivado por una cultura comunitaria que sugería que hacer daño a los demás en línea es una forma aceptable de entretenimiento. En la comunidad que estudiamos, la gente interiorizó la idea de que hacer daño a los demás es una forma de "juego inofensivo"; que si ocurre en línea, "no es real, es sólo un drama escenificado". La buena noticia es que es posible recablear la cultura de una comunidad para fomentar el juego responsable y sustituir la idea tóxica de que la única forma de divertirse es causar daño. Por ejemplo, en la comunidad que estudiamos, los moderadores organizaron un juego en el que se animaba a los miembros a idear insultos creativos pero no personales para los demás. Esto redirigió con éxito el deseo de los usuarios de divertirse, movilizando sus "habilidades de trolling" para realizar bromas muy divertidas pero inofensivas durante los encuentros deportivos. Abordar la toxicidad requiere que los moderadores reconozcan que es posible que los autores individuales ni siquiera reconozcan que están haciendo daño a alguien y, por tanto, que una mejora duradera sólo es posible a través de un cambio cultural. En última instancia, los gestores de las plataformas o las marcas propietarias de una comunidad son los responsables del comportamiento en ella. Si la toxicidad se les va de las manos y se puede rastrear la violencia hasta su plataforma, pueden tener que rendir cuentas (legal o reputacionalmente). Por ello, los gestores de plataformas y las marcas deben elaborar políticas de contenidos que prohíban claramente los contenidos violentos y nombrar moderadores (remunerados o voluntarios) que estén facultados para hacer frente a la toxicidad. 4. Las rivalidades no impulsan a las comunidades, las desgarran Desde las divisiones políticas a las rivalidades deportivas, pasando por los novatos frente a los jugadores experimentados, muchas comunidades en línea muestran una fuerte dinámica de "nosotros contra ellos". El cuarto mito que descubrimos supone que las comunidades prosperan con estas formas de polarización, ya que pueden fomentar el sentimiento de identidad y pertenencia de los usuarios a su propio grupo, así como imbuir a sus comunidades de un vigorizante sentido del drama. Sin embargo, nuestra investigación demuestra que este tipo de rivalidades tienen las mismas probabilidades de desgarrar las comunidades, dispersando a sus miembros en espacios sociales en línea fragmentados y más pequeños, o incluso disolviendo la comunidad por completo. Esto se debe a que las rivalidades suelen estar arraigadas en las ansiedades profundamente arraigadas de la gente sobre si su comunidad sobrevivirá. Dentro de esta mentalidad, los grupos opuestos son vistos como una amenaza para la preservación y perpetuación de la propia comunidad, creando fronteras entre los "verdaderos" miembros de la comunidad que personifican los "verdaderos" valores y comportamientos comunitarios, y los peligrosos "intrusos" y "dogmáticos". Tanto nuestra propia investigación como trabajos anteriores demuestran que transformar y aprovechar las rivalidades internas tóxicas entre grupos comunitarios requiere que las plataformas y sus moderadores orquesten un diálogo sano y adopten un enfoque democrático para gestionar los desacuerdos de forma que presenten las diferencias y la diversidad como algo valioso para la comunidad (no como algo a lo que temer). Por ejemplo, los moderadores pueden promover el respeto a la diversidad tomando medidas enérgicas contra el discurso que menosprecie a los miembros en función de sus identidades sociales o afiliaciones a determinados grupos de la comunidad; ofreciendo subforos seguros y estrictamente moderados para los grupos populares de la comunidad; promoviendo el respeto a la diversidad a través de mensajes, etiqueta de la comunidad, términos y condiciones formales y directrices; creando un equipo de moderación que sea representativo de los diferentes grupos; y, en general, creando estructuras sociales igualitarias y participativas. Dentro de la comunidad en línea de editores de Wikipedia, por ejemplo, los estudios han identificado rivalidades entre dos bandos comunes: los eliminacionistas, que se comprometen a mantener unas directrices estrictas sobre los temas que deben figurar en las entradas enciclopédicas, y los inclusionistas, que se comprometen a incluir tanta información como sea posible. El sitio se vio rápidamente plagado de conflictos de ida y vuelta entre ambos grupos, y estas riñas podían ir acompañadas de un lenguaje muy agresivo y tóxico. La plataforma abordó este reto instituyendo un sistema de gobernanza descentralizado en el que se otorgaba a los distintos grupos autoridad explícita sobre diferentes artículos y temas, y en el que un comité de arbitraje armado con directrices y políticas claras estaba facultado para supervisar los desacuerdos. 5. La automoderación no basta para mantener a raya la toxicidad El quinto concepto erróneo muy extendido entre los propietarios de plataformas y los usuarios es que las comunidades en línea de éxito se gestionan de forma poco estricta y se automoderan en gran medida. Este mito sugiere que una vigilancia excesiva puede ahogar el compromiso y que los miembros responsables de la comunidad deberían ser capaces de resolver los conflictos sin supervisión. Aunque ciertamente hay un lugar para la automoderación, nuestra investigación demuestra que esta creencia excesiva en la automoderación puede contribuir a que las comunidades en línea se vuelvan tóxicas. Esto se debe a que, cuando inevitablemente surgen conflictos, los miembros no pueden confiar en ninguna autoridad legítima y, por tanto, sienten que deben recurrir al vigilantismo, encargándose de castigar a los supuestos infractores en nombre de la justicia. En la comunidad que estudiamos, este fenómeno desencadenaba a menudo un círculo vicioso de toxicidad. Para reducir la necesidad percibida de recurrir al castigo vigilante, las plataformas pueden mejorar sus capacidades de policía comunitaria de varias maneras. Por un lado, pueden desarrollar y formar un equipo de moderación más numeroso, o incluso contratar "moderadores secretos" (para que los miembros no puedan ver si los moderadores están en línea, una práctica real en la comunidad que estudiamos). Por otro lado, también pueden formar a los moderadores existentes en los principios de la justicia reparadora para ayudarles a transformar las narrativas comunitarias de retribución y castigo en narrativas de justicia que den prioridad a la curación, la responsabilidad y la reparación del daño. Sin duda, este puede ser un equilibrio difícil de alcanzar. En un estudio, una cadena minorista invitó a 2.500 diseñadores a participar en una comunidad en línea en torno a un concurso para el diseño de su nuevo bolso. El objetivo de la plataforma era estimular la innovación, por lo que tenía sentido dejar libertad a los miembros para debatir y compartir ideas. Sin embargo, pronto surgieron conflictos, ya que los miembros se sintieron frustrados con el resultado del concurso y entre sí, llegando incluso a crear múltiples cuentas de alias para sembrar el caos e insultar a sus compañeros diseñadores. Para solucionarlo, la empresa combinó su enfoque limitado de la moderación con algunas políticas proactivas diseñadas para mantener a raya la toxicidad. Adoptó un cierto grado de autogobierno o de gobierno dirigido por la comunidad, al tiempo que creaba estructuras como espacios dedicados al desahogo y políticas claras que definían los tipos de mensajes que no se tolerarían en la plataforma. Este tipo de principios o barandillas deben aplicarse de forma creativa en función de las circunstancias de cada comunidad. Por ejemplo, otro estudio descubrió que una plataforma de medios de comunicación tenía dificultades para integrar a nuevos miembros, ya que estos novatos no estaban familiarizados con las normas de comunicación establecidas y, por lo tanto, provocaban involuntariamente guerras de llamas, trolling y otros conflictos punitivos. Dado que la plataforma disponía de recursos limitados de moderación remunerada, instituyó un sofisticado sistema de moderación distribuida, en el que se facultó a una amplia base de usuarios para moderar el contenido de la comunidad dentro de unos parámetros y directrices establecidos, ayudando a los recién llegados a aprender las formas aceptables y valoradas de comunicarse en la plataforma de forma oportuna y pacífica. . . . Las comunidades en línea tienen el potencial de ser una increíble fuerza para el bien. Pueden reunir a personas de todo el mundo y ayudar a sus miembros a construir relaciones duraderas y solidarias basadas en intereses y experiencias compartidos. Pero si no se controlan, estas plataformas también pueden estar plagadas de toxicidad - y aunque este comportamiento tóxico puede ser virtual, su impacto es a menudo muy real. Por ello, es responsabilidad de los gestores de las plataformas replantearse sus ideas erróneas y tomar medidas proactivas para garantizar que sus comunidades funcionen realmente para todos.

Por qué los moderadores no pueden proteger por sí solos a las comunidades en línea

Resumen.

Partner Center