Grok y su Impacto en la Violencia Digital de Género

Grok es una herramienta que se ha utilizado para aumentar la violencia de género en línea. Esta herramienta fue creada por la empresa de Elon Musk, xAI, y está integrada en la plataforma X (anteriormente Twitter). A través de Grok, los usuarios pueden crear textos e imágenes de manera fácil, lo que ha generado preocupaciones sobre el abuso de esta tecnología.

Como nigeriana que ha pasado mucho tiempo en X, he sido testigo de muchos cambios. He visto cómo se han modificado las políticas y cómo se forman y desaparecen las comunidades. A lo largo del tiempo, me he considerado una usuaria consciente de internet. He cuidado el contenido que veo, evitando interacciones dañinas y silenciando palabras que me afectan. La realidad es que internet, especialmente para las mujeres, no siempre es un lugar seguro.

Mi trabajo en Superbloom, una organización que se dedica al diseño humano y a la tecnología, me ha mostrado la magnitud del abuso que ocurre en línea. Las víctimas de violencia digital a menudo se sienten asustadas y vulnerables, mientras que los agresores rara vez enfrentan consecuencias serias. El resultado es que muchos de ellos regresan a la plataforma con nuevas cuentas, encontrando nuevas víctimas.

Hoy, las redes sociales, que deberían ser espacios para conectar y crear comunidades, se han.transformado en lugares peligrosos. De acuerdo con estimaciones de la ONU, solo el 40% de los países tienen leyes que protegen a mujeres y niñas del abuso en línea. Esto significa que una gran parte de la población está desprotegida. Como diseñadora de experiencia de usuario, he aprendido que las decisiones de diseño importan. Estas decisiones pueden ayudar a proteger a los usuarios o, por el contrario, exponerlos a daños.

Sin embargo, en redes sociales como X, el contenido perjudicial parece proliferar. Grok ha facilitado esta situación. Aunque esta herramienta de IA no creó el abuso en línea, ha amplificado su impacto de manera alarmante. Las condiciones existentes en Nigeria, como un sistema legal deficiente, están agravando el problema. Más de la mitad de los casos de abuso digital involucran a mujeres, y es preocupante ver que el acoso se ha normalizado.

Las investigaciones indican que el uso de herramientas de IA podría triplicar la cantidad de mujeres afectadas por este tipo de violencia en el futuro. Cuando las plataformas no actúan eficazmente contra el abuso, la tecnología solo agrava la situación. Por ejemplo, muchas veces se considera el acoso de IA como contenido llamativo, lo que favorece a quienes crean dicho contenido pero perjudica a las víctimas.

Para enfrentar este desafío, en Superbloom estamos creando un marco que ayuda a las plataformas tecnológicas a evaluar sus herramientas y determinar si están contribuyendo al daño o ayudando a mitigarlo. Es importante que las compañías consideren la perspectiva de género al diseñar sus productos. Así podemos asegurar que la innovación no ocurra a costa de la seguridad de las mujeres.

Al final, la verdadera pregunta es si las plataformas están dispuestas a tomar estas medidas para proteger a sus usuarios.