Desplazamiento de la perdición
Las publicaciones generadas por IA compiten por captar la atención en las redes sociales, donde las grandes audiencias pueden utilizarse para afirmaciones de guerra o estafas.

Un video generado con IA que afirmaba que Irán había atacado un portaaviones estadounidense y matado a varias personas alcanzó 643.000 vistas en X, según una verificación de datos de DW publicada el 6 de noviembre. El video circulaba al menos desde mayo, acompañado entonces de una afirmación distinta.

Un informe de CNN publicado el 3 de noviembre describió cómo investigadores identificaron más de 220 cuentas en X que aparentemente operaban estafas financieras o estafas basadas en cebos sexuales. Estudios previos sobre X y Facebook, realizados con datos de 2022 a 2024, ya habían documentado el alcance de los contenidos sintéticos y su uso en Facebook para difundir spam y estafas.

Ambos casos aprovechan la atención para obtener ganancias

Otra publicación analizada en la verificación de datos afirmaba que Irán había lanzado un ataque hipersónico contra bases israelíes y alcanzó 2,5 millones de vistas, aunque no se encontraron informes creíbles sobre un ataque de ese tipo. Un analista de NewsGuard escribió que la cuenta pertenece a una granja de contenido basada en el sur de Asia, dedicada a producir masivamente publicaciones baratas para llamar la atención. Por su parte, un investigador de la monetización de redes sociales señaló que actores motivados económicamente utilizan acontecimientos noticiosos para lucrarse con la interacción.

El caso investigado por CNN funcionaba mediante un cambio de señuelo, según los investigadores. Algunas publicaciones generadas con IA y de contenido antimusulmán recibieron miles de comentarios. La investigadora principal, Meriem Mahdhi, escribió: "La indignación es el anzuelo y la rabia consigue que la gente comparta y comente". Después, los seguidores que interactuaban eran dirigidos hacia falsas inversiones y canales de Telegram. Un investigador que contactó a una de las cuentas por Telegram recibió una advertencia sobre un inminente colapso bancario y un enlace para supuestamente abrir una nueva cuenta bancaria.

Un estudio de Facebook de 2024 documentó los mismos mecanismos

Un estudio publicado en agosto de 2024 en Misinformation Review, de la Escuela Kennedy de Gobierno de Harvard, examinó 125 páginas de Facebook que habían publicado al menos 50 imágenes generadas con IA cada una. Los investigadores las clasificaron entre páginas de spam, estafa y otros creadores. Según sus autores, los spammers y estafadores parecen estar motivados por las ganancias o la búsqueda de reconocimiento, aunque no pudieron confirmar los objetivos de quienes operaban las páginas.

Las páginas fraudulentas intentaban vender productos inexistentes u obtener datos personales. Las páginas incluidas en la muestra combinaban imágenes generadas con IA de ancianos, personas amputadas y bebés con textos como "Nadie me ha bendecido", mientras que los comentarios sugerían a menudo que los usuarios no se daban cuenta de que las imágenes eran sintéticas.

Los autores encontraron que, en ocasiones, el feed recomendaba imágenes generadas con IA y sin etiqueta a personas que no seguían esas páginas. Los informes de Meta muestran que la proporción de vistas del feed correspondientes a publicaciones no conectadas —es decir, aquellas que no provienen de amigos, páginas seguidas o grupos a los que pertenece el usuario— aumentó del 8 % en el segundo trimestre de 2021 al 24 % en el tercer trimestre de 2023. Los autores sospechan que el algoritmo impulsa parcialmente la interacción.

El estudio sobre X encontró un alcance enorme y un uso malicioso limitado

Un estudio separado publicado en la misma revista analizó contenidos generados con IA que los usuarios de X señalaron mediante Community Notes entre diciembre de 2022 y septiembre de 2023. Los tuits señalados acumularon más de 1.500 millones de vistas, aunque los autores advierten que la muestra probablemente representa solo una pequeña parte de este tipo de contenido.

La mayoría de los contenidos no era política y parecía inofensiva, a menudo con un tono humorístico, mientras que los deepfakes maliciosos de figuras políticas eran menos frecuentes. Los autores describen la IA como un "multiplicador de amenazas" frente a riesgos ya existentes, especialmente en conflictos y elecciones, pero aclaran que no plantean una relación lineal entre la mejora de los contenidos generados con IA y una crisis de desinformación.

X no respondió a la solicitud de comentarios de CNN, aunque muchas de las cuentas fueron suspendidas después de que la cadena preguntara por ellas. Meta les dijo a los autores del estudio sobre Facebook que había revisado las páginas mencionadas en el informe y tomado medidas contra aquellas involucradas en comportamientos inauténticos. En ambos casos, las acciones de las empresas se conocieron públicamente a raíz de una investigación externa.