A principios de septiembre de 2023 el presidente de la Comisión de Bolsa y Valores de Estados Unidos, Gary Gensler, dijo que los deepfakes representan un "riesgo real" para los mercados.

Los deepfakes, videos o imágenes falsas generadas por inteligencia artificial (IA) pero que aparentan ser auténticas a primera vista, pueden ser utilizados para representar a inversores de alto perfil e incluso a reguladores como Gensler, dando la impresión de que estas figuras influyentes dicen cosas que probablemente afecten a elementos de los mercados financieros. Los creadores de los deepfakes en estos casos se benefician cuando logran influir en el mercado con esta decepción.

Si bien el potencial de turbulencia en el mercado es significativo, la amenaza de deepfakes se extiende mucho más allá de eso. La firma global de contabilidad KPMG ha señalado un aumento drástico en estafas dirigidas a empresas de todo tipo con materiales de deepfakes. Estos y otros riesgos han llevado a los investigadores de ciberseguridad a una búsqueda frenética de formas de detener a actores maliciosos armados con estas poderosas herramientas. Los deepfakers han creado videos falsificados de celebridades, políticos y muchas otras personas, a menudo por diversión, pero también con frecuencia para difundir desinformación falsa o algo peor.

Quizás el mayor impacto negativo de los deepfakes en las primeras etapas de desarrollo ha sido en las personas que se han convertido en objetivo de esta tecnología. Los fraudes de extorsión están proliferando en diversas áreas y con diferentes estrategias. Una proporción significativa de estos fraudes involucra el uso de la tecnología deepfakes para crear imágenes o videos sexualmente explícitos de personas que no lo desean. Los estafadores pueden exigir un pago a la persona real, amenazando con difundir el contenido falso en caso de que la persona no cumpla. Sin embargo,  las amenazas asociadas con los deepfakes y el contenido explícito se extienden mucho más allá.

Para muchos en las áreas de ciberseguridad, justicia social, derecho a la privacidad y otros campos, la pornografía de deepfakes es una de las mayores amenazas que han surgido en la era de la IA. En 2019, el 96% de todos los deepfakes en línea eran pornografía. A continuación, analizamos más de cerca este fenómeno.

Una historia de manipulación de imágenes

Las Deepfakes no son la primera tecnología que permite manipular imágenes de otras personas sin su consentimiento. Photoshop ha sido una tecnología omnipresente durante mucho tiempo, y la práctica de falsificar imágenes se remonta décadas antes de que se inventara ese software. La tecnología de deepfake en sí misma tiene más de 25 años, aunque solo en los últimos años el rápido desarrollo de la inteligencia artificial ha reducido significativamente el tiempo necesario para crear un deepfake, al mismo tiempo que se acerca mucho más a ser indetectable para el observador promedio.

La facilidad de utilizar la tecnología de deepfakes para crear contenido pornográfico, ha venido aumentado gracias al número creciente de herramientas utilizadas que están disponibles de forma gratuita en línea, las cuales han contribuido a agravar dramáticamente el problema. Una búsqueda en línea revela numerosas historias sobre personas que han sido objeto de este tipo de ataques. Muchas de las personas afectadas por los pornógrafos de deepfake son mujeres que se dedican a hacer streaming y que no crean ni comparten contenido explícito.

A principios de este año, la conocida streamer QTCinderella descubrió que su imagen había sido utilizada en contenido explícito generado por IA sin su conocimiento ni consentimiento. Otro streamer muy conocido, Atrioc, admitió haber visto el contenido y compartió información sobre el sitio web donde se publicó. Desde entonces, QTCinderella ha trabajado con un destacado abogado de deportes electrónicos para que se elimine el sitio web, y Atrioc ha emitido múltiples declaraciones indicando su intención de trabajar para eliminar este tipo de contenido de manera más amplia.

Problemas de consentimiento

Muchos argumentan que la pornografía de deepfakes es la última iteración de la sexualización no consensuada, siguiendo una larga tendencia aunque mejor posicionada para su difusión generalizada debido tanto al poder de la tecnología deepfake como a su facilidad de uso. A partir de esto, alguien que crea imágenes explícitas deepfake de otra persona sin el consentimiento de esa persona está cometiendo un acto de violencia sexual contra esa persona.

Las historias de sobrevivientes de estos ataques, casi en su totalidad mujeres, respaldan esta clasificación. Ya está documentado que las víctimas de la pornografía de deepfakes regularmente experimentan sentimientos de humillación, deshumanización, miedo, ansiedad y más. Las consecuencias también pueden ser físicas, con muchas historias de visitas al hospital, respuestas traumáticas e incluso ideación suicida impulsada por las deepfakes. Las víctimas han perdido empleos, medios de vida, amigos, familias y más, todo porque se compartió un deepfake que parecía real.

Para muchos, los problemas de la pornografia de deepfakes representan quizás lo peor de un problema mucho más grande con la IA en general: debido a que la IA generativa se entrena utilizando datos que contienen una serie de sesgos, prejuicios y generalizaciones, el contenido que estos sistemas de IA producen también comparte esas características negativas.

Desde hace mucho tiempo se reconoce, por ejemplo, que las herramientas de IA suelen estar predispuestas a crear contenido racista. De manera similar, la IA generativa por sí sola también es susceptible de crear contenido altamente sexualizado. Cuando se combina con actores maliciosos que buscan dañar a otros o simplemente anteponen su propia gratificación a la privacidad y el bienestar de los demás, la situación se vuelve bastante peligrosa.

Con algunos contenidos deepfake, hay una doble violación del consentimiento. Una forma de crear contenido explícito deepfake es utilizar material pornográfico preexistente y superponer el rostro u otros elementos de la semejanza de una víctima sin saberlo en ese material. Además de dañar a esa persona, el deepfake también viola la privacidad del intérprete adulto original, ya que tampoco busca el consentimiento de esa persona. El trabajo de ese intérprete también se duplica y distribuye sin compensación, reconocimiento o atribución.

Sin embargo, algunos han expresado su opinión de que el consentimiento es irrelevante cuando se trata de deepfakes de cualquier tipo, incluido contenido pornográfico. Los que sostienen este argumento sugieren con frecuencia que las personas no son dueñas de sus propias semejanzas. "Puedo tomar una fotografía tuya y hacer lo que quiera con ella, ¿por qué no puedo usar esta nueva tecnología para hacer efectivamente lo mismo?" es un argumento común.

Leyes y regulaciones

Como ocurre con gran parte del espacio de la IA, la tecnología en la industria de deepfakes se está desarrollando mucho más rápido que las leyes que regulan estas herramientas.

Hasta febrero de 2023, solo tres estados de EE. UU. tenían leyes que abordaban específicamente el contenido pornográfico de deepfake. Las empresas que desarrollan estas tecnologías han hecho poco para limitar el uso de herramientas de deepfake para generar contenido explícito. Esto no quiere decir que este sea el caso con todas las herramientas de este tipo.

Dall-E, el popular sistema de IA generador de imágenes, cuenta con varias protecciones. Por ejemplo: OpenAI, la empresa que desarrolló Dall-E, limitó el uso de imágenes desnudas en el proceso de aprendizaje de la herramienta; se prohíbe a los usuarios realizar ciertas solicitudes; las salidas se escanean antes de ser reveladas al usuario. Pero los opositores al deepfake pornográfico dicen que estas protecciones no son suficientes y que los actores malintencionados pueden encontrar fácilmente formas de evitarlas.

El Reino Unido es un ejemplo de un país que ha trabajado rápidamente para criminalizar aspectos de la floreciente industria de la pornografía de deepfakes. En los últimos meses, el país ha tomado medidas para hacer ilegal compartir imágenes íntimas deepfake.

Hasta ahora, el gobierno federal de Estados Unidos no ha aprobado ninguna legislación similar. Esto significa que, hasta la fecha, la mayoría de las víctimas de la pornografía deepfake no cuentan con recursos para solucionar el problema o recibir compensación.

Además de los obvios problemas de consentimiento y violencia sexual, el ataque perpetrado contra un intérprete adulto cuya imagen se utiliza en la creación de contenido explícito deepfake podría proporcionar otra vía para abordar este problema desde un punto de vista legal. Después de todo, si un creador de deepfake está utilizando la imagen de un intérprete adulto sin consentimiento, atribución o compensación, se podría argumentar que el creador está robando el trabajo del intérprete y explotando el trabajo de esa persona.

La pornografía de deepfake guarda similitud con otro fenómeno reciente que involucra contenido explícito no consensuado: la pornografía de venganza. Las formas en que los legisladores y las empresas han trabajado para combatir este fenómeno podrían señalar un camino a seguir en la lucha contra la pornografía de deepfake.

Hasta el 2020, 48 estados y Washington, D.C. habían criminalizado la pornografía de venganza. Importantes empresas tecnológicas, incluidas Meta Platforms y Google, han implementado políticas para frenar a aquellos que distribuyen o alojan contenido de pornografía de venganza.

Sin duda, la pornografía de venganza sigue siendo un problema importante en Estados Unidos y el extranjero. Pero el trabajo generalizado para frenar su propagación podría indicar que se harán esfuerzos similares para reducir el problema de los deepfakes.

Una herramienta prometedora en la lucha contra la pornografía generada por IA es la propia IA. Existe tecnología para detectar imágenes que han sido manipuladas digitalmente con un 96% de precisión. Esta tecnología pudiera utilizarse para escanear, identificar y, en última instancia, ayudar a eliminar contenido explícito basado en IA, contribuyendo a reducir drásticamente la distribución de este material.