En Resumen
- El nuevo modelo de IA de OpenAI, GPT-o1, es el primero en demostrar capacidades que podrían ayudar a los expertos a reproducir amenazas biológicas conocidas y nuevas.
- William Saunders, un ex miembro del personal técnico de OpenAI, advirtió sobre el potencial de "daños catastróficos" si se desarrollan sistemas de AGI sin las debidas salvaguardias.
- Saunders también destacó la falta de medidas de seguridad adecuadas y supervisión en el desarrollo de la AGI, criticando a OpenAI por priorizar la rentabilidad sobre la seguridad.
El nuevo modelo de IA de OpenAI, GPT-o1, es el primero en demostrar capacidades que podrían ayudar a los expertos a reproducir amenazas biológicas conocidas—y nuevas—, según informó esta semana un ex empleado de la compañía a los senadores estadounidenses.
"El nuevo sistema de IA de OpenAI es el primer sistema en mostrar avances hacia el riesgo de armas biológicas, ya que es capaz de ayudar a los expertos en la planificación para reproducir una amenaza biológica conocida", dijo William Saunders, un ex miembro del personal técnico de OpenAI, al Comité del Senado sobre la Subcomisión de Privacidad, Tecnología y Ley.
Advirtió que esta capacidad, conlleva el potencial de "daños catastróficos" si se desarrollan sistemas de AGI sin las debidas salvaguardias.
Expertos también testificaron que la inteligencia artificial está evolucionando tan rápidamente que se vislumbra en el horizonte cercano un potencialmente peligroso punto de referencia conocido como Inteligencia Artificial General. En el nivel de la AGI, los sistemas de IA pueden igualar la inteligencia humana en una amplia gama de tareas cognitivas y aprender de forma autónoma. Si un sistema de IA de acceso público puede comprender la biología y desarrollar nuevas armas sin una supervisión adecuada, el potencial para que usuarios malintencionados causen un daño grave crece de forma exponencial.
"Las empresas de IA están avanzando rápidamente hacia la construcción de la AGI," dijo Saunders al Comité del Senado. "Es plausible que un sistema de AGI pueda ser construido en tan solo tres años."
Helen Toner, quien también formaba parte de la junta directiva de OpenAI y votó a favor de despedir al cofundador y CEO Sam Altman, espera ver la AGI más pronto que tarde. “Incluso si las estimaciones más cortas resultan ser incorrectas, la idea de que la IA a nivel humano se desarrolle en la próxima década o dos debería considerarse como una posibilidad real que ahora requiere acciones preparatorias significativas”, declaró.
Saunders, quien trabajó en OpenAI durante tres años, destacó el reciente anuncio de la compañía sobre GPT-o1, un sistema de IA que "ha alcanzado hitos significativos" en sus capacidades. Como informó Decrypt, incluso OpenAI dijo que decidió alejarse del aumento numérico tradicional en las versiones de GPT, porque este modelo exhibió nuevas capacidades que lo hacen ver no solo como una actualización, sino como una evolución, un tipo de modelo completamente nuevo con habilidades diferentes.
Saunders también está preocupado por la falta de medidas de seguridad adecuadas y supervisión en el desarrollo de la AGI. Señaló que "Nadie sabe cómo garantizar que los sistemas de la AGI sean seguros y controlados," y criticó a OpenAI por su nuevo enfoque hacia el desarrollo seguro de la IA, preocupándose más por la rentabilidad que por la seguridad.
"Mientras que OpenAI ha sido pionero en aspectos de esta prueba, también han priorizado repetidamente el despliegue sobre el rigor," advirtió. "Creo que existe un riesgo real de que pasen por alto capacidades peligrosas importantes en futuros sistemas de IA."
El testimonio también mostró algunos de los desafíos internos en OpenAI, especialmente los que salieron a la luz después de la salida de Altman. "El equipo de Superalineación en OpenAI, encargado de desarrollar enfoques para controlar la AGI, ya no existe. Sus líderes y muchos investigadores clave renunciaron después de luchar por obtener los recursos que necesitaban," dijo.
Sus palabras solo añaden otro ladrillo en el muro de quejas y advertencias que los expertos en seguridad de la IA han estado haciendo sobre el enfoque de OpenAI. Ilya Sutskever, quien cofundó OpenAI y desempeñó un papel clave en el despido de Altman, renunció después del lanzamiento de GPT-4o y fundó Safe Superintelligence Inc.
El cofundador de OpenAI, John Schulman, y su jefe de alineación, Jan Leike, dejaron la empresa para unirse al rival Anthropic, con Leike diciendo que bajo el liderazgo de Altman, la seguridad "pasó a un segundo plano frente a los productos llamativos".
Asimismo, los exmiembros de la junta directiva de OpenAI, Toner y Tasha McCauley, escribieron un artículo de opinión publicado por The Economist, argumentando que Sam Altman estaba priorizando las ganancias sobre el desarrollo responsable de la IA, ocultando desarrollos clave a la junta directiva y fomentando un ambiente tóxico en la empresa.
En su declaración, Saunders pidió una acción regulatoria urgente, enfatizando la necesidad de medidas de seguridad claras en el desarrollo de la IA, no solo por parte de las empresas, sino también de entidades independientes. También hizo hincapié en la importancia de protecciones para denunciantes en la industria tecnológica.
El ex empleado de OpenAI resaltó las implicaciones más amplias del desarrollo de la AGI, incluida la posibilidad de afianzar las desigualdades existentes y facilitar la manipulación y la desinformación. Saunders también ha advertido que la "pérdida de control de sistemas de IA autónomos" podría resultar potencialmente en la "extinción humana".
Editado por Josh Quittner y Andrew Hayward