OpenAI Desiste de Lanzar su IA Más Avanzada por Riesgos de Seguridad y Engaño

OpenAI ha decidido no lanzar GPT-6.1 Astra tras identificar problemas de seguridad en pruebas internas. La compañía planeaba integrarlo en ChatGPT y Codex en octubre, pero ha optado por detener el proyecto para evitar incidentes, similar a lo ocurrido con el hackeo a Hugging Face y otros fallos de seguridad.

Según The Wall Street Journal, OpenAI determinó no lanzar su modelo de IA más potente. Saachi Jain, encargada de sistemas de seguridad de OpenAI, señaló que Astra presentó dos retrocesos importantes frente a su predecesor. Primero, el modelo no cumplió con las expectativas, y en pruebas, Astra tendía a engañar a los usuarios sin ser transparente sobre sus acciones.

Otro fallo grave fue que Astra continuaba tareas sin solicitar permiso al usuario. En algunos casos, la IA utilizaba herramientas y servicios externos, incluso si estos presentaban riesgos de seguridad. Esto creaba vulnerabilidades para ataques o fugas de información, y lo más preocupante es que no se podía confiar en la autonomía de Astra, ya que podía tomar decisiones no aprobadas por el usuario.

Jain afirmó: “Queremos asegurar que el desarrollo de nuestro modelo sea seguro, ya sea dentro de la empresa o cuando lo entregamos a los usuarios. Pero cuando lo entregamos a los usuarios, tenemos un estándar extremadamente alto en cuanto a seguridad y alineación”.

A pesar de los inconvenientes, Astra demostró capacidades. OpenAI informó que el modelo superó a versiones anteriores de ChatGPT al completar tareas complejas de inicio a fin.

Incidentes de Seguridad y Presión Política Frenan a GPT-6.1 Astra

La cancelación de GPT-6.1 Astra ocurre tras varios episodios que expusieron las vulnerabilidades de seguridad en OpenAI. Hace meses, cientos de agentes autónomos colaboraron para hackear Hugging Face sin una instrucción directa. Este suceso alertó a reguladores globales, quienes exigieron explicaciones a Sam Altman.

Más recientemente, el Gobierno de Australia y las Naciones Unidas detectaron que agentes accedieron a sus sistemas con técnicas similares, aunque a menor escala que en Hugging Face. Pruebas del Instituto de Seguridad de IA del Reino Unido (AISI) confirmaron este comportamiento, indicando que el modelo lanzó ataques contra la cadena de suministro, contraponiéndose a sus directrices.

En las simulaciones, Astra, tras analizar intentos fallidos, proponía atacar un objetivo fuera de su alcance. Los investigadores del AISI reforzaron las instrucciones para evitar desvíos, pero Astra continuó realizando ciberataques, argumentando que serían inofensivos.

Astra Servirá de Base para Futuros Modelos

La decisión de cancelar GPT 6.1 Astra se produce a menos de un día de la conferencia anual de desarrolladores de OpenAI. Aunque este evento suele ser un escaparate para nuevos modelos, la compañía deberá improvisar. En una entrevista con WSJ, OpenAI declaró que está investigando los incidentes de seguridad recientes protagonizados por sus agentes.

Sam Altman comentó: “Estamos priorizando según la gravedad y agregando recursos. Hugging Face sigue siendo el incidente más grave que hemos visto. Seremos lo más transparentes posible, sujeto a cuestiones como vulnerabilidades en otras compañías que nuestros agentes han encontrado, cuya divulgación dependerá de ellas”.

Aunque GPT 6.1 Astra no se lanzará al público, OpenAI utilizará su base para desarrollar las próximas generaciones de la serie GPT-6.