Los tres investigadores de seguridad que recientemente fueron expulsados de OpenAI publicaron una carta abierta en la que cuestionaron las afirmaciones que la empresa realizó luego del despido.

“Nos preocupa que las comunicaciones (de OpenAI) sobre el despido hayan infundido miedo en nuestros antiguos compañeros a la hora de expresarse y actuar de formas que (…) eran parte integral del trabajo”, escribieron Jasmine Wang, Tomek Korbak y Mikita Balesni.

La semana pasada, la organización detrás de ChatGPT anunció públicamente el despido de los tres investigadores, que integraban el área de seguridad. En la ocasión, un vocero señaló que la decisión se tomó luego de encontrar que entregaron información secreta a una organización externa.

“Hemos prescindido de tres personas por infracciones a nuestras políticas sobre el acceso y el manejo de información confidencial de la empresa”, dijo. “Violaron nuestras políticas y quebrantaron la confianza esencial para nuestro trabajo”, agregó.

“Detectamos los riesgos antes que nadie”, remarcaron los investigadores

“La IA no es una tecnología convencional y OpenAI no es una empresa convencional”, señalaron los especialistas, quienes negaron haber participado en una filtración a la publicación The Information e interactuado con terceros sobre datos confidenciales.

“Quienes trabajamos en seguridad detectamos los riesgos antes que nadie y dependemos de una estrecha colaboración con expertos externos para determinar cómo abordarlos. La libertad para hacerlo sin temor, así como contar con procedimientos internos bien definidos que faciliten esta labor, constituyen en sí mismos un mecanismo de seguridad esencial”, subrayaron Wang, Korbak y Balesni.

En la carta —completa, en este enlace— agregaron que el despido refleja un cambio negativo en la cultura de OpenAI, ya que anteriormente alentaba a sus empleados a “plantear inquietudes sobre seguridad y manifestar desacuerdos en forma abierta”. Ahora, notaron, los integrantes de los equipos “no saben a qué atenerse” dado que comportamientos que hace poco tiempo eran comunes ahora son motivo de despido.

“Dadas las importantes preocupaciones de seguridad que rodean al desarrollo (en este sector), los empleados no deben trabajar en un entorno donde el miedo y la falta de claridad en las normas obstaculicen la labor de seguridad de la IA y debiliten la rendición de cuentas ante terceros. Despidos como los nuestros, ejecutados y comunicados de forma tan abrupta, están enfriando la cultura de apertura que OpenAI ha valorado en el pasado”, cerraron.

La respuesta de OpenAI: “Fue una clara violación de nuestras políticas”

En declaraciones a TechCrunch, un vocero de la organización que dirige Sam Altman elogió las contribuciones de los empleados separados, aunque rechazó los comentarios relacionados a represalias y aquellos que relativizaron las motivaciones detrás de esta determinación.

“Quiero dejar muy claro que estas decisiones no se debieron a que plantearan preocupaciones de seguridad o expresaran su opinión. Siempre hemos fomentado eso y siempre lo haremos. No despedimos a empleados por plantear inquietudes”, aseguró.

El representante de OpenAI explicó que los tres investigadores fueron apartados luego de una investigación que reveló un “patrón de mala conducta” y una “clara violación de las políticas sobre el manejo indebido de información de investigación”.

El contexto de los despidos en OpenAI

Esta nueva disputa se produce mientras la empresa que comanda Altman se encuentra bajo escrutinio por una serie de incidentes de seguridad en los que tuvo participación directa y que profundizaron el debate acerca de los riesgos por el avance de la nueva IA.

Hubo dos detonantes para estas preocupaciones, principalmente. Por un lado, los diversos casos en los que agentes de IA se rebelaron y atacaron a plataformas externas en forma automatizada. El más resonante fue el que protagonizaron sistemas de OpenAI, que vulneraron al sitio Hugging Face evadiendo entornos de prueba supuestamente aislados.

Luego, llegaron las declaraciones explosivas de Jacob Coxon, un exinvestigador de OpenAI y Anthropic, lastartup detrás del chatbot Claude. El especialista renunció a su cargo en esa compañía y aseguró que los desarrolladores del sector creen que la inteligencia artificial acabará con la humanidad, esta misma década.

En paralelo a los mencionados despidos, algunos especialistas renunciaron a sus cargos en OpenAI y lanzaron duras críticas una vez que se marcharon. Uno de ellos, alertó que la compañía debería “evitar que los errores humanos provoquen un desastre”.

Las esquirlas llegaron a las altas esferas. El propio CEO de OpenAI reconoció que “el mundo tiene razones para tener miedo” a los avances en IA y mencionó que esas tecnologías ganaron poder suficiente para escapar del control humano. También dijo que existe la posibilidad de que los avances en el área “terminen muy mal”.

No se trata de temores aislados. En diálogo con el medio, la especialista en estas tecnologías, Rebeca Hwang, afirmó que “no es descabellado pensar que agentes autónomos puedan actuar contra las personas”.

Consultada acerca de la posibilidad de que estos sistemas se vuelvan incontrolables y se rebelen en contra de la humanidad, señaló: “Desde el punto de vista técnico es posible, pero eso no es lo mismo que probable. Es posible que se genere un escenario en el que un sistema de agentes produzca intencionalmente un impacto negativo catastrófico para los seres humanos”.

La experta concluyó que es necesario idear mecanismos de seguridad, pero seguir innovando.