Aseguran que la seguridad de las IA está en peligro

Jan Leike ya no forma parte de la compañía y cuestionó algunos lineamientos que podrían poner en riesgo a la humanidad. Uno de los principales directivos de OpenAI, encargado del área de “Superalineación” que controlaría en materia de seguridad el desarrollo de una inteligencia artificial superior, renunció y dejó preocupantes mensajes. Jan Leike, que trabajaba […]

Jan Leike ya no forma parte de la compañía y cuestionó algunos lineamientos que podrían poner en riesgo a la humanidad.

Uno de los principales directivos de OpenAI, encargado del área de “Superalineación” que controlaría en materia de seguridad el desarrollo de una inteligencia artificial superior, renunció y dejó preocupantes mensajes.

Jan Leike, que trabajaba a la par de Ilya Sutskever, uno de los cofundadores de la empresa y que también dimitió la semana pasada, publicó un polémico hilo en X (ex Twitter).

La euforia por el lanzamiento del impactante GPT-4o, la herramienta capaz de igualar el diálogo humano y de interactuar en diferentes formatos de manera casi inmediata, duró muy poco y la firma dirigida por Sam Altman regresó a los tiempos dramáticos.

Leike escribió en su cuenta oficial: “Me uní porque pensé que OpenAI sería el mejor lugar del mundo para realizar esta investigación. Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura”.

“Creo que se debería gastar mucho más de nuestro ancho de banda en prepararnos para las próximas generaciones de modelos, en seguridad, monitoreo, preparación, protección, solidez adversarial, (super) alineación, confidencialidad, impacto social y temas relacionados”, detalló el investigador.

El alemán agregó: “Construir máquinas más inteligentes que los humanos es una tarea intrínsecamente peligrosa”, y presionó a su ex empresa: “OpenAI asume una enorme responsabilidad en nombre de toda la humanidad”.

Previo a los reclamos, Leike realizó los correspondientes agradecimientos protocolares y destacó parte de su tarea en OpenAI: “Ha sido un viaje muy salvaje durante los últimos tres años. Mi equipo lanzó el primer LLM de RLHF con InstructGPT, publicó la primera supervisión escalable de LLM, fue pionero en la interpretabilidad automatizada y la generalización de débil a fuerte. Pronto saldrán más cosas interesantes”.

Lo cierto es que la relación entre los altos mandos, atravesada por lo personal, ya estaba resquebrajada desde noviembre de 2023, cuando la mesa directiva, con presencia del propio Sutskever, votó por expulsar del cargo de CEO a Altman.

Por aquel entonces, se acusó al ruso de “serrucharle el piso” al estadounidense. Tras el regreso de Altman, Sutskever dejó su cargo directivo y hubo sospechas que se mantuvo alejado de las tareas centrales.

Luego del hilo en X publicado por Leike, Altman admitió sobre los cuestionamientos: “Tiene razón, tenemos mucho más por hacer; estamos comprometidos a hacerlo. Tendré una publicación más larga en los próximos días”.

Todo el alboroto complica a uno de los gigantes que ha puesto su mirada y su dinero en OpenAI: Microsoft. La inestabilidad de la firma más avanzada del mundo en materia de inteligencia artificial y las acusaciones de algunos competidores por sus métodos preocupa a la corporación fundada por Bill Gates.

Un indicio menor respecto a la reducción de filtros a la hora de presentar nuevos productos llegó al mainstream y fue protagonizado por Scarlett Johannson. La actriz se había negado reiteradamente a brindar su voz al GPT-4o, que finalmente resultó bastante similar, por lo que planea demandarlos.

Pero la propia Microsoft también fue cuestionada en los últimos días por la presentación de una nueva herramienta para algunos usuarios de Windows 11. “Recall”, que funciona mediante una IA, colocó sobre la mesa nuevamente el debate respecto a la seguridad informática al presentar la posibilidad de realizar capturas de pantalla sistemáticas.