Ilya Sutskever, cofundador y excientífico de OpenAI, ha anunciado el lanzamiento de Safe Superintelligence Inc., una nueva empresa de inteligencia artificial (IA) que prioriza la seguridad sobre las “presiones comerciales”.
Sutskever describe a la startup como el primer laboratorio de superinteligencia segura (SSI) del mundo. Asegura que el proyecto aborda en conjunto la protección y el desarrollo de algoritmos más capaces. Estos asuntos son atendidos como “problemas técnicos que deben resolverse mediante ingeniería revolucionaria y avances científicos. De esta manera, podremos escalar en paz”.
Jason Matheny, director general del influyente think tank Rand Corporation, asegura que los avances en IA están facilitando el aprendizaje de cómo construir armas biológicas y otras herramientas de destrucción.
Por ahora, el primer y único producto de Safe Superintelligence Inc. será un sistema de SSI. La firma no tiene intenciones a corto plazo de vender sus desarrollos o servicios de IA. El exjefe de OpenAI señala que este enfoque evita distracciones y el desvío de recursos en otros proyectos. “Nuestro modelo de negocio significa que la seguridad, la protección y el progreso están aislados de las presiones comerciales a corto plazo”.
Daniel Gross, ex líder de IA en Apple, y Daniel Levy, antiguo miembro del personal técnico de OpenAI también son fundadores de la nueva organización. La compañía tiene oficinas en Palo Alto y Tel Aviv y está reclutando a investigadores e ingenieros “enfocados en SSI y nada más”.
Sutskever pretende concluir lo que inició en OpenAI
El ahora fundador de Safe Superintelligence Inc. ha alertado sobre la necesidad de privilegiar la seguridad en los procesos de desarrollo e implementación de los algoritmos avanzados de IA. “La superinteligencia será la tecnología más impactante que la humanidad haya inventado jamás. Pero su vasto poder también podría ser muy peligroso. Actualmente, no tenemos una solución para dirigir o controlar una IA con estas características. Necesitamos nuevos avances científicos y técnicos”, advirtió el año pasado en una publicación.
Sutskever fue codirector del equipo ‘Superalignment’ de OpenAI. La unidad fue creada para “conducir y controlar sistemas de IA mucho más inteligentes que nosotros”. Tiempo después desapareció. Ilya abandonó la compañía en mayo después de una intensa disputa con la cúpula directiva sobre cómo abordar la seguridad de la IA. Sugirió entonces que estaba trabajando en un nuevo proyecto. “Después de casi una década, he tomado la decisión de dejar OpenAI. Confío en que construirá una IAG (Inteligencia Artificial General) que sea segura y beneficiosa. Estoy emocionado por lo que viene”.
La creadora de ChaGPT ha sido señalada por supuestas omisiones de seguridad en los procesos de producción y comercialización de sus modelos de IA. Jan Leike, que se desempeñaba como colíder de ‘Superalignment’, también dejó su cargo. Acusó en redes sociales que la seguridad en la compañía “ha pasado a un segundo plano frente a la urgencia de lanzar productos brillantes”.
The Information insinuó la semana pasada que Sam Altman, CEO de OpenAI, está evaluando la posibilidad de convertir a la corporación en una con fines de lucro. Algunos analistas sugieren que con la adopción de un modelo totalmente comercial, es posible que la empresa se vea obligada a priorizar productos con mayor potencial comercial. Anticipan un aumento general en los precios de las soluciones de IA existentes en el mercado y un ritmo de innovación acelerado. Esto podría acrecentar los temores sobre los riesgos alrededor del uso de sistemas avanzados de IA en ausencia de un marco regulatorio.
OpenAI ha puesto en marcha una campaña que pretende restablecer la confianza en sus principios, operaciones y la seguridad de sus sistemas. En mayo, anunció la formación de un comité de seguridad dirigido por Sam Altman, Adam D’Angelo y Nicole Seligman, miembros de la junta directiva. Su función es realizar recomendaciones sobre “decisiones críticas” de protección y control para el desarrollo de nuevos proyectos. En días pasados, nombró a Paul M. Nakasone, exjefe de la Agencia de Seguridad Nacional de Estados Unidos, como miembro de su junta directiva.
