OpenAI está buscando un nuevo jefe de preparación para el riesgo de IA

OpenAI ha abierto una vacante para el puesto de jefe del departamento de evaluación de riesgos. La posición implica analizar e identificar amenazas relacionadas con las capacidades de los modelos avanzados de IA, particularmente en las áreas de ciberseguridad y salud mental.

Qué se sabe

En una publicación en X, el CEO de OpenAI, Sam Altman, escribió que los modelos de IA actuales están "empezando a plantear serios desafíos". Mencionó la capacidad de los modelos para detectar vulnerabilidades críticas en los sistemas de seguridad, así como su posible impacto en el estado mental de los usuarios.

La descripción del trabajo establece que el jefe implementará el Marco de Preparación: la estrategia interna de la compañía para el seguimiento y la preparación ante riesgos que puedan suponer una amenaza. El salario es de $555,000 por año, más opciones.

El equipo de Preparación fue creado en 2023 para explorar escenarios potencialmente peligrosos, desde ataques de phishing hasta amenazas relacionadas con la biotecnología. En menos de un año, el primer jefe de esta dirección, Alexander Madry, se trasladó al equipo que trabaja en el razonamiento de IA. Otros jefes de departamentos de seguridad también cambiaron de dirección o dejaron la empresa.

OpenAI también actualizó su enfoque de seguridad, señalando que podría cambiar sus requisitos si otros laboratorios lanzan modelos de "alto riesgo" sin medidas de protección adecuadas.

La publicación de Altman también mencionó preocupaciones sobre el impacto de algunos modelos de IA en la salud mental. Demandas anteriores afirmaron que ChatGPT exacerbó delirios, contribuyó al aislamiento social y estuvo involucrado en incidentes trágicos. La compañía informa que está trabajando en mejorar el reconocimiento de estados emocionales y redirigir a los usuarios a servicios de apoyo.

Fuente: Sam Altman