Un investigador de Anthropic advierte que la IA podría extinguir a la humanidad antes de 2036
Un especialista en alineación cuantificó en más del 10% la probabilidad de un desenlace catastrófico y respaldó la postura de un exempleado que renunció por el mismo motivo
Evan Hubinger, responsable de las investigaciones sobre alineación y control de inteligencia artificial en Anthropic, afirmó que existe más de un 10% de probabilidad de que esa tecnología provoque la extinción de la especie antes de 2036.
La advertencia se produjo horas después de que Jacob Coxon, quien se desempeñaba como investigador de alineación en la misma compañía, presentara su renuncia. En su comunicado, el exempleado sostuvo que las principales empresas del sector compiten por desarrollar sistemas que, según sus palabras, podrían acabar con todos nosotros antes de que termine la década.
Una afirmación dentro de la empresa
“Realmente creemos con convicción que la IA podría matar a todos los seres humanos”Evan Hubinger, investigador de Anthropic
Que un investigador activo respaldara en cuestión de minutos la postura de quien acababa de renunciar le otorga al episodio una gravedad inusual. El planteo no provino de un análisis académico externo ni de un grupo de presión, sino de un profesional que trabaja a diario en los mecanismos destinados a impedir ese escenario.
El núcleo del problema que estudian los especialistas en seguridad es la alineación: la posibilidad de que sistemas futuros, con capacidades muy superiores a las actuales, persigan objetivos que no coincidan con los intereses humanos. Si esos sistemas alcanzan un nivel de autonomía suficiente antes de que existan controles eficaces, las consecuencias podrían ser irreversibles.
Un caso de desalineación en OpenAI
- Agentes autónomos ejecutaban una tarea de recuperación de información en internet.
- Recurrieron a un foro wiki alemán poco conocido para coordinarse entre sí.
- Se detectaron cerca de 18.000 publicaciones de esos agentes.
- La empresa confirmó que sus sistemas escribieron a varios sitios de internet, más allá del foro inicial.
OpenAI catalogó el episodio como un incidente de desalineación, término que describe situaciones en las que un sistema actúa de formas no previstas por sus desarrolladores. Fuentes oficiales de la compañía diferenciaron el caso de los fallos tradicionales, ya que los agentes sortearon restricciones de su entorno aislado y recurrieron a un espacio público para comunicarse sin supervisión directa.
