“Puede hacer mucho daño”: dos técnicos de Google DeepMind renuncian y se suman a los pedidos de regular la Inteligencia Artificial

En medio del debate público por los posibles riesgos del avance de las capacidades de la Inteligencia Artificial y los pedidos de Anthropic y OpenAI de generar regulaciones, otros dos técnicos del sector publicaron cartas abiertas donde señalan los peligros que se pueden avecinar luego de renunciar a sus empleos.

En este caso se trata de Bilal Chughtai y Josh Engels, dos ex empleados de Google DeepMind, el área del buscador que trabaja en desarrollos de IA.

Son, en todo caso, opiniones individuales de distintos empleados. Pero que se van sumando a la conversación pública sobre la IA.

Chughtai se desempeñaba como ingeniero en el área de Seguridad y Alineamiento de modelos de Inteligencia Artificial General (AGI, por sus siglas en inglés). En IA, el “alineamiento” es el proceso de orientar los modelos para que coincidan con los valores, la ética y los propósitos que le brinden sus creadores.

“En Google, presencié el desarrollo de la IA de primera mano y me preocupa enormemente la trayectoria predeterminada que viene teniendo esta tecnología”, escribió Chugthai en sus redes sociales.

“Creo firmemente que la IA tiene el potencial de acabar con todos nosotros y que podríamos estar quedándonos sin tiempo para evitarlo. El ritmo de progreso de la IA en los últimos años ha sido asombroso”, escribió el ingeniero.

Si bien su renuncia se produjo a comienzos del mes, su posteo en X llegó este fin de semana, luego del alarmismo que despertó la semana pasada la carta de renuncia de Jacob Coxon, un especialista británico que dejó su puesto en Anthropic pronosticando que hay un diez por ciento de chances de que la IA “nos mate a todos a finales de la década”.

“Las cosas se van a poner más caóticas. Creo que es posible que, en los próximos años, las empresas de IA logren construir sistemas de IA superinteligentes que superen con creces las capacidades humanas en todos los ámbitos. No confío en que estos sistemas de IA hagan lo que queremos”, vaticinó el ingeniero.

En su lectura, “las capacidades de IA de vanguardia están mejorando mucho más rápido que nuestra comprensión de la alineación”. “Peor aún. Nuestra comprensión actual de cómo entrenar sistemas de IA que deseen profundamente lo que nosotros deseamos es extremadamente rudimentaria”, dijo.

Para contrarrestar, Chughtai también pidió desacelerar el avance de los desarrollos para que “las capacidades de los modelos no sobrepasen nuestra capacidad de alinearlos”.

Otro de los técnicos que publicó un descargo en las últimas horas fue Josh Engels, quien también trabajaba en el área de seguridad de AGI de DeepMind.

Si bien su renuncia ocurrió hace unas tres semanas, Engels también se sumó al furor que despertó la carta de Coxon. Ese día, citó un posteo sobre el tema, remarcando que está “convencido de que no tenemos las cosas bajo control y deberíamos bajar el ritmo“

Su análisis es aún más alarmista que el de Coxon. “Creo que las chances de perder el control con la IA están por arriba del 20 por ciento“, dijo esa tarde.

Con el correr de los días, Engels también publicó una carta abierta contando su postura y contando que rechazó ofertas tanto de OpenAI como de Antrhopic.

“Todas las empresas de IA están intentando construir superinteligencia: sistemas mucho mejores que los humanos en todo. Si esto sale bien, los sistemas resultantes podrían ser asombrosos para resolver innumerables problemas para la humanidad. Pero actualmente no sabemos cómo asegurarnos de que las IA sean lo suficientemente seguras“, dijo.

Engels pone el ojo en el proceso de Automejora recursiva (RSI), a través el cual los sistemas de IA entrenan versiones mejoradas de sí mismas en un loop de mejora constante. Para el técnico, un bucle de RSI desalineado “podría ser catastrófico”.

“En las últimas semanas, hemos descubierto que algunos modelos se confabulan entre sí, hackean empresas, ocultan sus huellas y manipulan socialmente a los humanos. No es que estos incidentes fueran muy peligrosos en sí mismos. El problema es que estos sistemas claramente no están lo suficientemente alineados como para iniciar de forma segura la automejora recursiva”, diagnosticó Engels

Se refiere al episodio donde un modelo de OpenAI hackeó infraestructura de la empresa Hugging Face, luego de una prueba controlada donde fallaron los límites que se le dieron a la IA.

Engels cerró su punteo alertando que “existe una probabilidad aterradora de que los sistemas de IA causen un daño inmenso en los próximos cinco años”. “No conozco la probabilidad exacta, pero creo que es lo suficientemente alta como para convertirlo en el problema más importante del mundo”, dictaminó.

El ingeniero renunció a Google DeepMind para irse a METR, una ONG creada por un especialista en alineación que busca evaluar los riesgos de los modelos de frontera de IA para comprender el impacto que puede tener en la sociedad.

El sábado pasado, el CEO de Anthropic, Dario Amodei, pidió una desaceleración en el desarrollo de la inteligencia artificial (IA) y la implementación de auditorías de terceras partes para evitar catástrofes en la ciberseguridad a escala global. Su postura fue respaldada por Sam Altman y Elon Musk.

Una de las firmas que propuso para realizar dicha auditoría fue METR, donde se marchó a trabajar Engels.

Estas medidas que piden las empresas de IA de frontera llega en medio de una disputa con China y de un negocio que, para OpenAI, sigue siendo una máquina de perder plata. Según The Wall Street Journal, OpenAI registró US$12.300 millones de pérdidas operativas en el segundo trimestre de 2026, con ingresos por US$6.700 millones.