Qué ha pasado
8 sep dimite un investigador en X
9 sep Anthropic: incidentes propios
10 sep informe de amenazas, políticos
11 sep otra baja en el equipo de seguridad
12 sep «hay que frenar» - Amodei
La noche del 8 de septiembre Jacob Coxon, investigador de pretraining en Anthropic, anunció su salida con estas palabras: «Pasé los últimos tres años haciendo investigación de pretraining en OpenAI y en Anthropic. Ninguna de las dos empresas actúa de forma responsable. Corren en línea recta hacia la superinteligencia que se mejora a sí misma y se juegan nuestras vidas.» Su otra frase, la que citó todo el mundo: «Quienes construyen la IA creen sinceramente que podría matarnos a todos antes de que acabe la década.»
Dos investigadores de Anthropic se pusieron públicamente de su lado. Evan Hubinger, responsable de la investigación de alignment, escribió esto: «Jacob tiene razón — de verdad creemos sinceramente que la IA podría matar a todos los humanos. Yo personalmente lo sitúo por encima del 10% en la próxima década.» El 11 de septiembre se marchó también Joe Benton, responsable de uno de los equipos de seguridad de Anthropic, con un argumento parecido.
Mientras tanto Anthropic sacó dos documentos distintos: el 9 de septiembre uno sobre cuatro incidentes de sus propios modelos (Claude accedió sin autorización a sistemas reales durante ejercicios de ciberseguridad; revisaron 481 millones de transcripciones y acordaron con METR una revisión independiente) y el 10 de septiembre el informe de amenazas sobre los atacantes externos, del que escribimos aparte — no son lo mismo, y la prensa los confundió una y otra vez.
Tres cosas que la prensa contó mal
«Investigador líder de IA.» Coxon era investigador de pretraining y llevaba unos cuatro meses en Anthropic (antes, tres años en OpenAI). Ninguna fuente primaria lo llama líder. Las dos personas que sí ocupan de verdad puestos de dirección y hablaron — Hubinger y Benton — recibieron menos atención, y eso que su palabra pesa más.
«2030.» Eso sale del titular de The Guardian, no de Coxon. Coxon dijo «antes de que acabe la década», y además como convicción de otros; su propia estimación para la pérdida de control queda mucho más cerca: «antes de que acabe el año que viene». La precisión aquí no es quisquillosidad — uno decide otra cosa para 2027 que para 2030.
«El modelo se desvió de la tarea asignada.» La investigación de Anthropic dice justo lo contrario: el comportamiento del modelofue erróneo, pero «los modelos nunca se desviaron de intentar resolver los ejercicios que se les habían encargado». Un error de traducción aquí le da la vuelta al sentido de la noticia.
Qué pide el consejero delegado
El 12 de septiembre Dario Amodei publicó su ensayo We Must Pace the Frontier. La idea: hay que frenar el ritmo al que crecen las capacidades de los modelos. Anthropic se comprometió unilateralmente a dar a evaluadores externos un acceso permanente a los modelos al nivel de un empleado; Sam Altman anunció que OpenAI hará lo mismo, y Elon Musk escribió solo esto: «Dario tiene razón.»
La mitad más interesante del ensayo es donde Amodei enuncia el límite de su propia propuesta: «Frenar dentro de las democracias estará limitado por la ventaja que las empresas estadounidenses tienen sobre los regímenes autoritarios, principalmente el Partido Comunista Chino. Si frenamos más de eso, los proyectos vinculados al PCCh, que no frenan, se pondrán por delante, y eso crea un riesgo importante para la seguridad nacional.» Enumera cuatro posibles acuerdos internacionales, y del más fuerte escribe él mismo que «es improbable que llegue a ocurrir en un plazo previsible».
Dónde está la regulación mientras tanto
| Dónde | Qué es obligatorio hoy para los modelos frontier |
|---|---|
| UE | La parte del AI Act sobre modelos de propósito general se aplica desde agosto de 2025, y las reglas de transparencia desde agosto de este año. El plazo de los sistemas de alto riesgo, en cambio, lo movió el Digital Omnibus a diciembre de 2027 y agosto de 2028. |
| EE. UU. federal | Nada. La FRONTIER Act lleva en comisión desde que se presentó en julio; el texto del acuerdo del Senado sobre riesgo catastrófico todavía no era público el 12 de septiembre. |
| California | La ley de transparencia para modelos frontier entró en vigor en enero: publicar un marco de riesgos, notificar los incidentes graves en 15 días, protección del denunciante. |
| China | Hay regulación de contenidos y registro — etiquetado obligatorio desde septiembre de 2025, cerca de mil servicios generativos registrados. Umbral de capacidad, evaluación obligatoria de modelos y notificación de incidentes, en cambio, no hay; el marco de gestión de riesgos que sí nombra la pérdida de control no es obligatorio. |
Conviene añadir: China firmó las declaraciones de Bletchley y de París, y en julio Xi Jinping habló literalmente de que hay que «perfeccionar constantemente las medidas para prevenir la pérdida de control» y «garantizar que la IA esté siempre bajo control humano». O sea que el texto existe. La fuerza vinculante no.
Qué significa esto para ti
A corto plazo, nada: en tu trabajo de la semana que viene no cambia nada porque un investigador se haya ido. Sí tiene dos consecuencias prácticas. Una, que las obligaciones de transparencia de la UE ya están vigentes hoy — si publicas contenido hecho con IA, eso te afecta a ti, no la superinteligencia. (Más información: cumplimiento práctico del Reglamento de IA.) La otra, que los laboratorios compiten ya en público por la etiqueta de «responsables», y eso en la práctica significa más retiradas, más cambios de modelo y más condiciones cambiantes: exactamente lo que en este blog seguimos semana a semana.
Opinión
Esta sección es mi propia postura, no una exposición de hechos.
Me creo que el riesgo es real — cuesta pensar otra cosa cuando lo dicen justamente quienes lo están construyendo. También veo que la regulación es más urgente que nunca. Pero hay un punto en el que la urgencia por sí sola lleva en la dirección equivocada: una norma que ata solo a un lado no reduce el riesgo, lo desplaza. La capacidad no desaparece porque en Europa o en California sea más difícil sacarla: se va adonde no hay una norma así.
Y así está hoy la cosa. En China hay etiquetado obligatorio y registro, pero no hay ni una sola exigencia obligatoria de riesgo frontier — ni umbral de capacidad, ni evaluación obligatoria, ni notificación de incidentes. No firmó la declaración de Seúl, no está en la red de AI Safety Institutes, y el código GPAI de la UE no tiene ningún firmante chino. Mientras tanto los laboratorios chinos sacaron en 2026 modelos de entre 1,7 y 2,8 billones de parámetros con pesos abiertos, y según la medición de Epoch AI su retraso respecto a la vanguardia es de siete meses de media. Siete meses no es un abismo. Siete meses es justo lo que un frenazo unilateral derrite sin despeinarse.
Esta no es la postura del «no regulemos», y es lo menos parecido a un argumento antichino: lo mismo vale para todos los demás que sigan trabajando en ello. Mi argumento es que el valor de la regulación depende de que sea verificable y multilateral. Lo que se firma hoy casi nunca es ninguna de las dos cosas. Amodei escribe lo mismo, solo que con más cautela: el acuerdo más fuerte, según él, no se materializará en un plazo previsible, y los más débiles valen algo solo si llevan verificación detrás.
En lo que no tiene razón quien de aquí deduce la inacción: hay una franja que casi no cuesta velocidad. La transparencia, la notificación de incidentes, la evaluación externa independiente y unas cuantas prohibiciones duras — armas biológicas, infraestructuras críticas — no frenan nada, y son justo las que más posibilidades tienen de acuerdo multilateral. Por ahí habría que empezar, no por el techo de capacidad.
El peor desenlace sería que Europa regulase a sus pequeñas y medianas empresas hasta dejarnos sin seguridad y sin capacidad — mientras la frontera se queda donde estaba, solo que fuera de nuestra vista. Si hay que elegir entre los dos extremos de hoy, mejor el acuerdo lento, verificable y con varios países dentro que la prohibición rápida, vistosa y unilateral. El primero tiene alguna posibilidad de funcionar. Del segundo ya sabemos qué hace: no elimina el riesgo, elimina la visibilidad.