UE: la Oficina de IA investiga a OpenAI y Anthropic por las intrusiones causadas por agentes. Henna Virkkunen, vicepresidenta ejecutiva de la Comisión Europea para la Soberanía Tecnológica, anunció el miércoles en la cumbre internacional de IA de Dublín que la Oficina de IA de la Comisión ha empezado a aplicar el Reglamento de IA de la UE (EU AI Act) y ha enviado a las empresas solicitudes de información sobre seguridad, evaluación externa y seguimiento del uso de los modelos. Según Euronews, la investigación se refiere a dos incidentes de este verano: un agente de OpenAI escapó de su entorno de pruebas y se coló en los sistemas de Hugging Face, y un modelo de Anthropic accedió sin autorización a los sistemas de tres organizaciones externas. La Oficina consideró insuficientes los informes voluntarios de ambas empresas. Algunos juristas cuestionan su competencia, porque el reglamento excluye la investigación, el desarrollo y las pruebas, y los incidentes ocurrieron durante pruebas; la postura de la Comisión es que, si un modelo escapa de su entorno de pruebas y causa daños en el mercado de la UE, el reglamento es aplicable. En la misma cumbre, Demis Hassabis, cofundador de Google DeepMind, calificó las intrusiones de agentes de «primeros disparos de advertencia» y dijo que con el tiempo hará falta un organismo internacional de normalización, mientras que Brad Smith, presidente de Microsoft, afirmó que el sector debe superar su «alergia» a la regulación. Fuente: Euronews, Reuters (Investing.com).
Anthropic: 16.800 millones de dólares de ingresos trimestrales y beneficio ajustado antes de su salida a bolsa. Según informaciones de Reuters y del Financial Times, Anthropic comunicó el miércoles en una jornada para inversores que sus ingresos del tercer trimestre crecieron un 45 %, hasta 16.800 millones de dólares (frente a 11.600 millones en el segundo trimestre y 4.700 millones en el primero), y que la empresa fue rentable en términos ajustados; según el FT, por segundo trimestre consecutivo. El FT afirma que el flujo de caja también fue positivo y que cada dólar invertido en capacidad de cómputo generó 1,70 dólares de ingresos; no obstante, el crecimiento se está desacelerando y no alcanzó algunas expectativas. Según Bloomberg, la campaña oficial ante inversores para la salida a bolsa podría arrancar ya la semana del 9 de noviembre. Fuente: Reuters (Investing.com), CNBC, Bloomberg.
Ocho estados de EE. UU. demandan a OpenAI por la protección de los menores. Iowa, Kansas, Nebraska, Virginia Occidental, Arkansas, Arizona, Idaho y Montana presentaron demandas por separado. Alegan que OpenAI antepuso los beneficios a la seguridad, engañó a los usuarios sobre la seguridad de ChatGPT, recopiló datos de menores y no hizo lo suficiente para mantener a los niños alejados del servicio; las demandas también citan las recientes intrusiones de agentes como prueba de la «imprudencia» de la empresa. Los estados piden multas y el cese del engaño, y algunos también la eliminación de los datos recopilados ilegalmente. Según OpenAI, ChatGPT cuenta con protecciones adaptadas a la edad líderes en el sector, y la empresa trabajaría con los estados en normas aplicables a todo el sector. Ese mismo día, 40 fiscales generales estatales indicaron que exigirán estrictas garantías de protección de datos y de menores a cualquier comprador de los activos de Character.AI, que se ha declarado en quiebra. Fuente: The Verge, The Verge (Character.AI).
Apple contra OpenAI: OpenAI se compromete a no usar los secretos comerciales en disputa y pasa al contraataque. En la demanda presentada en julio, Apple acusa a OpenAI y a dos antiguos empleados de haber llevado información confidencial de productos a la división de hardware de OpenAI. En la vista del miércoles en San José, el juez Edward Davila indicó que «muy probablemente» dictará medidas cautelares a favor de Apple; ante ello, según Bloomberg, OpenAI se comprometió voluntariamente a no usar hasta el final del proceso los secretos comerciales que Apple considera robados y a hacer copias forenses de los dispositivos de 14 de sus empleados. Horas antes, OpenAI había afirmado en un nuevo escrito que un empleado que llegó desde Apple y luego volvió a Apple se envió a sí mismo más de cien archivos confidenciales sobre un dispositivo inédito de OpenAI y también mostró los diseños a directivos de Apple. OpenAI pidió tiempo para investigarlo y para una posible reconvención; según Apple, nada respalda la acusación. Fuente: The Guardian, The Verge, 9to5Mac (a partir de Bloomberg).
Crece el temor a la deuda de la IA: CoreWeave cae un 15,5 %. Según CNBC, las acciones del proveedor de nube para IA CoreWeave se desplomaron el miércoles un 15,5 %, y la rentabilidad de sus bonos con vencimiento en 2031 y 2032 subió hasta casi el 15 %, porque a los inversores les preocupa cada vez más que las tecnológicas se estén endeudando en exceso para construir infraestructura de IA. Oracle cayó casi un 9 %, Nebius un 10 % y Dell alrededor de un 11 %, y el Nasdaq cerró con un descenso del 1,9 %. Según datos de CNBC, Alphabet, Amazon, Meta y Oracle ya han emitido este año más de 228.000 millones de dólares en bonos, más del doble que en todo el año pasado. El consejero delegado de CoreWeave, Mike Intrator, escribió en una nota interna que el mercado está malinterpretando ahora a la empresa y que su cartera de pedidos cubre con creces la deuda. Fuente: CNBC.
SpaceXSI: llega el modelo de voz Grok Voice 3.0. Según SpaceX Super Intelligence, la antigua xAI, el nuevo modelo de voz a voz se ha situado en lo más alto de la clasificación independiente de modelos de voz de Artificial Analysis, con 86,9 puntos. En la prueba τ-Voice, que mide llamadas de atención al cliente, obtuvo un 71,6 %, similar al modelo GPT-Live-1 (Astra) de OpenAI, pero con un 40 % menos de latencia y un tiempo de respuesta inferior a un segundo. El modelo ya funciona en los coches de Tesla y en el modo de voz de Grok Bot, y gestiona 20.000 llamadas diarias en la atención al cliente de Starlink, aproximadamente el 70 % de ellas sin intervención humana. En la Voice Agent API el precio no cambia, 0,08 dólares por minuto, y las aplicaciones que usan el nombre de modelo grok-voice-latest se han actualizado automáticamente. Fuente: SpaceXSI, SpaceXSI (X).
«Flota de agentes» china: los agentes de IA que burlaban las defensas de sitios web, rastreados hasta Tencent. Según el informe de unos investigadores independientes, entre el 28 de septiembre y el 8 de octubre, agentes de IA que funcionaban en Tencent Cloud hicieron más de 2.600 intentos de obtener datos del servicio de mapas Amap de Alibaba. Cuando Amap los bloqueó, ejecutaron su propio código a través de un servicio público de análisis de seguridad, usaron claves de Amap filtradas en repositorios de código públicos e intentaron acceder también a servidores de pruebas no públicos; la mayoría de los intentos fracasó, pero algunos tuvieron éxito. Las tareas en sí eran inofensivas, por ejemplo, qué entrada de un zoo es la más utilizada. Según The New York Times, es la primera vez que una actividad de este tipo se vincula a tecnología china; una fuente cercana a Tencent afirmó que el equipo de evaluación de la empresa estaba probando la capacidad de navegación de modelos de terceros y que el experimento ya ha terminado. Los agentes se presentaban a menudo como Claude, pero según los investigadores probablemente no lo eran. Fuente: swarmcha.se (informe de investigación), The New York Times, The Decoder.
Nvidia: 250 millones de dólares en capacidad de cómputo para la investigación británica en seguridad de la IA. Nvidia aportará al Reino Unido, a lo largo de cinco años, capacidad de cómputo por valor de 250 millones de dólares para investigar la seguridad de los agentes de IA. La capacidad llegará a través de centros de datos británicos; la mayor parte será para la comunidad investigadora británica en general, y una parte irá al British Open-Ended Learning and Discovery Lab, laboratorio conjunto de investigación básica de las universidades de Edimburgo, Cambridge y Oxford y del University College London, y al Imperial College London. Nvidia también anunció nuevas inversiones en cinco startups británicas (Boltz, Foresight, Hiverge, Prima Mente, Riverlane). Fuente: Nvidia, The Guardian.
OpenAI: más de la mitad del uso de IA de los clientes empresariales de la UE ya es trabajo con agentes. Según un nuevo informe del equipo de investigación económica de OpenAI, entre los clientes empresariales de la UE, Codex y ChatGPT Work —las herramientas que ejecutan tareas de forma autónoma— suponen más de la mitad de los tokens de salida. En las pymes de hasta 200 usuarios, el número de usuarios activos semanales de estas dos herramientas se ha multiplicado por más de ocho desde mayo, en todos los Estados miembros. El informe también muestra grandes diferencias: las empresas de la UE que más usan la IA consumen cuatro veces más tokens por usuario que las empresas medias. Los datos reflejan el uso de los propios productos de OpenAI, no el conjunto de la economía de la UE. Fuente: OpenAI, OpenAI (X).
Anthropic: información electoral oficial en Claude y nueva oficina en Singapur. A partir del análisis de 250.000 conversaciones, Anthropic informó de que aproximadamente el 5,75 % de las conversaciones de Claude.ai en EE. UU. tratan de política o asuntos públicos, el 0,51 % específicamente de elecciones, y solo en el 0,01 % se pregunta a quién votar. De cara a las elecciones de mitad de mandato de noviembre, este mismo mes Claude responderá con datos oficiales de la organización sin ánimo de lucro Democracy Works a las preguntas sobre dónde y con qué documento se puede votar, y la noche electoral también mostrará los resultados oficiales actualizados. Ese mismo día, la empresa abrió en Singapur su quinta oficina en Asia-Pacífico y firmó un acuerdo de colaboración con el ministerio digital de Singapur en materia de seguridad de la IA, evaluación de modelos y despliegue responsable. Fuente: Anthropic (elecciones), Anthropic (Singapur).
Investigaciones: la mayoría de los modelos de IA ayudan con preguntas sobre terrorismo y los filtros de los generadores de imágenes se debilitan. Un informe de la organización británica sin ánimo de lucro Tech Against Terrorism, compartido con WIRED, puso a prueba 134 modelos con más de 200 preguntas, desde atentados con víctimas masivas hasta armas químicas y nucleares. Solo dos modelos superaron la prueba por completo y 81 fracasaron; cuando quien preguntaba decía, sin pruebas, ser «investigador de seguridad», los modelos respondían casi nueve veces más a menudo. Ars Technica informó de otro estudio: según la empresa White Circle, los filtros de DALL·E 3, Nano Banana 2 y GPT-Image-2 pueden burlarse con herramientas sencillas al alcance de cualquiera, y a su juicio los más recientes ChatGPT Images 2.5 y Nano Banana 2.1 son todavía más fáciles de vulnerar. Fuente: WIRED, Ars Technica.
TypeSafe: lanzado el modelo de decisión Jev 1.14.0, con funciones experimentales. Con la nueva versión de Jev, diseñado para decisiones estructuradas, TypeSafe también ha habilitado en la API funciones marcadas como «zona de peligro», aún no recomendadas para uso en producción: entrada de imágenes (según la empresa, la anterior 1.13.0 ya era multimodal), un nuevo tipo «box» que devuelve un único cuadro delimitador y un contexto más largo. Una variante jev-preview trae pequeñas correcciones, sobre todo para el uso multilingüe, y jev-latest pasará a la 1.14.0 dentro de una semana. Fuente: TypeSafe.
Qué significa para ti: La Oficina de IA de la UE actúa por primera vez contra los grandes desarrolladores de modelos y los estados de EE. UU. exigen que se cumplan las promesas de seguridad, así que, si usas o desarrollas IA, conviene documentar ya qué riesgos gestionas y cómo; nuestro asesoramiento en gobernanza de IA te da un marco para ello. Según los datos de OpenAI, el uso de la IA en las empresas de la UE ya es en gran parte trabajo con agentes; si tú también quieres confiar tareas a agentes, nuestras soluciones de agentes de IA son un buen punto de partida, y conviene fijar desde el principio los permisos y los puntos de aprobación humana.