Ir al contenido

Medir el retorno de la IA – y por qué la mayoría de las empresas no lo ve

En el mismo trimestre, una encuesta dice que el 95 % de las empresas no ve ningún retorno y otra dice que tres cuartas partes lo ven positivo. Las dos son directivos hablando de sí mismos. Y una medición rigurosa demostró que la sensación y la realidad se separan **40 puntos porcentuales**. Si sabes eso, ya sabes qué tienes que hacer distinto.
13 de septiembre de 2026 por
Medir el retorno de la IA – y por qué la mayoría de las empresas no lo ve
Krisztian Eyssen, Krisztian Eyssen

Los dos números que no caben juntos

En el verano de 2025, el informe de un grupo de investigación vinculado al MIT recorrió la prensa especializada: «el 95 % de las organizaciones obtiene cero retorno» de la IA generativa. El propio informe apunta que sus datos son «orientativos, basados en entrevistas individuales, no en informes corporativos oficiales» — la muestra fueron 52 entrevistas y 153 cuestionarios de directivos, estos últimos recogidos en cuatro congresos sectoriales. Un investigador de una universidad de Pensilvania escribió públicamente sobre él que había leído el documento varias veces y que no entendía de dónde sale ese 95 %.

Tres meses después, otro grupo universitario preguntó a más de 800 responsables de decisión en empresas con más de 50 millones de dólares de facturación. El resultado: tres de cada cuatro directivos declararon un retorno positivo, y el 72 % dijo que su empresa ya sigue indicadores de IA generativa ligados al beneficio, al volumen procesado o a la productividad.

La misma tecnología, el mismo medio año, el mismo método — directivos hablando de sí mismos — y los dos resultados son opuestos. Si a una pregunta dos encuestas serias responden lo contrario, el problema no está en la tecnología. Está en la medición.

El número que se cita mal a menudo

Hace poco corrió como la pólvora que «el 94 % de las empresas no mide los resultados de la IA». Esa encuesta no existe. El 94 % sale de un titular de una revista del sector que lo restó del 6 % de una encuesta de consultoría: según esa encuesta, el 6 % de quienes responden se considera de alto rendimiento — o sea, el 94 % no lo es. Eso habla de la ausencia de retorno, no de la ausencia de medición. No son la misma cosa.

Sobre la medición sí hay un dato real, de esa misma encuesta (1.719 respuestas de 97 países, mayo y junio de 2026): la afirmación «tenemos un proceso definido para cuantificar el impacto de nuestras iniciativas de IA» la asume el 52 % de las de alto rendimiento y el 33 % del resto.

Es decir, unas dos terceras partes de las empresas normales no tienen ningún proceso para medirlo. Ese número es defendible y dice exactamente lo que merece la pena decir.

Los 40 puntos porcentuales: por qué no puedes limitarte a preguntar

Esta es la prueba más importante del artículo, porque el mismo equipo midió la realidad y la sensación, sobre las mismas personas.

En un experimento aleatorizado de 2025, 16 desarrolladores experimentados de código abierto trabajaron en 246 tareas reales (las tareas se sortearon entre un grupo con IA permitida y otro con IA prohibida), trabajos de unas dos horas de media, sobre bases de código en las que llevaban una media de cinco años:

Qué se preguntó o midió Resultado
Expectativa previa la IA acelera un 24 %
Tras el experimento, estimación propia la IA aceleró un 20 %
Tiempo medido de verdad la IA ralentizó un 19 %

O sea que los participantes sintieron una aceleración del 20 % mientras se volvían un 19 % más lentos. En la primavera de 2026, ese mismo equipo escribió la conclusión en su propia encuesta declarativa a 349 trabajadores técnicos: en el estudio de 2025 la gente sobrestimó de media en 40 puntos porcentuales el efecto de la IA sobre el tiempo dedicado a la tarea. Y añadieron que las estimaciones de productividad procedentes de encuestas suelen ser mayores que las procedentes de experimentos de campo.

Esto tiene además una continuación honesta. En febrero de 2026 el mismo grupo anunció que tiene que cambiar su diseño experimental, porque entre el 30 y el 50 % de los desarrolladores dijo que sencillamente no entrega ciertas tareas, porque no quiere hacerlas sin IA. El grupo de control, por tanto, ha empezado a vaciarse. Consideran probable que en 2026 la aceleración sea mayor que la que midieron en 2025 — pero dicen también, con todas las letras, que su evidencia para eso es muy débil.

La lección para tu empresa: si preguntas al equipo cuánto ayuda la IA, te devuelven un número con un sesgo de 40 puntos porcentuales. Y no porque mientan.

Qué medir, si no es la sensación

Dos números de una de las grandes encuestas de consultoría, puestos uno al lado del otro, cuentan la historia entera: el 80 % de quienes responden siente que su productividad individual ha mejorado, mientras que el 37 % ve algún efecto en los resultados y el 6 %, uno significativo.

El motivo de la diferencia no es ningún misterio. La hora de trabajo ahorrada solo es un ahorro si alguien dedica esa hora de verdad a otra cosa, o si por eso no hay que contratar a alguien. Si el día simplemente ha quedado más holgado, eso no aparece en los resultados — y no va a aparecer.

De ahí salen las cinco reglas de la medición:

1. Línea base antes del despliegue, durante dos semanas. Tres números, los tres del sistema: recuento, tiempo de ciclo a partir de marcas de tiempo, tasa de error. Si no hay marca de tiempo, el proyecto empieza por marcar el tiempo.

2. Un proceso, no cinco. Una serie de experimentos aleatorizados en un marketplace global probó siete aplicaciones de IA dentro de la misma empresa: el chatbot de preventa subió las ventas un 16,3 %, el refinado de búsqueda un 2,9 %, la generación de descripciones de producto un 2,1 % — mientras que el mensaje push y la generación de titulares de anuncio no subieron nada. Si despliegas estas a la vez, mezclas a los ganadores con los perdedores.

3. Control, aunque la empresa sea pequeña. Dos personas, dos carteras de clientes parecidas, una con IA y otra sin ella, y cambio a las dos semanas. Si eso no sale, semanas alternas. Si tampoco, entonces solo tienes antes y después — y en ese caso escribe en el informe que eso es una señal, no una prueba.

4. El indicador es la salida, no el tiempo. Presupuestos enviados por semana, presupuestos ganados sobre los enviados, tiempo hasta la primera respuesta, proporción de trabajos devueltos, horas facturadas con la misma gente. La pregunta «cuánto tiempo he ahorrado» es la trampa de los 40 puntos porcentuales.

5. El lado del coste, entero. No solo la suscripción:

Beneficio neto mensual = (horas de trabajo ahorradas × precio hora)
                       − suscripción
                       − (horas de revisión × precio hora)

Coste único de despliegue = horas de despliegue × precio hora + horas de formación × precio hora

Plazo de retorno (meses) = coste único de despliegue / beneficio neto mensual

Las horas de revisión son la partida que casi todo el mundo se deja fuera: si alguien revisa cada salida durante tres minutos y hay 400 salidas al mes, eso son 20 horas.

El límite estadístico que más vale saber de antemano

Aquel experimento de 246 tareas tenía, según su propia descripción, «justo la potencia estadística suficiente» para descartar el efecto nulo. Dieciséis personas, ejecución profesional, 246 observaciones — para detectar un solo efecto del 19 %.

[Cálculo propio] Si tu proceso produce diez elementos por semana, para 246 observaciones hace falta casi medio año. Si el efecto esperado es la mitad (10 %), el tamaño de muestra necesario se multiplica aproximadamente por cuatro, porque la muestra necesaria es inversamente proporcional al cuadrado del tamaño del efecto — y eso ya son casi dos años.

De ahí se sigue que una pequeña empresa no puede alcanzar significación estadística en su propio proceso, y tampoco tiene por qué intentarlo. A lo que sí se puede apuntar es a la diferencia grande y visible a ojo: el doble de recuento, la mitad de tiempo de ciclo. Si solo hay una desviación pequeña, la respuesta honesta es que no es medible — no que «aun así se nota que va mejor».

Qué dicen las mediciones rigurosas cuando sí se consigue medir

Conviene saber dónde se mide efecto y dónde no, porque la diferencia es instructiva.

Estudio Muestra Qué midió Resultado
Despliegue en atención al cliente 5.179 personas casos resueltos por hora +14 % de media, +34 % en los principiantes, ~0 % en los experimentados
Experimento de campo en desarrollo de producto 776 personas calidad de la solución una persona trabajando con IA es igual de buena que un equipo de dos sin ella
Producción de anuncios 2.234 personas, 11.024 anuncios salida y rendimiento +50 % de anuncios por cabeza, pero salida más homogénea
Datos de nóminas de Dinamarca dato administrativo nacional salario y horas trabajadas descartado cualquier efecto mayor del 2 % dos años después del despliegue

Los tres primeros midieron la salida directamente: unidades, calidad, rendimiento. El cuarto buscó el efecto en los salarios y en las horas, y no lo encontró — mientras que ese mismo estudio sí demostró que las tareas se reordenaron y que mucha gente cambió de ocupación.

La diferencia no está en la IA, sino en qué mides.

Los malentendidos frecuentes

«El 95 % significa que el 95 % de los pilotos fracasa.» No significa eso. El informe afirma algo sobre el retorno, a partir de cuestionarios recogidos en congresos, y él mismo se marca como orientativo.

«Si no se ve en los números, no funciona.» Puede que tu muestra sea sencillamente pequeña. Mira más arriba.

«Si se ve en los números, funciona.» Solo si hubo control. La estacionalidad, un buen mes, un cliente nuevo — cada uno produce por sí solo una mejora del 20 %.

«Ya lo mediremos al final.» Sin línea base no hay nada que medir. Este es el único paso que no se puede recuperar después.

Lo que conviene llevarse

En la cuestión del retorno, las encuestas no son fiables, porque se basan en lo que uno declara de sí mismo, y lo declarado se equivoca en 40 puntos porcentuales. En tu propia empresa, en cambio, sí puedes medir, si la medición forma parte del despliegue y no es una pregunta posterior: dos semanas de línea base, un proceso, algún tipo de control, un indicador de salida y, en el lado del coste, también las horas de revisión.

Y si aun así no se ve nada, puede haber dos motivos: o de verdad no hay efecto, o el proceso siguió siendo el mismo y solo se aceleró uno de sus pasos. Del segundo — de por qué no basta con cambiar la herramienta — habla rediseñar el proceso. Y cómo se monta el primer trimestre, línea base incluida, lo describe paso a paso la estrategia de IA para pequeñas empresas.

Medir el retorno de la IA – y por qué la mayoría de las empresas no lo ve
Krisztian Eyssen, Krisztian Eyssen 13 de septiembre de 2026
Compartir esta publicación
Archivar