Cuatro métricas, y qué miden en realidad
Las métricas RAG habituales responden a cuatro preguntas distintas. Conviene mantenerlas separadas, porque casi toda la decepción nace de intentar reducir las cuatro a una sola cifra:
| Métrica | Qué mide | Dónde se produce el error |
|---|---|---|
| Groundedness | Si las afirmaciones de la respuesta se derivan del texto recuperado | al responder |
| Relevancia de la respuesta | Si la respuesta contesta a la pregunta formulada | al responder |
| Context precision | Cuánto de lo recuperado es relevante | en la búsqueda |
| Context recall | Si la información necesaria llegó siquiera a entrar | en la búsqueda |
Las dos primeras filas hablan del modelo; las dos últimas, de la búsqueda. Si no las mides por separado, una cifra mala no te dirá qué arreglar.
La tabla de diagnóstico
Esta es la parte más práctica del artículo. Cuatro situaciones básicas, y cada una pide una intervención distinta:
| ¿Entró el texto correcto? | ¿Lo usó el modelo? | Diagnóstico | Qué corregir |
|---|---|---|---|
| No | — | La respuesta no está en los fragmentos recuperados | chunking, índice, búsqueda, número de resultados |
| Sí | No | Lo tenía delante y no lo usó | prompt, longitud de contexto, orden |
| Sí | Sí, pero inventa por encima | Lo usó y añadió ficción | prompt, temperatura, modelo |
| Sí | No: respondió desde su propio conocimiento | Buena respuesta, pero no de la fuente | obligación de citar, forzar la fuente |
Una sola cifra agregada —«groundedness: 0,82»— no distingue ninguno de estos cuatro casos. Por eso hacen falta dos mediciones, no una.
¿Cuánto se pueden creer estas cifras?
Aquí llega el material más importante del artículo, y es incómodo.
La primera medición se hizo sobre el material oficial de evaluación de una campaña pública: 45 sistemas presentados, 36 temas, 6.742 anotaciones manuales. La pregunta era si un documento citado respalda o no una afirmación concreta.
| Comparación | Acuerdo (corregido por azar) |
|---|---|
| Modelo juez frente a evaluador humano | 0,29 |
| Persona independiente frente a evaluador humano | −0,03 |
La segunda fila es lo importante. El signo negativo significa que las dos personas coincidieron peor de lo que habría coincidido el azar. O sea, el problema no es la máquina: juzgar un respaldo parcial tampoco es consistente entre personas.
Pero de la misma fuente sale una buena noticia, y de ahí viene la respuesta práctica. A nivel de sistema —es decir, ante la pregunta de qué configuración es mejor— el modelo juez y la persona correlacionaron con fuerza (por encima de 0,79).
La regla utilizable es esta: el modelo juez sirve para ordenar, no para juzgar una respuesta concreta. Úsalo para decidir si la configuración A o la B es mejor. No lo uses para saber si esta respuesta en particular es correcta.
Y un sesgo sistemático que conviene conocer: en esa misma medición los evaluadores humanos se inclinaron por la etiqueta «sin respaldo» (47 %) y el modelo por la de «parcialmente respaldado» (49-51 %). El modelo juez es el más indulgente de los dos, o sea que te da una cifra más bonita de la que daría una persona.
La segunda medición es todavía más dura: 21 modelos juez de nueve proveedores, sobre tres benchmarks, con unos 541.000 juicios. El acuerdo con la persona, corregido por azar, se movió entre 0,376 y 0,511.
Y aquí está el hallazgo metodológico clave:
Contar coincidencias a secas sobrestima el acuerdo corregido por azar entre 33,8 y 41,3 puntos porcentuales; de media, sobre los 21 modelos, 38,6 puntos porcentuales.
Dicho claro: quien afirma que «nuestro juez coincide con la persona en el 85 % de los casos» se pasa de media casi cuarenta puntos.
Un benchmark contraintuitivo sobre datos de empresa
En mayo de 2026 apareció un benchmark construido expresamente sobre conocimiento interno de empresa y no sobre texto de la web. El conjunto ronda el medio millón de documentos de nueve fuentes: mensajes de chat, correo, gestor de tareas, repositorio documental, tickets, actas de reunión. La evaluación recorre 500 preguntas en diez categorías.
El resultado:
| Método | Corrección | Completitud | Document recall |
|---|---|---|---|
| Búsqueda por palabras clave | 68,8 % | 56,0 % | 68,4 % |
| Búsqueda por embeddings | 51,4 % | 42,9 % | 46,0 % |
| Agent de búsqueda por línea de comandos | 60,6 % | 61,1 % | 55,8 % |
La vieja búsqueda por palabras clave ganó por 17 puntos a la de embeddings. Sobre documentos de empresa.
La lección no es que la búsqueda vectorial sea mala, sino que el dato de empresa es bastante distinto de los benchmarks públicos sobre los que se construye casi toda la recomendación al uso. Esta clase de error la desmenuza el artículo sobre hybrid search , medición a medición.
¿Cuántos casos de prueba hacen falta?
Sobre esto hay una recomendación primaria concreta:
«Se requiere un mínimo de 100 pares de pregunta y respuesta. Para dominios más amplios sugerimos 150.»
Las preguntas deben ser interpretables por sí solas, y las respuestas debe validarlas un experto, sobre todo las que generó un modelo en origen.
[Cálculo propio] Conviene añadir qué puede detectar realmente ese tamaño de muestra. En una medición binaria (pasa / no pasa) la incertidumbre es más o menos esta:
margen de error ≈ 1,96 × √( p(1−p) / n )
Es decir, con 100 casos de prueba y un resultado en torno al 75 %, el margen de error al 95 % es de ±8,5 puntos porcentuales. Lo que significa:
| Casos de prueba | Diferencia detectable |
|---|---|
| 20 | ~±19 puntos: solo cambios de orden de magnitud |
| 100 | ~±8,5 puntos |
| 500 | ~±3,8 puntos |
| 1.200 | ~±2,5 puntos |
(Este es el intervalo de confianza de una sola proporción. Si comparas dos configuraciones sobre el mismo conjunto de pruebas, la incertidumbre de la comparación pareada es menor, pero el orden de magnitud se mantiene.)
Con veinte casos de prueba no puedes detectar una mejora de cinco puntos. Eso no es rigor excesivo, es aritmética, y de ahí depende casi toda discusión del tipo «a mí me parece que va mejor».
Con esto viene una trampa metodológica: si las preguntas llegan en grupos (diez preguntas del mismo documento, por ejemplo), no son independientes, y el margen de error real puede triplicar al calculado. En ese caso hay que calcular a nivel de grupo.
El ruido que ayuda y el casi acierto que mata
Hay una medición revisada por pares que muestra dos cosas en apariencia contradictorias en el mismo experimento, y las dos cambian cómo conviene medir.
El primer resultado, contraintuitivo: añadir al contexto documentos irrelevantes por completo, al azar, mejoró la precisión hasta un 35 %.
El segundo, mucho más importante: un único documento distractor —del tema, pero con la respuesta equivocada— empeoró la precisión un 25 %, y en algunos casos un 67 %.
La posición también cuenta: en esa misma medición, el documento correcto cerca de la pregunta dio una precisión de 0,37; colocado en medio, 0,23.
Tres consecuencias para la medición:
- El context precision por sí solo es una métrica engañosa. Según la medición, el ruido irrelevante no daña; el casi acierto sí.
- No basta con medir cuántos resultados relevantes hay. Lo que hay que medir es si entre ellos hay alguno engañosamente falso.
- El orden cuenta. Dos sistemas con el mismo conjunto de resultados, en distinto orden, dan resultados medibles distintos.
El montaje mínimo
1. VEINTE PREGUNTAS AL PRINCIPIO, CIEN PARA DECIDIR
Veinte bastan para ver si funciona siquiera.
Comparar configuraciones exige cien.
2. ANOTA TRES COSAS POR CADA PREGUNTA
a) la pregunta tal como la haría un compañero
b) la respuesta correcta
c) DE QUÉ documento tiene que salir
3. EL TERCER PUNTO ES EL IMPORTANTE
Permite medir por separado búsqueda y respuesta.
Sin él solo te queda una cifra global.
4. MIDE PRIMERO LA BÚSQUEDA
¿Entró el documento correcto en los resultados?
Si no, tocar el modelo no sirve de nada.
5. USA EL MODELO JUEZ PARA ORDENAR
«¿A o B es mejor?» - para eso vale.
«¿Esta respuesta es correcta?» - para eso no.
6. REVISA VEINTE RESPUESTAS A MANO CADA MES
No por un juicio absoluto: mides la DESVIACIÓN.
El modelo es más indulgente que una persona - la
dirección de esa brecha sirve igual aunque los
casos límite tampoco unan a las personas.
7. MIDE EL DISTRACTOR, NO EL RUIDO
El resultado irrelevante no daña. El que va del
tema pero lleva información falsa, sí.
8. MIRA LA CONFIANZA ANTES DE ALEGRARTE
Con 100 casos son ±8,5 puntos. Esa mejora de
74 a 78 puede que no haya ocurrido.
El apartado c) del segundo punto es el que casi todo el mundo se salta, y sin él tu medición te da una cifra difusa en vez de decirte dónde está el fallo.
Malentendidos habituales
- «El modelo juez te dice si la respuesta es buena.» En respuestas concretas su acuerdo con la persona fue 0,29, mientras que dos personas coincidieron en −0,03 sobre el mismo material. Para ordenar, en cambio, sirve.
- «Nuestro juez coincide con la persona en el 85 % de los casos.» Contar coincidencias a secas sobrestima de media 38,6 puntos porcentuales. El valor real, corregido, es bastante más bajo.
- «Con una buena métrica basta.» El groundedness por sí solo no separa el «no lo encontró» del «lo encontró y no lo usó».
- «La búsqueda vectorial es mejor que la de palabras clave.» En un benchmark de 2026 sobre medio millón de documentos de empresa, la de palabras clave fue 17 puntos mejor.
- «Con veinte casos de prueba basta.» Con veinte el margen de error ronda los ±19 puntos. Una mejora de cinco puntos no se detecta ahí.
- «Hay que maximizar la proporción de resultados relevantes.» La medición dice que el ruido aleatorio ayudó, mientras que un resultado del tema pero falso costó hasta un 67 %.
Lo que conviene llevarse
Medir un RAG no es difícil por falta de métricas: es difícil porque la fiabilidad de las métricas es en sí misma una cuestión de medición, y buena parte de las cifras son más optimistas que la realidad.
Dos cosas funcionan pese a todo. Medir por separado la búsqueda y la respuesta, porque de ahí sale el diagnóstico, y no de una métrica más fina. Y usar el modelo juez para ordenar, no para dictar sentencia: para eso está demostrado que vale.
Y lo más útil que puedes hacer hoy es una tabla con tres columnas: pregunta, respuesta correcta y de qué documento tiene que salir. Cien filas. Ese fichero vale más que cualquier framework de evaluación, porque sin él ninguno tiene nada que medir. El cuadro completo lo pone el artículo pilar sobre RAG explicado , y para planificar el despliegue está el post sobre el chatbot de conocimiento interno , paso a paso.