Metodología de evaluación
Diseño de evaluadores, calibración y la distancia entre rendir bien en un benchmark y ser fiable en producción: cómo se prueban sistemas no deterministas.
← Todos los artículos¿Quién calibra al juez? La brecha que nadie cierra
En seis entregas he recorrido cinco estrategias y cinco herramientas. Dos de las herramientas miden la concordancia del juez con humanos, pero ninguna la exige en CI con una banda de confianza publicada. Ahí está la brecha.
Determinista donde puedas, juez donde haga falta
Las llamadas a herramientas piden comparación determinista; saber si el agente cumple su objetivo exige un LLM. Unas herramientas trazan esa línea y otras no.
La rúbrica negativa: decirle al juez qué NO debe evaluar
TruLens usa rúbricas que le dicen al juez qué queda fuera de su alcance, con una claridad poco habitual.
Cuando los jueces muestran su incertidumbre: DeepEval y ARES
DeepEval pondera las puntuaciones por las probabilidades de los tokens y ARES aplica Prediction-Powered Inference para dar intervalos de confianza formales. Llegan al mismo objetivo por caminos distintos.
De la rúbrica al grafo: cómo divide DeepEval un juicio
DeepEval plantea la evaluación como el recorrido de un grafo en el que cada nodo es una decisión más sencilla que el juicio completo.
Veredictos binarios: cómo mantiene Ragas a raya a los jueces
Ragas descompone los juicios complejos en preguntas atómicas de sí o no. A cambio de menos varianza, pierdes información.
El problema del LLM como juez es la varianza, y las herramientas no se ponen de acuerdo en cómo arreglarla
He leído el código fuente de siete herramientas de código abierto que usan un LLM como juez. La varianza aparece en cuatro ejes, y lo único que comparten los siete enfoques es el problema.