Reading the source:
how OSS tools judge LLM agents
Todas las herramientas de LLM como juez pelean contra lo mismo, la varianza, aunque pocas lo digan en voz alta. He leído el código fuente de siete evaluadores de código abierto, sin pasar por la documentación, y de ahí salen cinco estrategias. Cada uno contiene la varianza a su manera y lo paga en algún sitio. La serie acaba donde todos se quedan cortos: ninguno detiene el pipeline cuando el juez deja de coincidir con una persona.
Empieza aquí Qué da por sabido esta serie También lo que a propósito no da por sabido y adónde ir antes si te falta algo.Léelas en orden
Metodología de evaluación
El problema del LLM como juez es la varianza, y las herramientas no se ponen de acuerdo en cómo arreglarla
He leído el código fuente de siete herramientas de código abierto que usan un LLM como juez. La varianza aparece en cuatro ejes, y lo único que comparten los siete enfoques es el problema.
Metodología de evaluación
Veredictos binarios: cómo mantiene Ragas a raya a los jueces
Ragas descompone los juicios complejos en preguntas atómicas de sí o no. A cambio de menos varianza, pierdes información.
Metodología de evaluación
De la rúbrica al grafo: cómo divide DeepEval un juicio
DeepEval plantea la evaluación como el recorrido de un grafo en el que cada nodo es una decisión más sencilla que el juicio completo.
Metodología de evaluación
Cuando los jueces muestran su incertidumbre: DeepEval y ARES
DeepEval pondera las puntuaciones por las probabilidades de los tokens y ARES aplica Prediction-Powered Inference para dar intervalos de confianza formales. Llegan al mismo objetivo por caminos distintos.
Metodología de evaluación
La rúbrica negativa: decirle al juez qué NO debe evaluar
TruLens usa rúbricas que le dicen al juez qué queda fuera de su alcance, con una claridad poco habitual.
Metodología de evaluación
Determinista donde puedas, juez donde haga falta
Las llamadas a herramientas piden comparación determinista; saber si el agente cumple su objetivo exige un LLM. Unas herramientas trazan esa línea y otras no.
Metodología de evaluación
¿Quién calibra al juez? La brecha que nadie cierra
En seis entregas he recorrido cinco estrategias y cinco herramientas. Dos de las herramientas miden la concordancia del juez con humanos, pero ninguna la exige en CI con una banda de confianza publicada. Ahí está la brecha.