Cada vez más artículos sobre agentes LLM hablan de producción, con agentes que hacen el triaje de incidencias para un proveedor de nube o que automatizan la decisión de lanzar una versión. Quería saber qué prueban esos artículos antes de llamarlo producción.
Así que mis coautores y yo hicimos una revisión sistemática de 88 estudios que leímos enteros y codificamos dos veces.
Resumiendo mucho, lo que dicen haber probado es lo que puede enseñar una ejecución de benchmark. Hay cuatro cosas que importan cuando un agente lleva una temporada en marcha: la fiabilidad a lo largo del tiempo, la recuperación de sus propios fallos, la monitorización y la resistencia a ataques. Cada una falta en más del 88 % de los estudios, y las cuatro a la vez en el 73 %.
Qué hemos revisado
La revisión acaba de publicarse en Information and Software Technology con el título Production-oriented evaluation and testing of LLM-based agents: A systematic literature review. Sigue las directrices de Kitchenham–Charters para revisiones sistemáticas en ingeniería del software, y su informe se ajusta a la lista de comprobación de PRISMA 2020.
Buscamos en Scopus, Web of Science, IEEE Xplore y la ACM Digital Library trabajos de 2023 a marzo de 2026 y después seguimos las citas. Los 88 estudios que pasaron el filtro forman el corpus de la revisión. Una búsqueda de actualización, ampliada hasta septiembre de 2026, encontró otros 314, que dejamos aparte con su propio análisis.
Hacía falta una definición de «orientado a producción» que pudiéramos defender. Muchos artículos dicen real-world en el resumen y luego hacen las pruebas sobre un benchmark público, y si te fías del resumen acabas revisando artículos de benchmarks con una historia de despliegue añadida. Por eso construimos un instrumento, las señales de relevancia en el mundo real (RWRS, por sus siglas en inglés).
Son doce señales con las que un estudio documenta indicios de uso en producción, entre ellas usuarios reales, datos reales, infraestructura de despliegue, métricas operativas e integración en CI/CD. Veintitrés reglas de calibración aclaran qué no cuenta. Un contenedor Docker para aislar un experimento no es un entorno de producción, y la factura de una API citada como limitación tampoco es un reto de producción.
Para entrar en la revisión, cada estudio necesitaba al menos dos de las doce señales. Hablamos de indicios sólidos de uso en producción a partir de cinco señales, siempre que al menos una sea de usuarios reales, de fiabilidad o de seguridad. Los reúnen 35 de los 88 estudios. Hasta dónde llegó cada sistema es otra cuestión: 46 son prototipos, 18 son pilotos y 24 (el 27 %) informan de un despliegue en producción o a gran escala.
Cuatro huecos, casi en todas partes
Empecemos por lo que sí prueban los estudios. Anotamos qué dimensiones evalúa cada estudio (cualidades como el éxito en la tarea, la latencia o las llamadas a herramientas), y la media es de 2,85 por estudio. Dominan las pruebas de exactitud con benchmarks y las de la tarea completa de principio a fin, es decir, lo que se puede medir offline con un script.
Luego vienen los huecos. De cada estudio anotamos también las dimensiones que importaban para lo que afirmaba pero que nunca dijo haber evaluado, con una media de 4,98. Todos los estudios de la revisión dicen ser relevantes para producción, así que a los 88, prototipos incluidos, les exigimos las dimensiones que necesita un sistema en marcha, como la fiabilidad a largo plazo y la recuperación ante fallos. Otras dimensiones dependen del sistema, y a una pequeña herramienta interna no se le penalizaría por no medir el coste a escala.
Abajo están las cuatro que encabezan la lista, para el corpus de la revisión, para el grupo de estudios que elijas dentro de él y para la actualización.
Cada una falta en la mayoría de los estudios, sea cual sea la fase de despliegue, del prototipo a la producción. Las cuatro faltan a la vez en el 73 % de los estudios (intervalo de confianza del 95 %, del 62 al 82 %) y en 20 de los 24 despliegues en producción. La fiabilidad a largo plazo no consta en ninguno de esos 24.
Hay dos objeciones que merece la pena contestar. La primera es que los huecos solo reflejen artículos flojos. No es así: entre los 56 estudios que calificamos de calidad alta o moderada, al 70 % le siguen faltando las cuatro.
La segunda es que el campo haya avanzado desde marzo. Los 314 estudios de la actualización forman una mezcla más amplia, con más trabajo de alineamiento de seguridad y más agentes jerárquicos. Cada una de las cuatro dimensiones sigue faltando en al menos el 82 % de ellos, y las cuatro a la vez en el 61 %. Es menos que el 73 % del corpus de la revisión. Nuestro artículo atribuye parte de la diferencia a ese trabajo extra de alineamiento de seguridad, y la codificación de la actualización leyó la robustez adversarial de otra manera. Con esa lectura, las cuatro faltan a la vez en el 67 % del corpus de la revisión, sin diferencia significativa con la actualización. Dentro de la actualización, los estudios publicados antes y después de marzo de 2026 dan tasas parecidas (60 % y 62 %).
Ampliar las pruebas dentro de lo que mide un benchmark tampoco cierra los huecos. De los 63 estudios que prueban tanto la exactitud como la tarea completa de principio a fin, 49 dejan fuera las cuatro.
Una sola ejecución no puede evaluar la mayor parte de lo que exigen esas cuatro dimensiones: la fiabilidad durante meses, la recuperación de un fallo provocado, si tu monitorización lo detectaría o la resistencia a entradas pensadas para engañar al agente. Para la mayoría de esas comprobaciones hace falta un sistema que siga funcionando y cambiando mientras lo observas.
Para ser justos con estos equipos, que una dimensión «falte» quiere decir que el estudio no informa de ella. Un equipo bien puede probar cosas que nunca pone por escrito, porque los artículos tienen límite de páginas, los análisis de incidentes casi nunca se publican y nadie gana una cita con la batería de tests de regresión que detectó sin hacer ruido un cambio de prompt desafortunado. El corpus de la revisión también se inclina hacia lo reciente y hacia pocos dominios. De los 88 estudios, el 68 % es de 2025 y el 49 % viene de operaciones en la nube e ingeniería del software.
Toda búsqueda se deja estudios fuera, así que estimamos cuántos se había dejado la nuestra. Comparada con una búsqueda más amplia en Scopus, nuestra consulta encontró alrededor del 86 % de los estudios elegibles cuya contribución principal es la evaluación y el 63 % de todos los elegibles. Los que se le escaparon muestran los mismos huecos.
Automatizada, pero fuera del pipeline
Las herramientas para automatizar las evaluaciones ya existen, y los equipos las usan. De los 88 estudios, 54 describen una evaluación totalmente automatizada, y seis de ellos la integran en CI/CD. El resto no pasa del script. En todo el corpus, 8 estudios (el 9 %) implementan o aportan un pipeline de CI/CD, entre ellos esos seis, y en la actualización la proporción se mantiene en el 9 %.
La monitorización también va por su lado. De los 23 estudios con observabilidad o infraestructura de monitorización completa, solo dos llevan además la evaluación a un pipeline de CI/CD y solo uno prueba la fiabilidad del agente bajo carga.
En estos estudios, por tanto, la batería de evaluación se ejecuta antes del lanzamiento y los paneles, después. La revisión constata que las dos cosas van en gran medida por separado y señala que los enfoques actuales se especializan en un solo modo, offline o sobre el sistema desplegado. Es el bucle abierto del que hablé en la entrada sobre el artículo 72.
La seguridad y la única asociación que se mantiene en todos los análisis
Los mecanismos formales de seguridad (red teaming, pruebas adversarias, comprobaciones de cumplimiento, defensa frente a la inyección de prompts) aparecen en 17 de los 64 estudios de prototipos y pilotos y en 2 de los 24 despliegues en producción. Eso es un 27 % frente a un 8 %, de modo que los sistemas desplegados informan de menos mecanismos. La diferencia no es estadísticamente significativa, y la leo como un patrón que conviene vigilar.
Los 35 estudios con indicios sólidos de uso en producción informan de salvaguardas que exigen aprobación humana mucho más a menudo que los otros 53, un 31 % frente a un 6 % (prueba exacta de Fisher, p = 0,002). Repetimos la comparación con diez variantes de las RWRS. Algunas fijan el listón en cuatro, seis o siete señales, y otras quitan las señales que se solapan con las variables que se comparan, entre ellas la de seguridad. La aprobación humana sigue siendo significativamente más frecuente en todas (p ≤ 0,03). La diferencia aparece también en la actualización (p = 0,006) y se mantiene al añadir los 12 estudios elegibles de una muestra de la búsqueda amplia en Scopus (p = 0,001).
Donde los indicios documentados de uso en producción son más sólidos, los estudios informan más a menudo de que una persona da el visto bueno a las acciones de riesgo. En esos estudios también aparece más CI/CD, con diferencia significativa en la comparación principal y en la actualización, pero solo en tres de las diez variantes.
Sistemas multiagente y protocolos sin pruebas de conformidad
Las arquitecturas multiagente y jerárquicas suponen el 39 % del corpus, y solo 12 de esos 34 estudios evalúan cómo se coordinan los agentes. Diría que la coordinación es justo donde la respuesta plausible de un agente se convierte en una decisión equivocada del siguiente.
MCP (Model Context Protocol) y A2A (Agent2Agent) ya definen contratos que se podrían verificar con pruebas, como los esquemas de mensajes, las declaraciones de capacidades y el orden de los mensajes. Doce de los 88 estudios mencionan MCP o A2A, y ninguno dice haber probado la conformidad con MCP ni con A2A. Un estudio de la actualización sí evalúa la interoperabilidad de MCP frente a un contrato.
Un juez LLM es un modelo más, y algún paso posterior da por buena su salida. Solo 5 de los 88 estudios combinan medición objetiva, un juez LLM y evaluación humana, y nuestro artículo señala la calibración entre los tres como un problema abierto. En ese problema se centra la entrada sobre quién calibra al juez.
Qué probar antes de desplegar
Nuestro artículo convierte sus hallazgos en una lista de comprobación de cinco pasos para los equipos que preparan el despliegue de un agente, y los comento uno por uno.
- Documenta tus indicios de uso en producción. Repasa las doce señales RWRS (tabla 2 del artículo) y apunta cuáles cubre tu evaluación. ¿Usuarios reales o simulados? ¿Datos de producción o un benchmark?
- Prueba los cuatro huecos de forma explícita. La fiabilidad a largo plazo, la recuperación ante fallos, la cobertura de monitorización y la robustez adversarial necesitan cada una sus propias pruebas. Empieza por la más barata, que es hacer fallar a propósito una llamada a una herramienta, y comprueba que el agente se recupera y que tu monitorización se entera.
- Pon una puerta de calidad en CI/CD. Hace falta al menos una que bloquee la promoción cuando una métrica empeore. Ocho estudios del corpus ya ejecutan la evaluación dentro de un pipeline de CI/CD, aunque las salidas no sean deterministas y cueste ejecutarla en cada commit.
- Añade un mecanismo formal de seguridad y, para las capacidades de alto riesgo, aprobación humana. Por ejemplo, red teaming, defensa frente a la inyección de prompts o comprobaciones de cumplimiento. De las prácticas que compara el artículo, la aprobación humana es la que va unida de forma más constante a los indicios sólidos de uso en producción.
- Observa en producción y lleva lo que veas de vuelta a la evaluación. Eso incluye registros, trazas y alertas, además de una reevaluación periódica. Cuando detectes una deriva, conviértela en un caso de la batería de evaluación offline.
Si tuviera que quedarme con un solo cambio a partir de la revisión, mantendría la batería de evaluación en marcha después del lanzamiento, dentro del pipeline de entrega, y dejaría que producción le dictara la siguiente prueba.