Four evaluation engineering lessons learned from building agent plugins
The real challenge of building an agentic system isn't the construction, it's the measurement. Evaluation engineering is a critical foundation for building reliable AI systems.
The real challenge of building an agentic system isn't the construction, it's the measurement. Evaluation engineering is a critical foundation for building reliable AI systems.
I’ve run evaluation engineering initiatives for years at Google and developing the newly released Google Cloud Developer plugin served as a live testbed to stress-test these key principles across real-world developer workflows.
Here are four eval lessons we learned from building the new plugin that you can apply to your own builds.
1. Grade the execution steps instead of the summary When we first evaluated agents, we set up an LLM-as-judge to inspect the agent’s final text reply and scored it against a checklist. However, we quickly realized it’s fundamentally flawed because the grader only sees what the agent wrote, not what it actually did. When we ran our initial 11-prompt evaluation suite for the Google Cloud Developer plugin, the automated grader marked it as failing three prompts. But when we opened the raw tool-call logs and read the transcripts, the plugin had actually passed all three. On a Cloud Run cleanup prompt, for instance, our rubric required checking command syntax before running anything. The agent ran gcloud help run services list as its very first step. It did the work, but its final message was focused on warning the user about permanent data loss rather than reciting that it had checked the help docs.
The grader penalized the agent for doing the right thing simply because it didn’t brag about it in the summary. If your rubric line says "did it run X?", a LLM judge is guessing unless you evaluate the actual tool-call trajectory.
In context
- Topic: Proyectos, PMO y Riesgos — Gestión de proyectos, oficinas de proyecto y riesgo del portafolio.
- Source: Google Cloud Blog
- Published: 16/10/2026
Continue reading at the original source →
Excerpt published automatically by the site radar. The full text belongs to its publisher and is linked above.
Por qué importa
Una oficina de proyectos vale por las decisiones que hace posibles, no por los reportes que produce. Cuando la PMO se convierte en el área que persigue actualizaciones de estado, ya perdió: el equipo aprende a llenar el formato y la información real vuelve a viajar por los pasillos.
Leo estas cosas buscando dónde estaba el riesgo antes de convertirse en incidente. Casi siempre ya estaba escrito en algún registro que nadie revisaba, con un dueño asignado que nunca se enteró de que lo era. El riesgo identificado y no gestionado es peor que el no identificado: da la falsa sensación de que hay control.
Lo que suele salir mal
Lo que más veo fallar es el patrocinador ausente. Firma el inicio, aparece en la foto y después no vuelve hasta que hay un problema. Sin alguien con poder real que despeje obstáculos cada quince días, el jefe de proyecto termina negociando de igual a igual con áreas que no le reportan, y pierde.
Qué mirar
- Quién es el patrocinador y con qué frecuencia real aparece — no en el organigrama, en la agenda.
- Si el reporte de estado muestra proyectos en rojo: un portafolio todo en verde es un portafolio sin información.
- Qué riesgos están identificados, quién es dueño de cada uno y cuándo se revisaron por última vez.
Cómo leo esta entrada
La forma en que yo bajaría esto a tierra es reduciendo el tamaño de las entregas. Un proyecto de dieciocho meses sin nada visible antes del mes doce es una apuesta, no un plan. Prefiero seis entregas que sirvan por separado, aunque el total tarde un poco más, porque cada una corrige el rumbo.
La noticia original está publicada en otro idioma; acá se cita el extracto tal como lo entrega el medio y el comentario se escribe en español.
Comentarios
Todavía no hay comentarios. El primero puede ser el tuyo.
¿Lo estás viviendo en tu equipo?
Abrí el chat y contame cómo lo están manejando. Me interesa comparar notas.
