Guía de campo · octubre de 2026

Evals
en pocas palabras

Medir lo que tu IA hace de verdad
por Mat Siems
Parte I

Por qué fallan las sensaciones

Argumentos para poner la calidad por escrito.

Capítulo 1 · Parte I

La demo siempre funciona

Todo producto de IA empieza con una demo que funciona. Alguien escribe una pregunta en un prototipo, la respuesta llega fluida y correcta, y la sala se relaja. Una segunda pregunta, elegida por la misma persona, también acierta. A la tercera, ya se habla de fechas de lanzamiento. Nadie en la sala miente. Simplemente han confundido una actuación con una medición.

Esta es una guía de campo sobre la medición. Una eval, abreviatura de evaluación, es una forma repetible de averiguar lo bien que un sistema de IA hace el trabajo para el que lo construiste. Tiene un conjunto de entradas, una manera de ejecutar tu sistema sobre ellas y una manera de decidir si cada salida fue buena. Eso es todo. El resto del libro trata de hacer esas tres cosas con el cuidado suficiente para que la respuesta signifique algo.

¿Para qué molestarse, si la demo funciona? Porque la demo la eligen personas que quieren que funcione. Escogen la pregunta que saben que el sistema resuelve, la formulan como el prompt espera y se retiran mientras van ganando. Los usuarios reales no hacen nada de eso. Pegan medio correo, preguntan dos cosas a la vez, escriben mal el nombre del producto y aparecen a las tres de la mañana con un problema que nadie previó. La distancia entre la demo y ese usuario es donde vive de verdad tu producto, y desde la demo no se ve.

Hay una segunda razón. Los sistemas basados en modelos de lenguaje cambian bajo tus pies. Retocas un prompt para arreglar una queja y rompes otra cosa sin hacer ruido. Un proveedor actualiza un modelo. Un compañero añade un paso de recuperación. Sin una eval, cada cambio es un salto de fe seguido de un periodo de escucha ansiosa a la espera de quejas. Con una, cada cambio es un número que se movió, o no, y una lista de ejemplos que puedes leer.

Una demo te dice que el sistema puede acertar. Una eval te dice con qué frecuencia lo hace.

Nada de esto requiere un equipo de investigación. La primera eval útil que construye la mayoría de los equipos es una hoja de cálculo con treinta filas y una columna titulada ¿esto estuvo bien? Es tosca e infinitamente mejor que nada, porque convierte una sensación en algo que se puede discutir con pruebas. Los capítulos siguientes la harán más fina, más grande y automática. Lo primero que importa es el hábito.

Así que esta es la tarea de la semana. Toma el sistema que estás construyendo, o el que ya lanzaste, y anota diez entradas que no hayas elegido para dejarlo en buen lugar. Pide algunas a un compañero; saca unas cuantas de registros reales si los tienes. Ejecútalas. Lee cada respuesta. Marca cada una como buena o no buena y escribe una frase sobre el porqué. Aprenderás más en esa hora que en un mes de demos, y habrás dado el primer paso entre creer que tu producto funciona y saber cuánto funciona. La demo siempre funciona. Precisamente por eso no hay que fiarse de ella.

La demo frente al usuario La demo elegida para que funcione Pregunta que resuelve Redacción cómoda Elegida por quien la hizo Para mientras gana Usuarios reales nadie los eligió Medio email pegado Dos preguntas a la vez Producto mal escrito Un problema a las 3am en ese hueco vive de verdad tu producto Diez entradas que no elegiste Ejecútalas lee cada respuesta Marca cada una bien o no + por qué Tasa de éxito con qué frecuencia, no si Una demo muestra que puede acertar. Una eval muestra con qué frecuencia acierta.
Fig. 1 · La demo siempre funciona. La demo elegida a mano frente a entradas de usuarios reales, y la eval que cierra la brecha.
Capítulo 2 · Parte I

Las sensaciones son una muestra de cinco

Cuando alguien dice que un prompt nuevo se siente mejor, está informando de los resultados de un experimento. Vale la pena preguntar en qué consistió. Normalmente fueron cinco o seis entradas, escritas por una sola persona, leídas una vez y juzgadas frente al recuerdo de cómo se comportaba la versión anterior. No es nada. Tampoco es mucho, y tiene algunas propiedades que conviene entender antes de apostar un lanzamiento a ello.

El primer problema es el tamaño. Cinco ejemplos no distinguen entre un sistema que acierta nueve de cada diez veces y uno que acierta siete de cada diez. Ambos suelen acertar cuatro o cinco de tus cinco. La diferencia entre esos dos sistemas es enorme para tus usuarios e invisible para ti. Las muestras pequeñas no son inútiles, pero solo detectan efectos grandes, y la mayoría de los cambios que haces en un sistema que ya funciona tienen efectos pequeños.

El segundo problema es la selección. Las entradas que pruebas no salen de la población de entradas que enviarán tus usuarios. Salen de tu cabeza, que está llena de los casos para los que diseñaste. Pruebas el camino feliz porque sabes dónde está. Formulas las cosas con claridad porque sabes lo que el sistema quiere. Los casos que lo rompen suelen ser los que nunca se te ocurrieron, es decir, los que nunca vas a probar.

El tercer problema es la memoria. Comparas las salidas nuevas con un recuerdo de las antiguas, y el recuerdo es generoso con la versión que prefieres en ese momento. Si escribiste tú el prompt nuevo, verás sus virtudes. Si lo escribió un compañero, quizá veas sus defectos. Ninguno de los dos está siendo deshonesto. Los dos están siendo humanos, que es justo la condición que las evals existen para corregir.

Una sensación es una medición a la que le han quitado el tamaño de muestra, la selección y el sesgo.

Nada de esto significa que debas dejar de probar cosas a mano. Toquetear un sistema es la forma de formular hipótesis, y algunos fallos saltan a la vista. La regla es más sencilla: usa las sensaciones para decidir qué probar, no para decidir qué lanzar. Cuando una prueba a mano sugiere que la versión nueva es mejor, el siguiente paso es ejecutar ambas versiones sobre el mismo conjunto fijo de entradas y compararlas como es debido.

Un hábito útil es apuntar la sensación antes de comprobarla. Creo que el prompt nuevo maneja mejor las preguntas sobre reembolsos. Luego haz la comparación. A veces acertarás, y tendrás pruebas que enseñar al equipo. A menudo acertarás a medias: mejor en reembolsos y peor en algo que no estabas mirando. De vez en cuando te equivocarás de pleno. Los tres resultados valen, y solo el acto de medir puede decirte cuál te ha tocado. La sensación es una hipótesis. Trátala con la misma cortesía que a cualquier otra hipótesis: interés, y una prueba.

Cinco intentos no distinguen 90% de 70% Sistema A acierta 9 de 10 5 / 5 Sistema B acierta 7 de 10 4 / 5 gran brecha para usuarios, invisible en cinco intentos TRES COSAS QUE OMITE UNA SENSACIÓN Tamaño efectos pequeños ocultos Selección sacada de tu cabeza Memoria recordar halaga tu elección QUÉ HACER EN SU LUGAR Apunta la sensación es una hipótesis Ejecuta ambas versiones mismas entradas fijas Evidencia bien, a medias o mal Usa las sensaciones para decidir qué probar, no qué lanzar.
Fig. 2 · Las sensaciones son una muestra de cinco. Cinco intentos no separan un sistema al 90% de uno al 70%, así que las sensaciones pasan a ser hipótesis.
Capítulo 3 · Parte I

El no determinismo no es excusa

Hazle dos veces la misma pregunta a un modelo de lenguaje y puede que obtengas dos respuestas distintas. Esto sorprende a quien viene del software convencional, donde la misma entrada produce la misma salida y una prueba pasa o falla para siempre. Y lleva a una conclusión tentadora: si las salidas varían, quizá medir no tenga sentido. Esa conclusión es exactamente al revés.

La variación es el motivo para medir, no un motivo para rendirse. Un sistema que a veces acierta es un sistema con una tasa de éxito, y las tasas de éxito se pueden estimar. Uno no pregunta si una moneda sale cara. Pregunta con qué frecuencia. Del mismo modo, la pregunta útil sobre la salida de un modelo no es ¿es correcta?, sino a lo largo de muchas ejecuciones y muchas entradas, ¿con qué frecuencia es correcta, y cuán mala es cuando no lo es?

Algunos equipos intentan eliminar la variación, poniendo la temperatura de muestreo a cero y confiando en el determinismo. Ayuda un poco y resuelve menos de lo que parece. Muchas infraestructuras de inferencia no son perfectamente deterministas ni siquiera a temperatura baja, por culpa del procesamiento por lotes y la aritmética de coma flotante. Y, sobre todo, tus usuarios no envían dos veces la misma entrada. Una pequeña reformulación, un espacio de más, otro orden en los datos, y la salida cambia de todos modos. Fijar la temperatura controla una fuente de bamboleo y deja intacta la más grande.

La consecuencia práctica es que una sola ejecución de un solo ejemplo dice muy poco. Si un ejemplo falla una vez, puede que falle siempre o puede que falle una de cada veinte. Las dos cosas merecen saberse y piden respuestas distintas. Para los casos importantes, ejecútalos varias veces y registra la tasa. Para la suite en su conjunto, acepta que las puntuaciones se moverán un poco entre ejecuciones aunque nada haya cambiado, y aprende cuánto movimiento es normal antes de celebrar o de entrar en pánico.

Si un sistema puede acertar por suerte, puede fallar por suerte. Cuenta ambas cosas.

Esto también cambia la forma de escribir pruebas. Las aserciones convencionales comprueban que la salida sea igual a un valor exacto. Para las salidas de un modelo, eso suele ser demasiado estricto, porque muchas formulaciones distintas son igual de correctas. En su lugar compruebas propiedades: la respuesta menciona el plazo de reembolso, el JSON se puede analizar, el tono es educado, el documento citado existe. Una propiedad puede cumplirse en todas las variantes de una buena respuesta y fallar en todas las variantes de una mala, que es justo lo que quieres.

Prueba esto. Elige una entrada que tu sistema maneje y ejecútala diez veces. Lee las diez. Probablemente verás un grupo de respuestas buenas y parecidas y quizá una o dos raras. Esa dispersión es la personalidad de tu sistema ante esa entrada, y es lo que tus usuarios experimentan de verdad. Una ejecución te enseñó una respuesta. Diez te enseñaron una distribución. Los productos viven en distribuciones.

Una entrada, diez ejecuciones, una tasa Misma entrada ejecútala diez veces diez salidas 8 de 10 bien la tasa es el resultado Si puede acertar por suerte, puede fallar por suerte. Cuenta ambas. Fuentes de variación Temperatura de muestreo fijarla ayuda un poco Pila de servicio batching, coma flotante Reformulación la mayor fuente, intacta Comprueba propiedades, no cadenas Menciona el plazo de reembolso El JSON se parsea El tono es educado El documento citado existe
Fig. 3 · El no determinismo no es excusa. Una entrada ejecutada diez veces da una tasa, no una respuesta; prueba propiedades, no cadenas.
Capítulo 4 · Parte I

Anatomía de una eval

Quítale los paneles y el vocabulario y toda eval tiene las mismas cuatro partes. Hay entradas. Está el sistema que pruebas. Hay un evaluador que mira cada salida y decide lo buena que es. Y hay una puntuación que resume las decisiones del evaluador. Si sabes nombrar las cuatro en una eval que estás ejecutando, la entiendes. Si no, probablemente estás mirando un número sin saber qué significa.

Las entradas son las preguntas, tareas o conversaciones que introduces. Cada una suele llamarse ejemplo o caso, y la colección es el conjunto de datos. Una entrada puede venir con información adicional que el evaluador necesita: una respuesta de referencia, una lista de hechos que deben aparecer, el documento que contiene la verdad o una nota sobre qué haría inaceptable la respuesta. La calidad de una eval está limitada por la calidad de estas entradas. Prueba solo casos fáciles y solo medirás cómo se porta el sistema con casos fáciles.

El sistema bajo prueba es todo lo que se interpone entre la entrada y la salida. A veces es una sola llamada al modelo con un prompt. Más a menudo es una cadena: un paso de recuperación, una plantilla de prompt, un modelo, algo de código de análisis y quizá unas cuantas llamadas a herramientas. Un error habitual es probar una versión simplificada del sistema, una llamada pelada al modelo sin la recuperación ni el posprocesado, y luego sorprenderse de que producción se comporte distinto. Prueba lo que lanzas.

El evaluador es la parte que la gente subestima. Puede ser una línea de código que comprueba si la salida coincide con una cadena esperada, una función que analiza un JSON y lo valida, un modelo cuidadosamente instruido que hace de juez o una persona que lee cada respuesta frente a una rúbrica. Cada uno tiene sus costes y sus puntos ciegos, y partes posteriores de este libro los tratan en detalle. Por ahora, fíjate en que un evaluador es en sí mismo una afirmación sobre lo que significa bueno. Un evaluador indulgente produce una eval halagadora.

La puntuación es lo que todo el mundo mira y lo que menos confianza merece por sí sola. Una tasa de aprobados del ochenta por ciento te dice algo, pero no qué veinte por ciento falló, por qué, ni si importa. Guarda siempre los resultados por ejemplo junto al resumen, y haz que sea fácil pasar con un clic de uno a otro.

Las entradas deciden qué pruebas. Los evaluadores deciden qué cuenta. Las puntuaciones solo deciden en qué te fijas.

Cuando heredes una eval, o construyas la primera, escribe las cuatro partes en frases sencillas. Enviamos 200 preguntas reales de soporte por toda la cadena de producción, un modelo juez comprueba cada respuesta frente a nuestro documento de políticas y comunicamos la proporción que considera correcta. Esa frase destapará más debilidades que una semana mirando el panel, porque cada cláusula invita a la pregunta adecuada: qué preguntas, qué cadena, qué juez, correcta según quién.

Cuatro partes de toda eval Entradas el dataset preguntas, tareas respuestas de referencia hechos imprescindibles decide qué pruebas Sistema lo que lanzas recuperación prompt + modelo parsing, herramientas prueba lo que lanzas Evaluador qué cuenta match exacto chequeo código juez o persona decide qué cuenta Nota el resumen % aprobados filas por ejemplo haz clic y revisa decide qué notas 200 preguntas reales -> pipeline completo -> juez vs política -> % correctas Nombra las cuatro en una frase, o lees un número a ciegas.
Fig. 4 · Anatomía de una eval. Toda eval tiene cuatro partes: entradas, el sistema bajo prueba, un evaluador y una puntuación.
Capítulo 5 · Parte I

Los benchmarks son la opinión de otros

Los benchmarks públicos son las evals de las que todo el mundo ha oído hablar. Un proveedor de modelos anuncia una versión nueva, aparece una tabla con puntuaciones en pruebas de razonamiento, programación, matemáticas y conocimiento, e internet se pasa una semana discutiendo los decimales. Es natural leer esas tablas y concluir que gana el número más alto. Y también es, para la mayoría de los equipos de producto, la conclusión equivocada.

Un benchmark es una eval que otra persona construyó para sus propios fines. Sus entradas reflejan lo que les importaba a sus autores, su evaluador refleja lo que podían comprobar de forma barata y fiable, y su puntuación refleja su idea del éxito. Eso hace que los benchmarks sean genuinamente útiles para comparar la capacidad general de distintos modelos. No los convierte en una medida de cómo rendirá un modelo dentro de tu aplicación, respondiendo a las preguntas de tus clientes, en tu formato, con tus documentos y tu tono de voz.

Hay además problemas más discretos. Los benchmarks populares se cuelan en los datos de entrenamiento, así que una puntuación alta puede reflejar en parte memoria y no habilidad. Los modelos se ajustan, a propósito o no, hacia las tareas que el sector está mirando. Muchos benchmarks se saturan, con los mejores sistemas apiñados cerca del techo, donde las diferencias se vuelven ruido. Y las condiciones en que se publican las puntuaciones, los prompts, el número de intentos, las herramientas permitidas, a menudo difieren de cómo usarías tú el modelo en la práctica.

Nada de esto hace inútiles los resultados públicos. Son una forma razonable de elaborar una lista corta. Si necesitas un modelo que escriba código, un buen resultado en evaluaciones de programación es un motivo justo para probarlo. Si un modelo va muy rezagado en todo, probablemente puedas saltártelo. Pero la lista corta es donde deberían terminar los benchmarks públicos y empezar tu propia eval.

Una clasificación te dice quién es bueno en el examen. Solo tu eval te dice quién es bueno en tu trabajo.

El movimiento práctico es tratar tu propio conjunto de datos como el benchmark que importa. Cuando aparezca un modelo nuevo, pásalo por tu eval antes de formarte una opinión. Puede que descubras que un modelo con puntuaciones públicas modestas hace muy bien tu trabajo concreto, porque tu trabajo premia cosas que las clasificaciones ignoran, como respetar un formato de salida estricto, ser conciso o declinar con elegancia cuando la respuesta no está en los documentos. También puede que descubras lo contrario: un modelo celebrado que es brillante en general y torpe en tu tarea específica.

Esto libera, una vez que lo aceptas. Ya no necesitas seguir cada anuncio ni tener opinión sobre tablas en disputa. Necesitas un conjunto de datos que refleje a tus usuarios y un evaluador que refleje tus criterios, y entonces cada modelo nuevo es simplemente un candidato más que ejecutar. Los benchmarks son opiniones ajenas sobre la calidad, puestas por escrito con cuidado. Respétalos, léelos, y luego ve a escribir las tuyas.

Bueno en el examen, o bueno en tu trabajo Qué premian los benchmarks Qué necesita tu trabajo tareas de sus autores fácil de comprobar respuestas memorizadas techo saturado su configuración de prompt tus documentos tu formato de salida ser conciso declinar con elegancia tu tono de voz Señal habilidad general Clasificación Preselección Tu eval Elige un modelo Las puntuaciones públicas hacen la preselección. Tu conjunto de datos decide.
Fig. 5 · Los benchmarks son la opinión de otros. Los benchmarks y tu trabajo solo coinciden en parte; usa la clasificación para preseleccionar y luego prueba.
Capítulo 6 · Parte I

Estás probando un sistema

Cuando algo sale mal en un producto de IA, la gente tiende a culpar al modelo. A veces con razón. A menudo al modelo le dieron los documentos equivocados, un prompt con una instrucción contradictoria, un historial de conversación truncado o una herramienta que devolvió un error que nadie le explicó cómo manejar. El modelo hizo entonces algo razonable con materiales irrazonables, y el usuario vio una mala respuesta. Desde fuera, todos los fallos parecen fallos del modelo. Desde dentro, la mayoría son fallos del sistema.

Esto importa para la evaluación porque lo que mides determina lo que puedes arreglar. Si tu eval llama directamente al modelo con un prompt limpio y un contexto escogido a mano, mide el modelo en un laboratorio. Tus usuarios se lo encuentran en libertad, rodeado de todos los demás componentes que construiste. Una puntuación de laboratorio excelente con una experiencia de producción pobre es uno de los resultados más comunes, y más desconcertantes, de este campo.

Así que lo normal debería ser evaluar el sistema de principio a fin, exactamente como funciona en producción: el mismo índice de recuperación, las mismas plantillas de prompt, el mismo preprocesado y posprocesado, las mismas definiciones de herramientas. Donde eso sea difícil, porque una herramienta tiene efectos secundarios o un índice es demasiado grande para copiarlo, construye la réplica fiel más cercana que puedas y anota en qué difiere. Las diferencias desconocidas entre el arnés de evaluación y producción son una fuente fiable de sorpresas desagradables.

Las puntuaciones de extremo a extremo son necesarias pero no suficientes. Cuando la cifra global cae, necesitas saber qué componente lo causó, y una sola puntuación no puede decírtelo. Por eso los equipos maduros también evalúan las piezas: la recuperación por sí sola, el paso de generación con un contexto perfecto, la lógica de llamada a herramientas ante una situación conocida. Una parte posterior del libro trata en detalle la evaluación por componentes de la recuperación y los agentes. El principio es sencillamente que quieres tanto la vista de pájaro como la capacidad de hacer zoom.

El usuario no experimenta tu modelo. Experimenta todo lo que envolviste a su alrededor.

Hay un diagnóstico útil para cualquier fallo que encuentres. Pregúntate si un experto humano competente, con exactamente las mismas entradas que recibió el modelo, podría haber dado una buena respuesta. Si no, porque faltaba el documento correcto o las instrucciones eran ambiguas, el fallo está aguas arriba y cambiar de modelo no servirá de nada. Si un humano podría haberlo hecho con facilidad, el modelo de verdad se quedó corto, y tienes otro abanico de opciones.

Prueba esto con tus próximos cinco fallos. Mira el prompt real que se envió, con todo su contexto ensamblado, no la plantilla. Muchos equipos nunca han visto un prompt completamente ensamblado de producción, y la primera vez suele ser instructiva. Encontrarás instrucciones duplicadas, datos que faltan y, de vez en cuando, un marcador de posición perdido que nadie llegó a rellenar. El modelo hacía lo que podía. Era el sistema el que necesitaba la eval.

Los usuarios ven el sistema, no el modelo Lo que vive el usuario Aplicación pre y posprocesado Prompt y contexto plantillas, historial, reglas Recuperación y herramientas índice, documentos, errores Modelo a menudo culpado, a menudo inocente Completo como en prod Eval de componente solo recuperación Eval de componente contexto perfecto ¿Podría hacerlo un experto? con exactamente las mismas entradas no sí Arregla antes, no el modelo El modelo se quedó corto
Fig. 6 · Estás probando un sistema. Los usuarios se topan con toda la pila, así que evalúa de extremo a extremo y luego enfoca los componentes.
Capítulo 7 · Parte I

La eval que puedes ejecutar hoy

Hay una versión de la evaluación que requiere infraestructura, presupuestos, equipos de etiquetado y una plataforma con suscripción. Hay otra que requiere una hoja de cálculo y una tarde. Empieza por la segunda. Buena parte del valor de la primera viene de hábitos que solo se adquieren haciendo la segunda.

Abre una hoja. En la primera columna, pon veinte entradas. Que sean reales si puedes: preguntas de tickets de soporte, peticiones de usuarios beta, tareas de tu propio backlog. Donde no tengas reales, escríbelas, pero escríbelas como lo haría un usuario ocupado y algo confundido, no como la persona que construyó el sistema. Incluye unas cuantas que deberían ser fáciles, unas cuantas genuinamente difíciles y dos o tres ante las que el sistema debería negarse o poner reparos.

En la segunda columna, pasa cada entrada por tu sistema y pega la salida. En la tercera, escribe aprobado o suspenso. En la cuarta, escribe una frase que explique el veredicto, sobre todo en los suspensos. Esa frase es lo más valioso de la hoja, porque te obliga a decir qué querías en realidad. Suspenso: dio la política correcta, pero del país equivocado. Suspenso: correcto, pero cuatro párrafos donde bastaba uno. Aprobado por los pelos: respuesta correcta, tono raro.

Ahora cuenta. Tu tasa de aprobados sobre veinte ejemplos es una cifra aproximada con mucha incertidumbre, y no pasa nada. Más útil es la columna de motivos. Léela de arriba abajo y verás patrones: el mismo tipo de fallo apareciendo tres o cuatro veces, una categoría de entradas que nadie le ha explicado al sistema cómo manejar, una instrucción que ignora. Esos patrones son tu hoja de ruta.

La primera eval no es una medición. Es una lista de lo que olvidaste querer.

Guarda la hoja. La próxima vez que cambies el prompt, vuelve a ejecutar las mismas veinte entradas y rellena columnas nuevas junto a las antiguas. Ya tienes una prueba de regresión, de las humildes. Cuando la versión nueva arregle el problema del país pero empiece a añadir advertencias a todo, lo verás, porque las mismas entradas están ahí esperando a ser comparadas.

No hay ninguna vergüenza en quedarse a esta escala una temporada. Veinte ejemplos bien escogidos, leídos con atención por alguien que entiende el dominio, cazarán más problemas reales que dos mil ejemplos puntuados por un evaluador que nadie ha revisado. La hoja se te quedará pequeña cuando leer se convierta en el cuello de botella, cuando necesites ejecutarla con cada cambio o cuando el equipo necesite una cifra compartida. Llegado ese punto, los capítulos posteriores sobre evaluadores, conjuntos de datos y automatización tendrán un sentido que no habrían tenido el primer día, porque habrás sentido el dolor concreto que resuelven. Monta la hoja esta tarde. La infraestructura puede esperar. La comprensión, no.

La eval que puedes ejecutar esta tarde # Entrada Salida Veredicto Por qué 1 ¿Reembolso de pedido UE? Política de RU Falla política de otro país 2 Cambiar mi plan Cuatro párrafos Falla bastaba uno 3 cancelar + reembolso pls Correcta, rígida Pasa bien, tono raro 4 Mándame el dinero Rechazo educado Pasa rechazada, como debe … veinte filas: fáciles, difíciles y algunas a rechazar Cuenta aprobados error amplio, aproximado Lee la columna del porqué los patrones son la hoja de ruta Repite al cambiar una humilde prueba de regresión La primera eval es una lista de lo que olvidaste querer.
Fig. 7 · La eval que puedes ejecutar hoy. Una hoja de veinte filas: entrada, salida, veredicto y el porqué en una frase.
Capítulo 8 · Parte I

Primero, lee las salidas

El error más común en evaluación es elegir una métrica antes de mirar los datos. Un equipo decide que le importa la utilidad, construye un evaluador que puntúa la utilidad, lo ejecuta sobre mil ejemplos y obtiene un número. Nadie ha leído las salidas. Nadie sabe si los fallos tienen algo que ver con la utilidad, o con algo que al equipo nunca se le ocurrió medir, como que el sistema invente con total aplomo números de pedido.

El remedio es poco glamuroso y fiable. Antes de diseñar ninguna métrica, lee salidas. Lee muchas, al menos cincuenta y a ser posible cien, sacadas de entradas realistas. Para cada una, escribe una nota breve en texto libre sobre cualquier cosa que parezca mal o rara. Nada de categorías todavía. Describe lo que ves con tus palabras: ignoró la segunda pregunta, se inventó un teléfono, respuesta correcta enterrada bajo advertencias, contestó en el idioma equivocado.

Cuando tengas tus notas, agrúpalas. Las quejas parecidas se agrupan solas, y al cabo de un rato tendrás un puñado de categorías de fallo que salieron de tu sistema real y no de un manual. Cuenta cuántas salidas caen en cada una. Este recuento sencillo, que a veces se llama análisis de errores, te dice dónde se concentran los problemas, que es exactamente donde debe ir tu esfuerzo.

El resultado suele sorprender. Los equipos esperan que su problema principal sea la exactitud y descubren que es el formato. Les preocupa el tono y resulta que el sistema falla sobre todo con preguntas sobre una línea de producto cuya documentación está desfasada. Planean un elaborado detector de alucinaciones y descubren que la mayoría de las alucinaciones vienen de una sola instrucción del prompt que pide al modelo que siempre dé un número de referencia.

Las métricas son respuestas. El análisis de errores te dice qué preguntas hacer.

Una vez que conoces tus modos de fallo, las métricas casi se diseñan solas. Cada categoría relevante se convierte en algo que medir, con un evaluador adecuado. Los números de referencia inventados se pueden comprobar con código contra tu base de datos. Las respuestas en el idioma equivocado se detectan de forma barata. Enterrar la respuesta bajo advertencias quizá requiera un juez con una rúbrica clara. Acabas con un pequeño conjunto de mediciones dirigidas en lugar de una puntuación vaga, y cada una está ahí porque cazó un problema real.

Sigue haciéndolo cuando las métricas ya existan. Lee una tanda nueva de salidas cada semana o cada dos, sobre todo tras cambios importantes. Aparecen modos de fallo nuevos a medida que los productos evolucionan, y los evaluadores automáticos solo ven lo que se construyó para que vieran. Un equipo que deja de leer salidas va perdiendo el contacto con lo que hace de verdad su sistema, aunque sus paneles sigan en verde. Resérvate una hora, sírvete un café y lee cincuenta salidas sin hoja de puntuación. Escribe lo que notes. Es lo menos técnico de este libro y posiblemente lo más importante.

Lee las salidas antes de elegir una métrica Lee 100 entradas realistas Notas libres aún sin categorías Agrupa, cuenta análisis de errores Métricas una por grupo GRUPO DE FALLOS FRECUENCIA EVALUADOR NECESARIO Formato incorrecto Chequeo de parser Refs inventadas Código vs BD Enterrada en matices Juez con rúbrica Idioma incorrecto Detector barato Las métricas son respuestas. El análisis de errores te dice qué preguntas hacer. sigue: 50 salidas nuevas cada una o dos semanas, sin hoja de puntuación
Fig. 8 · Primero, lee las salidas. Análisis de errores: lee salidas, anota rarezas, agrupa y cuenta, y luego crea métricas.
Capítulo 9 · Parte I

¿De quién es la calidad?

En muchos equipos, la evaluación vive en un hueco incómodo. Los responsables de producto dan por hecho que los ingenieros la están probando. Los ingenieros dan por hecho que el proveedor del modelo la ha probado. A los expertos del dominio se les consulta una vez, al principio, y luego se les deja en paz. La suite de evals, si existe, la escribió quien tenía una semana libre, y su definición de bueno refleja las conjeturas de esa persona sobre lo que necesitan los usuarios.

La calidad en un producto de IA no es trabajo de una sola persona, pero sí tiene partes que pertenecen a personas concretas. Alguien tiene que decidir qué significa bueno para este producto, y eso es una decisión de producto. Alguien tiene que saber qué significa correcto en el dominio, ya sea derecho tributario, pautas de medicación o la política de devoluciones, y eso es conocimiento experto. Alguien tiene que construir la maquinaria que ejecuta las evals e informa de los resultados, y eso es ingeniería. Y alguien tiene que darse cuenta de lo que experimentan de verdad los usuarios, que a menudo es soporte. Una eval es el lugar donde se supone que se encuentran estas cuatro perspectivas.

Cuando falta una, normalmente se nota en la propia eval. Sin producto, la eval mide lo fácil en vez de lo que importa. Sin conocimiento del dominio, el evaluador acepta respuestas que suenan bien y no lo están. Sin ingeniería, la eval es un ejercicio manual heroico que se hace dos veces al año. Sin soporte, el conjunto de datos está lleno de preguntas hipotéticas y ordenadas, y vacío de las desordenadas que de verdad envían los clientes.

El arreglo no es un comité. Es un pequeño número de responsabilidades explícitas. Nombra a una persona que sea dueña de la definición de éxito y apruebe sus cambios. Haz que los expertos del dominio escriban o revisen la rúbrica y etiqueten una muestra de ejemplos, para que el evaluador tenga algo fiable contra lo que contrastarse. Deja que los ingenieros se ocupen del arnés, la automatización y los informes. Encauza los tickets de soporte y las quejas de usuarios hacia el conjunto de datos como algo rutinario.

Si la calidad es de todos, es de quien tocó el prompt por última vez.

También hay una trampa en el lado opuesto. No subcontrates la definición de bueno a quienes construyeron el sistema. Los constructores tienen todos los motivos para creer que funciona, y saben formular las entradas para que funcione. Una regla útil es que quien cambió el sistema no debería ser la única persona que decida si el cambio fue una mejora. Un segundo par de ojos, o un evaluador escrito antes del cambio, mantiene a todos honestos sin insinuar que nadie estuviera siendo deshonesto.

Esta semana, escribe un párrafo breve que responda cuatro preguntas sobre tu producto: quién decide qué significa bueno, quién sabe qué significa correcto, quién ejecuta las evals y quién escucha a los usuarios. Si alguna respuesta es nadie o todos, has encontrado tu primer bug organizativo. Es más barato de arreglar que la mayoría de los técnicos, y suele ser su causa.

Quién posee la calidad La eval donde se encuentran Producto decide qué es bueno sin ellos: mide lo fácil Expertos del dominio saben qué es correcto sin ellos: aprueba lo plausible Ingenieros harness e informes sin ellos: dos veces al año Soporte oye a usuarios reales sin ellos: entradas falsas Si todos son dueños de la calidad, lo es el último que tocó el prompt. regla: quien lo cambió no es el único que lo juzga
Fig. 9 · ¿De quién es la calidad?. Producto, expertos del dominio, ingeniería y soporte son dueños, cada uno, de una parte de lo que dice la eval.
Capítulo 10 · Parte I

Una opinión puesta por escrito

Conviene dejar claro desde el principio lo que este libro defenderá con detalle. Una eval no es un instrumento objetivo que revela la verdadera calidad de un sistema. Es una opinión puesta por escrito sobre lo que significa la calidad para un trabajo concreto, formulada con la precisión suficiente para que una máquina o un desconocido la apliquen de forma coherente. Suena a rebaja. En realidad es la clave de todo.

Piensa en lo que entra en cualquier eval. Alguien eligió qué entradas incluir y cuáles dejar fuera. Alguien decidió cómo es una buena respuesta, cuán estricto ser con el formato, si la brevedad cuenta, si una negativa educada es un aprobado o un suspenso. Alguien eligió el evaluador y escribió sus instrucciones. Alguien decidió cómo combinar los resultados en un número. Cada una de esas elecciones es un juicio, y personas razonables distintas tomarían algunas de forma diferente.

Esto no es un defecto que haya que eliminar a base de ingeniería. Es lo que hace útil una eval. Antes de ponerse por escrito, la idea de calidad de un equipo vive en una docena de cabezas, de forma incoherente, y solo asoma en discusiones sobre salidas concretas. Una vez escrita, se puede examinar, discutir y mejorar. Dos personas que discrepan sobre si el sistema es bueno pueden mirar la rúbrica y descubrir que en realidad discrepan sobre si una respuesta de dos párrafos es demasiado larga. Esa es una discusión mucho mejor.

Ver las evals como opiniones también te protege de la creencia más peligrosa de este campo: que una puntuación alta significa que el sistema es bueno. Una puntuación alta significa que el sistema satisface la opinión. Si la opinión es superficial, está desfasada o es errónea, la puntuación te engañará con gran precisión. El remedio es mantener la opinión visible y revisable: lee la rúbrica, lee los fallos, pregúntate si el evaluador estaría de acuerdo con tu mejor experto del dominio y actualízalo cuando no lo estaría.

El número no es la verdad sobre tu sistema. Es la verdad sobre tu sistema según tú.

Este enfoque tiene algo de liberador. No necesitas una métrica perfecta para empezar, porque no existe tal cosa. Necesitas una honesta, construida a partir de lo que crees ahora mismo sobre lo bueno y lo malo, y la disciplina para revisarla a medida que aprendes. Cada capítulo que sigue trata de afinar esa opinión: mejores entradas, mejores evaluadores, estadística más cuidadosa, más atención al uso real.

Así que, cuando alguien de tu equipo pregunte si la versión nueva es mejor, prueba a responder de esta forma: mejor según nuestra eval actual, que comprueba estas cosas y no comprueba aquellas. Es una frase algo más larga que sí. También es la única honesta, y conduce exactamente a la siguiente pregunta correcta: si las cosas que compruebas son las que importan.

Una eval es una opinión, por escrito Qué entradas qué entra y qué no Cómo es lo bueno longitud, tono, rechazos Qué evaluador y sus instrucciones Cómo combinar en un solo número La eval opinión escrita La puntuación se ajusta a la opinión Lee fallos, consulta al experto ¿coincidiría con el evaluador? revisa Sin escribir en una docena de cabezas, discutida por salida Por escrito examinada, discutida, mejorada “Mejor, según nuestra eval actual, que comprueba estas cosas.”
Fig. 10 · Una opinión puesta por escrito. Las decisiones de juicio se combinan en una eval: una opinión escrita, puntuada y revisada.
Avance gratuito · Parte I

Sigue leyendo

Has leído los primeros 10 de 100 capítulos de Evals en pocas palabras. El libro completo incluye todos los capítulos y láminas, en PDF y EPUB, en inglés, francés, polaco y español.

El libro completo llegará pronto a la tienda.

¿Ya lo compraste? Lee la edición completa en línea

Evals en pocas palabras · Primera edición, octubre de 2026
100 capítulos · 10 partes · cien diagramas
por Mat Siems · MS Books, No. 12 · 2026