Todo producto de IA empieza con una demo que funciona. Alguien escribe una pregunta en un prototipo, la respuesta llega fluida y correcta, y la sala se relaja. Una segunda pregunta, elegida por la misma persona, también acierta. A la tercera, ya se habla de fechas de lanzamiento. Nadie en la sala miente. Simplemente han confundido una actuación con una medición.
Esta es una guía de campo sobre la medición. Una eval, abreviatura de evaluación, es una forma repetible de averiguar lo bien que un sistema de IA hace el trabajo para el que lo construiste. Tiene un conjunto de entradas, una manera de ejecutar tu sistema sobre ellas y una manera de decidir si cada salida fue buena. Eso es todo. El resto del libro trata de hacer esas tres cosas con el cuidado suficiente para que la respuesta signifique algo.
¿Para qué molestarse, si la demo funciona? Porque la demo la eligen personas que quieren que funcione. Escogen la pregunta que saben que el sistema resuelve, la formulan como el prompt espera y se retiran mientras van ganando. Los usuarios reales no hacen nada de eso. Pegan medio correo, preguntan dos cosas a la vez, escriben mal el nombre del producto y aparecen a las tres de la mañana con un problema que nadie previó. La distancia entre la demo y ese usuario es donde vive de verdad tu producto, y desde la demo no se ve.
Hay una segunda razón. Los sistemas basados en modelos de lenguaje cambian bajo tus pies. Retocas un prompt para arreglar una queja y rompes otra cosa sin hacer ruido. Un proveedor actualiza un modelo. Un compañero añade un paso de recuperación. Sin una eval, cada cambio es un salto de fe seguido de un periodo de escucha ansiosa a la espera de quejas. Con una, cada cambio es un número que se movió, o no, y una lista de ejemplos que puedes leer.
Una demo te dice que el sistema puede acertar. Una eval te dice con qué frecuencia lo hace.
Nada de esto requiere un equipo de investigación. La primera eval útil que construye la mayoría de los equipos es una hoja de cálculo con treinta filas y una columna titulada ¿esto estuvo bien? Es tosca e infinitamente mejor que nada, porque convierte una sensación en algo que se puede discutir con pruebas. Los capítulos siguientes la harán más fina, más grande y automática. Lo primero que importa es el hábito.
Así que esta es la tarea de la semana. Toma el sistema que estás construyendo, o el que ya lanzaste, y anota diez entradas que no hayas elegido para dejarlo en buen lugar. Pide algunas a un compañero; saca unas cuantas de registros reales si los tienes. Ejecútalas. Lee cada respuesta. Marca cada una como buena o no buena y escribe una frase sobre el porqué. Aprenderás más en esa hora que en un mes de demos, y habrás dado el primer paso entre creer que tu producto funciona y saber cuánto funciona. La demo siempre funciona. Precisamente por eso no hay que fiarse de ella.
Fig. 1 · La demo siempre funciona. La demo elegida a mano frente a entradas de usuarios reales, y la eval que cierra la brecha.
Capítulo 2 · Parte I
Las sensaciones son una muestra de cinco
Cuando alguien dice que un prompt nuevo se siente mejor, está informando de los resultados de un experimento. Vale la pena preguntar en qué consistió. Normalmente fueron cinco o seis entradas, escritas por una sola persona, leídas una vez y juzgadas frente al recuerdo de cómo se comportaba la versión anterior. No es nada. Tampoco es mucho, y tiene algunas propiedades que conviene entender antes de apostar un lanzamiento a ello.
El primer problema es el tamaño. Cinco ejemplos no distinguen entre un sistema que acierta nueve de cada diez veces y uno que acierta siete de cada diez. Ambos suelen acertar cuatro o cinco de tus cinco. La diferencia entre esos dos sistemas es enorme para tus usuarios e invisible para ti. Las muestras pequeñas no son inútiles, pero solo detectan efectos grandes, y la mayoría de los cambios que haces en un sistema que ya funciona tienen efectos pequeños.
El segundo problema es la selección. Las entradas que pruebas no salen de la población de entradas que enviarán tus usuarios. Salen de tu cabeza, que está llena de los casos para los que diseñaste. Pruebas el camino feliz porque sabes dónde está. Formulas las cosas con claridad porque sabes lo que el sistema quiere. Los casos que lo rompen suelen ser los que nunca se te ocurrieron, es decir, los que nunca vas a probar.
El tercer problema es la memoria. Comparas las salidas nuevas con un recuerdo de las antiguas, y el recuerdo es generoso con la versión que prefieres en ese momento. Si escribiste tú el prompt nuevo, verás sus virtudes. Si lo escribió un compañero, quizá veas sus defectos. Ninguno de los dos está siendo deshonesto. Los dos están siendo humanos, que es justo la condición que las evals existen para corregir.
Una sensación es una medición a la que le han quitado el tamaño de muestra, la selección y el sesgo.
Nada de esto significa que debas dejar de probar cosas a mano. Toquetear un sistema es la forma de formular hipótesis, y algunos fallos saltan a la vista. La regla es más sencilla: usa las sensaciones para decidir qué probar, no para decidir qué lanzar. Cuando una prueba a mano sugiere que la versión nueva es mejor, el siguiente paso es ejecutar ambas versiones sobre el mismo conjunto fijo de entradas y compararlas como es debido.
Un hábito útil es apuntar la sensación antes de comprobarla. Creo que el prompt nuevo maneja mejor las preguntas sobre reembolsos. Luego haz la comparación. A veces acertarás, y tendrás pruebas que enseñar al equipo. A menudo acertarás a medias: mejor en reembolsos y peor en algo que no estabas mirando. De vez en cuando te equivocarás de pleno. Los tres resultados valen, y solo el acto de medir puede decirte cuál te ha tocado. La sensación es una hipótesis. Trátala con la misma cortesía que a cualquier otra hipótesis: interés, y una prueba.
Fig. 2 · Las sensaciones son una muestra de cinco. Cinco intentos no separan un sistema al 90% de uno al 70%, así que las sensaciones pasan a ser hipótesis.
Capítulo 3 · Parte I
El no determinismo no es excusa
Hazle dos veces la misma pregunta a un modelo de lenguaje y puede que obtengas dos respuestas distintas. Esto sorprende a quien viene del software convencional, donde la misma entrada produce la misma salida y una prueba pasa o falla para siempre. Y lleva a una conclusión tentadora: si las salidas varían, quizá medir no tenga sentido. Esa conclusión es exactamente al revés.
La variación es el motivo para medir, no un motivo para rendirse. Un sistema que a veces acierta es un sistema con una tasa de éxito, y las tasas de éxito se pueden estimar. Uno no pregunta si una moneda sale cara. Pregunta con qué frecuencia. Del mismo modo, la pregunta útil sobre la salida de un modelo no es ¿es correcta?, sino a lo largo de muchas ejecuciones y muchas entradas, ¿con qué frecuencia es correcta, y cuán mala es cuando no lo es?
Algunos equipos intentan eliminar la variación, poniendo la temperatura de muestreo a cero y confiando en el determinismo. Ayuda un poco y resuelve menos de lo que parece. Muchas infraestructuras de inferencia no son perfectamente deterministas ni siquiera a temperatura baja, por culpa del procesamiento por lotes y la aritmética de coma flotante. Y, sobre todo, tus usuarios no envían dos veces la misma entrada. Una pequeña reformulación, un espacio de más, otro orden en los datos, y la salida cambia de todos modos. Fijar la temperatura controla una fuente de bamboleo y deja intacta la más grande.
La consecuencia práctica es que una sola ejecución de un solo ejemplo dice muy poco. Si un ejemplo falla una vez, puede que falle siempre o puede que falle una de cada veinte. Las dos cosas merecen saberse y piden respuestas distintas. Para los casos importantes, ejecútalos varias veces y registra la tasa. Para la suite en su conjunto, acepta que las puntuaciones se moverán un poco entre ejecuciones aunque nada haya cambiado, y aprende cuánto movimiento es normal antes de celebrar o de entrar en pánico.
Si un sistema puede acertar por suerte, puede fallar por suerte. Cuenta ambas cosas.
Esto también cambia la forma de escribir pruebas. Las aserciones convencionales comprueban que la salida sea igual a un valor exacto. Para las salidas de un modelo, eso suele ser demasiado estricto, porque muchas formulaciones distintas son igual de correctas. En su lugar compruebas propiedades: la respuesta menciona el plazo de reembolso, el JSON se puede analizar, el tono es educado, el documento citado existe. Una propiedad puede cumplirse en todas las variantes de una buena respuesta y fallar en todas las variantes de una mala, que es justo lo que quieres.
Prueba esto. Elige una entrada que tu sistema maneje y ejecútala diez veces. Lee las diez. Probablemente verás un grupo de respuestas buenas y parecidas y quizá una o dos raras. Esa dispersión es la personalidad de tu sistema ante esa entrada, y es lo que tus usuarios experimentan de verdad. Una ejecución te enseñó una respuesta. Diez te enseñaron una distribución. Los productos viven en distribuciones.
Fig. 3 · El no determinismo no es excusa. Una entrada ejecutada diez veces da una tasa, no una respuesta; prueba propiedades, no cadenas.
Capítulo 4 · Parte I
Anatomía de una eval
Quítale los paneles y el vocabulario y toda eval tiene las mismas cuatro partes. Hay entradas. Está el sistema que pruebas. Hay un evaluador que mira cada salida y decide lo buena que es. Y hay una puntuación que resume las decisiones del evaluador. Si sabes nombrar las cuatro en una eval que estás ejecutando, la entiendes. Si no, probablemente estás mirando un número sin saber qué significa.
Las entradas son las preguntas, tareas o conversaciones que introduces. Cada una suele llamarse ejemplo o caso, y la colección es el conjunto de datos. Una entrada puede venir con información adicional que el evaluador necesita: una respuesta de referencia, una lista de hechos que deben aparecer, el documento que contiene la verdad o una nota sobre qué haría inaceptable la respuesta. La calidad de una eval está limitada por la calidad de estas entradas. Prueba solo casos fáciles y solo medirás cómo se porta el sistema con casos fáciles.
El sistema bajo prueba es todo lo que se interpone entre la entrada y la salida. A veces es una sola llamada al modelo con un prompt. Más a menudo es una cadena: un paso de recuperación, una plantilla de prompt, un modelo, algo de código de análisis y quizá unas cuantas llamadas a herramientas. Un error habitual es probar una versión simplificada del sistema, una llamada pelada al modelo sin la recuperación ni el posprocesado, y luego sorprenderse de que producción se comporte distinto. Prueba lo que lanzas.
El evaluador es la parte que la gente subestima. Puede ser una línea de código que comprueba si la salida coincide con una cadena esperada, una función que analiza un JSON y lo valida, un modelo cuidadosamente instruido que hace de juez o una persona que lee cada respuesta frente a una rúbrica. Cada uno tiene sus costes y sus puntos ciegos, y partes posteriores de este libro los tratan en detalle. Por ahora, fíjate en que un evaluador es en sí mismo una afirmación sobre lo que significa bueno. Un evaluador indulgente produce una eval halagadora.
La puntuación es lo que todo el mundo mira y lo que menos confianza merece por sí sola. Una tasa de aprobados del ochenta por ciento te dice algo, pero no qué veinte por ciento falló, por qué, ni si importa. Guarda siempre los resultados por ejemplo junto al resumen, y haz que sea fácil pasar con un clic de uno a otro.
Las entradas deciden qué pruebas. Los evaluadores deciden qué cuenta. Las puntuaciones solo deciden en qué te fijas.
Cuando heredes una eval, o construyas la primera, escribe las cuatro partes en frases sencillas. Enviamos 200 preguntas reales de soporte por toda la cadena de producción, un modelo juez comprueba cada respuesta frente a nuestro documento de políticas y comunicamos la proporción que considera correcta. Esa frase destapará más debilidades que una semana mirando el panel, porque cada cláusula invita a la pregunta adecuada: qué preguntas, qué cadena, qué juez, correcta según quién.
Fig. 4 · Anatomía de una eval. Toda eval tiene cuatro partes: entradas, el sistema bajo prueba, un evaluador y una puntuación.
Capítulo 5 · Parte I
Los benchmarks son la opinión de otros
Los benchmarks públicos son las evals de las que todo el mundo ha oído hablar. Un proveedor de modelos anuncia una versión nueva, aparece una tabla con puntuaciones en pruebas de razonamiento, programación, matemáticas y conocimiento, e internet se pasa una semana discutiendo los decimales. Es natural leer esas tablas y concluir que gana el número más alto. Y también es, para la mayoría de los equipos de producto, la conclusión equivocada.
Un benchmark es una eval que otra persona construyó para sus propios fines. Sus entradas reflejan lo que les importaba a sus autores, su evaluador refleja lo que podían comprobar de forma barata y fiable, y su puntuación refleja su idea del éxito. Eso hace que los benchmarks sean genuinamente útiles para comparar la capacidad general de distintos modelos. No los convierte en una medida de cómo rendirá un modelo dentro de tu aplicación, respondiendo a las preguntas de tus clientes, en tu formato, con tus documentos y tu tono de voz.
Hay además problemas más discretos. Los benchmarks populares se cuelan en los datos de entrenamiento, así que una puntuación alta puede reflejar en parte memoria y no habilidad. Los modelos se ajustan, a propósito o no, hacia las tareas que el sector está mirando. Muchos benchmarks se saturan, con los mejores sistemas apiñados cerca del techo, donde las diferencias se vuelven ruido. Y las condiciones en que se publican las puntuaciones, los prompts, el número de intentos, las herramientas permitidas, a menudo difieren de cómo usarías tú el modelo en la práctica.
Nada de esto hace inútiles los resultados públicos. Son una forma razonable de elaborar una lista corta. Si necesitas un modelo que escriba código, un buen resultado en evaluaciones de programación es un motivo justo para probarlo. Si un modelo va muy rezagado en todo, probablemente puedas saltártelo. Pero la lista corta es donde deberían terminar los benchmarks públicos y empezar tu propia eval.
Una clasificación te dice quién es bueno en el examen. Solo tu eval te dice quién es bueno en tu trabajo.
El movimiento práctico es tratar tu propio conjunto de datos como el benchmark que importa. Cuando aparezca un modelo nuevo, pásalo por tu eval antes de formarte una opinión. Puede que descubras que un modelo con puntuaciones públicas modestas hace muy bien tu trabajo concreto, porque tu trabajo premia cosas que las clasificaciones ignoran, como respetar un formato de salida estricto, ser conciso o declinar con elegancia cuando la respuesta no está en los documentos. También puede que descubras lo contrario: un modelo celebrado que es brillante en general y torpe en tu tarea específica.
Esto libera, una vez que lo aceptas. Ya no necesitas seguir cada anuncio ni tener opinión sobre tablas en disputa. Necesitas un conjunto de datos que refleje a tus usuarios y un evaluador que refleje tus criterios, y entonces cada modelo nuevo es simplemente un candidato más que ejecutar. Los benchmarks son opiniones ajenas sobre la calidad, puestas por escrito con cuidado. Respétalos, léelos, y luego ve a escribir las tuyas.
Fig. 5 · Los benchmarks son la opinión de otros. Los benchmarks y tu trabajo solo coinciden en parte; usa la clasificación para preseleccionar y luego prueba.
Capítulo 6 · Parte I
Estás probando un sistema
Cuando algo sale mal en un producto de IA, la gente tiende a culpar al modelo. A veces con razón. A menudo al modelo le dieron los documentos equivocados, un prompt con una instrucción contradictoria, un historial de conversación truncado o una herramienta que devolvió un error que nadie le explicó cómo manejar. El modelo hizo entonces algo razonable con materiales irrazonables, y el usuario vio una mala respuesta. Desde fuera, todos los fallos parecen fallos del modelo. Desde dentro, la mayoría son fallos del sistema.
Esto importa para la evaluación porque lo que mides determina lo que puedes arreglar. Si tu eval llama directamente al modelo con un prompt limpio y un contexto escogido a mano, mide el modelo en un laboratorio. Tus usuarios se lo encuentran en libertad, rodeado de todos los demás componentes que construiste. Una puntuación de laboratorio excelente con una experiencia de producción pobre es uno de los resultados más comunes, y más desconcertantes, de este campo.
Así que lo normal debería ser evaluar el sistema de principio a fin, exactamente como funciona en producción: el mismo índice de recuperación, las mismas plantillas de prompt, el mismo preprocesado y posprocesado, las mismas definiciones de herramientas. Donde eso sea difícil, porque una herramienta tiene efectos secundarios o un índice es demasiado grande para copiarlo, construye la réplica fiel más cercana que puedas y anota en qué difiere. Las diferencias desconocidas entre el arnés de evaluación y producción son una fuente fiable de sorpresas desagradables.
Las puntuaciones de extremo a extremo son necesarias pero no suficientes. Cuando la cifra global cae, necesitas saber qué componente lo causó, y una sola puntuación no puede decírtelo. Por eso los equipos maduros también evalúan las piezas: la recuperación por sí sola, el paso de generación con un contexto perfecto, la lógica de llamada a herramientas ante una situación conocida. Una parte posterior del libro trata en detalle la evaluación por componentes de la recuperación y los agentes. El principio es sencillamente que quieres tanto la vista de pájaro como la capacidad de hacer zoom.
El usuario no experimenta tu modelo. Experimenta todo lo que envolviste a su alrededor.
Hay un diagnóstico útil para cualquier fallo que encuentres. Pregúntate si un experto humano competente, con exactamente las mismas entradas que recibió el modelo, podría haber dado una buena respuesta. Si no, porque faltaba el documento correcto o las instrucciones eran ambiguas, el fallo está aguas arriba y cambiar de modelo no servirá de nada. Si un humano podría haberlo hecho con facilidad, el modelo de verdad se quedó corto, y tienes otro abanico de opciones.
Prueba esto con tus próximos cinco fallos. Mira el prompt real que se envió, con todo su contexto ensamblado, no la plantilla. Muchos equipos nunca han visto un prompt completamente ensamblado de producción, y la primera vez suele ser instructiva. Encontrarás instrucciones duplicadas, datos que faltan y, de vez en cuando, un marcador de posición perdido que nadie llegó a rellenar. El modelo hacía lo que podía. Era el sistema el que necesitaba la eval.
Fig. 6 · Estás probando un sistema. Los usuarios se topan con toda la pila, así que evalúa de extremo a extremo y luego enfoca los componentes.
Capítulo 7 · Parte I
La eval que puedes ejecutar hoy
Hay una versión de la evaluación que requiere infraestructura, presupuestos, equipos de etiquetado y una plataforma con suscripción. Hay otra que requiere una hoja de cálculo y una tarde. Empieza por la segunda. Buena parte del valor de la primera viene de hábitos que solo se adquieren haciendo la segunda.
Abre una hoja. En la primera columna, pon veinte entradas. Que sean reales si puedes: preguntas de tickets de soporte, peticiones de usuarios beta, tareas de tu propio backlog. Donde no tengas reales, escríbelas, pero escríbelas como lo haría un usuario ocupado y algo confundido, no como la persona que construyó el sistema. Incluye unas cuantas que deberían ser fáciles, unas cuantas genuinamente difíciles y dos o tres ante las que el sistema debería negarse o poner reparos.
En la segunda columna, pasa cada entrada por tu sistema y pega la salida. En la tercera, escribe aprobado o suspenso. En la cuarta, escribe una frase que explique el veredicto, sobre todo en los suspensos. Esa frase es lo más valioso de la hoja, porque te obliga a decir qué querías en realidad. Suspenso: dio la política correcta, pero del país equivocado.Suspenso: correcto, pero cuatro párrafos donde bastaba uno.Aprobado por los pelos: respuesta correcta, tono raro.
Ahora cuenta. Tu tasa de aprobados sobre veinte ejemplos es una cifra aproximada con mucha incertidumbre, y no pasa nada. Más útil es la columna de motivos. Léela de arriba abajo y verás patrones: el mismo tipo de fallo apareciendo tres o cuatro veces, una categoría de entradas que nadie le ha explicado al sistema cómo manejar, una instrucción que ignora. Esos patrones son tu hoja de ruta.
La primera eval no es una medición. Es una lista de lo que olvidaste querer.
Guarda la hoja. La próxima vez que cambies el prompt, vuelve a ejecutar las mismas veinte entradas y rellena columnas nuevas junto a las antiguas. Ya tienes una prueba de regresión, de las humildes. Cuando la versión nueva arregle el problema del país pero empiece a añadir advertencias a todo, lo verás, porque las mismas entradas están ahí esperando a ser comparadas.
No hay ninguna vergüenza en quedarse a esta escala una temporada. Veinte ejemplos bien escogidos, leídos con atención por alguien que entiende el dominio, cazarán más problemas reales que dos mil ejemplos puntuados por un evaluador que nadie ha revisado. La hoja se te quedará pequeña cuando leer se convierta en el cuello de botella, cuando necesites ejecutarla con cada cambio o cuando el equipo necesite una cifra compartida. Llegado ese punto, los capítulos posteriores sobre evaluadores, conjuntos de datos y automatización tendrán un sentido que no habrían tenido el primer día, porque habrás sentido el dolor concreto que resuelven. Monta la hoja esta tarde. La infraestructura puede esperar. La comprensión, no.
Fig. 7 · La eval que puedes ejecutar hoy. Una hoja de veinte filas: entrada, salida, veredicto y el porqué en una frase.
Capítulo 8 · Parte I
Primero, lee las salidas
El error más común en evaluación es elegir una métrica antes de mirar los datos. Un equipo decide que le importa la utilidad, construye un evaluador que puntúa la utilidad, lo ejecuta sobre mil ejemplos y obtiene un número. Nadie ha leído las salidas. Nadie sabe si los fallos tienen algo que ver con la utilidad, o con algo que al equipo nunca se le ocurrió medir, como que el sistema invente con total aplomo números de pedido.
El remedio es poco glamuroso y fiable. Antes de diseñar ninguna métrica, lee salidas. Lee muchas, al menos cincuenta y a ser posible cien, sacadas de entradas realistas. Para cada una, escribe una nota breve en texto libre sobre cualquier cosa que parezca mal o rara. Nada de categorías todavía. Describe lo que ves con tus palabras: ignoró la segunda pregunta, se inventó un teléfono, respuesta correcta enterrada bajo advertencias, contestó en el idioma equivocado.
Cuando tengas tus notas, agrúpalas. Las quejas parecidas se agrupan solas, y al cabo de un rato tendrás un puñado de categorías de fallo que salieron de tu sistema real y no de un manual. Cuenta cuántas salidas caen en cada una. Este recuento sencillo, que a veces se llama análisis de errores, te dice dónde se concentran los problemas, que es exactamente donde debe ir tu esfuerzo.
El resultado suele sorprender. Los equipos esperan que su problema principal sea la exactitud y descubren que es el formato. Les preocupa el tono y resulta que el sistema falla sobre todo con preguntas sobre una línea de producto cuya documentación está desfasada. Planean un elaborado detector de alucinaciones y descubren que la mayoría de las alucinaciones vienen de una sola instrucción del prompt que pide al modelo que siempre dé un número de referencia.
Las métricas son respuestas. El análisis de errores te dice qué preguntas hacer.
Una vez que conoces tus modos de fallo, las métricas casi se diseñan solas. Cada categoría relevante se convierte en algo que medir, con un evaluador adecuado. Los números de referencia inventados se pueden comprobar con código contra tu base de datos. Las respuestas en el idioma equivocado se detectan de forma barata. Enterrar la respuesta bajo advertencias quizá requiera un juez con una rúbrica clara. Acabas con un pequeño conjunto de mediciones dirigidas en lugar de una puntuación vaga, y cada una está ahí porque cazó un problema real.
Sigue haciéndolo cuando las métricas ya existan. Lee una tanda nueva de salidas cada semana o cada dos, sobre todo tras cambios importantes. Aparecen modos de fallo nuevos a medida que los productos evolucionan, y los evaluadores automáticos solo ven lo que se construyó para que vieran. Un equipo que deja de leer salidas va perdiendo el contacto con lo que hace de verdad su sistema, aunque sus paneles sigan en verde. Resérvate una hora, sírvete un café y lee cincuenta salidas sin hoja de puntuación. Escribe lo que notes. Es lo menos técnico de este libro y posiblemente lo más importante.
Fig. 8 · Primero, lee las salidas. Análisis de errores: lee salidas, anota rarezas, agrupa y cuenta, y luego crea métricas.
Capítulo 9 · Parte I
¿De quién es la calidad?
En muchos equipos, la evaluación vive en un hueco incómodo. Los responsables de producto dan por hecho que los ingenieros la están probando. Los ingenieros dan por hecho que el proveedor del modelo la ha probado. A los expertos del dominio se les consulta una vez, al principio, y luego se les deja en paz. La suite de evals, si existe, la escribió quien tenía una semana libre, y su definición de bueno refleja las conjeturas de esa persona sobre lo que necesitan los usuarios.
La calidad en un producto de IA no es trabajo de una sola persona, pero sí tiene partes que pertenecen a personas concretas. Alguien tiene que decidir qué significa bueno para este producto, y eso es una decisión de producto. Alguien tiene que saber qué significa correcto en el dominio, ya sea derecho tributario, pautas de medicación o la política de devoluciones, y eso es conocimiento experto. Alguien tiene que construir la maquinaria que ejecuta las evals e informa de los resultados, y eso es ingeniería. Y alguien tiene que darse cuenta de lo que experimentan de verdad los usuarios, que a menudo es soporte. Una eval es el lugar donde se supone que se encuentran estas cuatro perspectivas.
Cuando falta una, normalmente se nota en la propia eval. Sin producto, la eval mide lo fácil en vez de lo que importa. Sin conocimiento del dominio, el evaluador acepta respuestas que suenan bien y no lo están. Sin ingeniería, la eval es un ejercicio manual heroico que se hace dos veces al año. Sin soporte, el conjunto de datos está lleno de preguntas hipotéticas y ordenadas, y vacío de las desordenadas que de verdad envían los clientes.
El arreglo no es un comité. Es un pequeño número de responsabilidades explícitas. Nombra a una persona que sea dueña de la definición de éxito y apruebe sus cambios. Haz que los expertos del dominio escriban o revisen la rúbrica y etiqueten una muestra de ejemplos, para que el evaluador tenga algo fiable contra lo que contrastarse. Deja que los ingenieros se ocupen del arnés, la automatización y los informes. Encauza los tickets de soporte y las quejas de usuarios hacia el conjunto de datos como algo rutinario.
Si la calidad es de todos, es de quien tocó el prompt por última vez.
También hay una trampa en el lado opuesto. No subcontrates la definición de bueno a quienes construyeron el sistema. Los constructores tienen todos los motivos para creer que funciona, y saben formular las entradas para que funcione. Una regla útil es que quien cambió el sistema no debería ser la única persona que decida si el cambio fue una mejora. Un segundo par de ojos, o un evaluador escrito antes del cambio, mantiene a todos honestos sin insinuar que nadie estuviera siendo deshonesto.
Esta semana, escribe un párrafo breve que responda cuatro preguntas sobre tu producto: quién decide qué significa bueno, quién sabe qué significa correcto, quién ejecuta las evals y quién escucha a los usuarios. Si alguna respuesta es nadie o todos, has encontrado tu primer bug organizativo. Es más barato de arreglar que la mayoría de los técnicos, y suele ser su causa.
Fig. 9 · ¿De quién es la calidad?. Producto, expertos del dominio, ingeniería y soporte son dueños, cada uno, de una parte de lo que dice la eval.
Capítulo 10 · Parte I
Una opinión puesta por escrito
Conviene dejar claro desde el principio lo que este libro defenderá con detalle. Una eval no es un instrumento objetivo que revela la verdadera calidad de un sistema. Es una opinión puesta por escrito sobre lo que significa la calidad para un trabajo concreto, formulada con la precisión suficiente para que una máquina o un desconocido la apliquen de forma coherente. Suena a rebaja. En realidad es la clave de todo.
Piensa en lo que entra en cualquier eval. Alguien eligió qué entradas incluir y cuáles dejar fuera. Alguien decidió cómo es una buena respuesta, cuán estricto ser con el formato, si la brevedad cuenta, si una negativa educada es un aprobado o un suspenso. Alguien eligió el evaluador y escribió sus instrucciones. Alguien decidió cómo combinar los resultados en un número. Cada una de esas elecciones es un juicio, y personas razonables distintas tomarían algunas de forma diferente.
Esto no es un defecto que haya que eliminar a base de ingeniería. Es lo que hace útil una eval. Antes de ponerse por escrito, la idea de calidad de un equipo vive en una docena de cabezas, de forma incoherente, y solo asoma en discusiones sobre salidas concretas. Una vez escrita, se puede examinar, discutir y mejorar. Dos personas que discrepan sobre si el sistema es bueno pueden mirar la rúbrica y descubrir que en realidad discrepan sobre si una respuesta de dos párrafos es demasiado larga. Esa es una discusión mucho mejor.
Ver las evals como opiniones también te protege de la creencia más peligrosa de este campo: que una puntuación alta significa que el sistema es bueno. Una puntuación alta significa que el sistema satisface la opinión. Si la opinión es superficial, está desfasada o es errónea, la puntuación te engañará con gran precisión. El remedio es mantener la opinión visible y revisable: lee la rúbrica, lee los fallos, pregúntate si el evaluador estaría de acuerdo con tu mejor experto del dominio y actualízalo cuando no lo estaría.
El número no es la verdad sobre tu sistema. Es la verdad sobre tu sistema según tú.
Este enfoque tiene algo de liberador. No necesitas una métrica perfecta para empezar, porque no existe tal cosa. Necesitas una honesta, construida a partir de lo que crees ahora mismo sobre lo bueno y lo malo, y la disciplina para revisarla a medida que aprendes. Cada capítulo que sigue trata de afinar esa opinión: mejores entradas, mejores evaluadores, estadística más cuidadosa, más atención al uso real.
Así que, cuando alguien de tu equipo pregunte si la versión nueva es mejor, prueba a responder de esta forma: mejor según nuestra eval actual, que comprueba estas cosas y no comprueba aquellas. Es una frase algo más larga que sí. También es la única honesta, y conduce exactamente a la siguiente pregunta correcta: si las cosas que compruebas son las que importan.
Fig. 10 · Una opinión puesta por escrito. Las decisiones de juicio se combinan en una eval: una opinión escrita, puntuada y revisada.
Avance gratuito · Parte I
Sigue leyendo
Has leído los primeros 10 de 100 capítulos de Evals en pocas palabras. El libro completo incluye todos los capítulos y láminas, en PDF y EPUB, en inglés, francés, polaco y español.