Tout produit d’IA commence par une démo qui marche. Quelqu’un tape une question dans un prototype, la réponse revient fluide et juste, et la salle se détend. Une deuxième question, choisie par la même personne, fait mouche elle aussi. À la troisième, on parle déjà de date de lancement. Personne dans la salle ne ment. On a simplement confondu une représentation avec une mesure.
Ce livre est un guide de terrain de la mesure. Une éval, abréviation d’évaluation, est une manière reproductible de savoir dans quelle mesure un système d’IA fait le travail pour lequel vous l’avez construit. Elle comporte un ensemble d’entrées, une façon de faire tourner votre système dessus, et une façon de décider si chaque sortie était bonne. C’est tout. Le reste de ce livre consiste à faire ces trois choses avec assez de soin pour que la réponse veuille dire quelque chose.
Pourquoi s’embêter, puisque la démo marche ? Parce que la démo est choisie par des gens qui veulent qu’elle marche. Ils prennent la question qu’ils savent gérée par le système, la formulent comme le prompt l’attend, et s’arrêtent tant qu’ils mènent au score. Les vrais utilisateurs ne font rien de tout cela. Ils collent la moitié d’un e-mail, posent deux questions à la fois, écorchent le nom du produit et débarquent à trois heures du matin avec un problème que personne n’avait prévu. La distance entre la démo et cet utilisateur-là, c’est l’endroit où votre produit vit réellement, et la démo ne permet pas de la voir.
Il y a une seconde raison. Les systèmes à base de modèles de langage changent sous vos pieds. Vous retouchez un prompt pour corriger une plainte et vous cassez discrètement autre chose. Un fournisseur met à jour un modèle. Un collègue ajoute une étape de recherche documentaire. Sans éval, chaque changement est un acte de foi suivi d’une période d’écoute anxieuse des réclamations. Avec une éval, chaque changement est un chiffre qui a bougé, ou non, et une liste d’exemples que vous pouvez lire.
Une démo vous dit que le système peut réussir. Une éval vous dit à quelle fréquence il réussit.
Rien de tout cela n’exige une équipe de recherche. La première éval utile que bâtissent la plupart des équipes est un tableur de trente lignes avec une colonne intitulée est-ce que c’était correct ? C’est rudimentaire, et c’est infiniment mieux que rien, parce que cela transforme une impression en quelque chose dont on peut débattre preuves à l’appui. Les chapitres suivants la rendront plus fine, plus grande et automatique. C’est l’habitude qui compte d’abord.
Voici donc la tâche de la semaine. Prenez le système que vous construisez, ou celui que vous avez déjà livré, et notez dix entrées que vous n’avez pas choisies pour le flatter. Demandez-en à un collègue ; tirez-en quelques-unes de vrais journaux si vous en avez. Faites-les tourner. Lisez chaque réponse. Marquez chacune bonne ou pas bonne, et écrivez une phrase pour dire pourquoi. Vous apprendrez davantage en cette heure-là qu’en un mois de démos, et vous aurez fait le premier pas entre croire que votre produit marche et savoir à quel point il marche. La démo marche toujours. C’est précisément pour cela qu’on ne peut pas lui faire confiance.
Fig. 1 · La démo marche toujours. La démo triée sur le volet face aux vraies entrées des usagers, et l’éval qui comble l’écart.
Chapitre 2 · Partie I
Le feeling, un échantillon de cinq
Quand quelqu’un dit qu’un nouveau prompt a l’air mieux, il rapporte les résultats d’une expérience. Il vaut la peine de se demander quelle était l’expérience. En général, cinq ou six entrées, tapées par une seule personne, lues une fois, jugées à l’aune d’un souvenir du comportement de l’ancienne version. Ce n’est pas rien. Ce n’est pas grand-chose non plus, et cela a quelques propriétés qu’il faut comprendre avant de parier une mise en production dessus.
Le premier problème est la taille. Cinq exemples ne permettent pas de distinguer un système qui a raison neuf fois sur dix d’un système qui a raison sept fois sur dix. Les deux réussiront le plus souvent quatre ou cinq de vos cinq essais. L’écart entre ces deux systèmes est énorme pour vos utilisateurs et invisible pour vous. Les petits échantillons ne sont pas inutiles, mais ils ne détectent que les grands effets, et la plupart des changements que vous apportez à un système qui fonctionne ont de petits effets.
Le deuxième problème est la sélection. Les entrées que vous essayez ne sont pas tirées de la population des entrées que vos utilisateurs enverront. Elles sont tirées de votre tête, laquelle est pleine des cas pour lesquels vous avez conçu le système. Vous testez le chemin heureux parce que vous savez où il se trouve. Vous formulez les choses clairement parce que vous savez ce que le système attend. Les cas qui le font tomber sont en général ceux auxquels vous n’avez jamais pensé, c’est-à-dire ceux que vous n’essaierez jamais.
Le troisième problème est la mémoire. Vous comparez les nouvelles sorties à un souvenir des anciennes, et le souvenir est généreux envers la version que vous préférez du moment. Si vous avez écrit le nouveau prompt, vous remarquerez ses qualités. Si c’est un collègue qui l’a écrit, vous remarquerez peut-être ses défauts. Aucun de vous n’est malhonnête. Vous êtes tous deux humains, et c’est précisément la condition que les évals existent pour corriger.
Le feeling, c’est une mesure dont on a retiré la taille d’échantillon, la sélection et le biais.
Rien de tout cela ne signifie qu’il faille cesser d’essayer des choses à la main. Tâtonner avec un système, c’est ainsi qu’on forme des hypothèses, et certains échecs sautent aux yeux. La règle est plus simple : servez-vous du feeling pour décider quoi tester, pas pour décider quoi livrer. Quand un test manuel suggère que la nouvelle version est meilleure, l’étape suivante consiste à faire tourner les deux versions sur le même ensemble fixe d’entrées et à les comparer correctement.
Une habitude utile consiste à écrire le feeling avant de le vérifier. Je pense que le nouveau prompt gère mieux les questions de remboursement. Puis lancez la comparaison. Parfois vous aurez raison, et vous aurez des preuves à montrer à l’équipe. Souvent vous aurez à moitié raison : meilleur sur les remboursements et moins bon sur quelque chose que vous ne regardiez pas. De temps en temps, vous aurez carrément tort. Les trois issues ont de la valeur, et seul l’acte de mesurer peut vous dire laquelle vous avez obtenue. L’impression est une hypothèse. Traitez-la avec la courtoisie due à toute hypothèse : de l’intérêt, et un test.
Fig. 2 · Le feeling, un échantillon de cinq. Cinq essais ne distinguent pas un système à 90% d’un système à 70%, le feeling devient donc hypothèse.
Chapitre 3 · Partie I
Le non-déterminisme n’est pas une excuse
Posez deux fois la même question à un modèle de langage et vous obtiendrez peut-être deux réponses différentes. Cela surprend les gens qui viennent du logiciel classique, où la même entrée produit la même sortie et où un test passe ou échoue pour l’éternité. Cela produit aussi une conclusion tentante : si les sorties varient, peut-être que mesurer ne sert à rien. Cette conclusion est exactement à l’envers.
La variation est une raison de mesurer, pas une raison d’abandonner. Un système qui trouve parfois la bonne réponse est un système doté d’un taux de réussite, et un taux de réussite s’estime. On ne se demande pas si une pièce tombe sur pile. On se demande à quelle fréquence. De la même manière, la question utile à propos d’une sortie de modèle n’est pas est-ce correct ? mais sur de nombreux essais et de nombreuses entrées, à quelle fréquence est-ce correct, et à quel point est-ce grave quand ça ne l’est pas ?
Certaines équipes essaient plutôt de supprimer la variation, en réglant la température d’échantillonnage à zéro et en espérant le déterminisme. Cela aide un peu et résout moins qu’on ne le croit. Beaucoup d’infrastructures de service ne sont pas parfaitement déterministes, même à basse température, à cause du traitement par lots et de l’arithmétique en virgule flottante. Surtout, vos utilisateurs n’envoient jamais deux fois la même entrée. Une légère reformulation, une espace en trop, des faits dans un autre ordre, et la sortie change de toute façon. Bloquer la température maîtrise une source de flottement en laissant intacte la plus grande.
La conséquence pratique, c’est qu’un seul passage sur un seul exemple vous apprend très peu. Si un exemple échoue une fois, il peut échouer à chaque fois ou une fois sur vingt. Les deux méritent d’être connus, et ils appellent des réponses différentes. Pour les cas importants, faites-les tourner plusieurs fois et notez le taux. Pour la suite dans son ensemble, acceptez que les scores bougent légèrement d’un passage à l’autre même quand rien n’a changé, et apprenez quelle amplitude est normale avant de vous réjouir ou de paniquer.
Si un système peut avoir raison par chance, il peut avoir tort par malchance. Comptez les deux.
Cela change aussi la manière d’écrire les tests. Les assertions classiques vérifient que la sortie est égale à une valeur exacte. Pour les sorties de modèles, c’est en général trop strict, parce que de nombreuses formulations différentes sont tout aussi correctes. Vous vérifiez plutôt des propriétés : la réponse mentionne le délai de remboursement, le JSON se parse, le ton est poli, le document cité existe. Une propriété peut tenir pour toutes les variantes d’une bonne réponse et échouer pour toutes les variantes d’une mauvaise, et c’est ce que vous voulez.
Essayez ceci. Prenez une entrée que votre système gère et faites-la tourner dix fois. Lisez les dix réponses. Vous verrez probablement un groupe de bonnes réponses similaires et peut-être une ou deux bizarres. Cette dispersion, c’est la personnalité de votre système face à cette entrée, et c’est ce que vos utilisateurs vivent réellement. Un passage vous a montré une réponse. Dix vous ont montré une distribution. Les produits vivent dans des distributions.
Fig. 3 · Le non-déterminisme n’est pas une excuse. Une entrée lancée dix fois donne un taux, pas une réponse ; testez des propriétés, pas des chaînes.
Chapitre 4 · Partie I
Anatomie d’une éval
Retirez les tableaux de bord et le vocabulaire, et toute éval se compose des mêmes quatre éléments. Il y a des entrées. Il y a le système que vous testez. Il y a un correcteur qui examine chaque sortie et décide de sa qualité. Et il y a un score qui résume les décisions du correcteur. Si vous savez nommer chacun des quatre pour une éval que vous faites tourner, vous la comprenez. Sinon, vous regardez probablement un chiffre sans savoir ce qu’il signifie.
Les entrées sont les questions, les tâches ou les conversations que vous fournissez. Chacune s’appelle en général un exemple ou un cas, et l’ensemble forme le jeu de données. Une entrée peut s’accompagner d’informations supplémentaires dont le correcteur a besoin : une réponse de référence, une liste de faits qui doivent apparaître, le document qui fait foi, ou une note sur ce qui rendrait la réponse inacceptable. La qualité d’une éval est plafonnée par la qualité de ces entrées. Ne testez que des cas faciles, et vous ne mesurerez que la façon dont le système s’en sort sur des cas faciles.
Le système testé, c’est tout ce qui se tient entre l’entrée et la sortie. Parfois, c’est un simple appel au modèle avec un prompt. Plus souvent, c’est une chaîne : une étape de recherche documentaire, un gabarit de prompt, un modèle, du code d’analyse et peut-être quelques appels d’outils. Une erreur courante consiste à tester une version simplifiée du système, un appel nu au modèle sans la recherche ni le post-traitement, puis à s’étonner que la production se comporte autrement. Testez ce que vous livrez.
Le correcteur est l’élément que l’on sous-estime. Ce peut être une ligne de code qui vérifie que la sortie correspond à une chaîne attendue, une fonction qui parse du JSON et le valide, un modèle soigneusement instruit qui joue le rôle de juge, ou un humain qui lit chaque réponse à la lumière d’une grille. Chacun a ses coûts et ses angles morts, et les parties suivantes de ce livre les détaillent. Pour l’instant, remarquez qu’un correcteur est lui-même une affirmation sur ce que veut dire « bon ». Un correcteur indulgent produit une éval flatteuse.
Le score est ce que tout le monde regarde et ce qui mérite le moins de confiance à lui seul. Un taux de réussite de quatre-vingts pour cent vous dit quelque chose, mais pas quels vingt pour cent ont échoué, ni pourquoi, ni si cela compte. Gardez toujours les résultats exemple par exemple à côté du résumé, et faites en sorte qu’on puisse passer de l’un à l’autre en un clic.
Les entrées décident de ce que vous testez. Les correcteurs décident de ce qui compte. Les scores ne décident que de ce que vous remarquez.
Quand vous héritez d’une éval, ou que vous bâtissez la première, écrivez ses quatre éléments en phrases simples. Nous envoyons 200 vraies questions de support à travers toute la chaîne de production, un modèle juge vérifie chaque réponse au regard de notre document de politique, et nous rapportons la part jugée correcte. Cette phrase révélera plus de faiblesses qu’une semaine à fixer le tableau de bord, parce que chaque proposition appelle la bonne question de suivi : quelles questions, quelle chaîne, quel juge, correcte selon qui.
Fig. 4 · Anatomie d’une éval. Toute éval a quatre parties : les entrées, le système testé, un correcteur et un score.
Chapitre 5 · Partie I
Les benchmarks sont l’avis des autres
Les benchmarks publics sont les évals dont tout le monde a entendu parler. Un fournisseur de modèles annonce une nouvelle version, un tableau apparaît avec des scores en raisonnement, en code, en mathématiques et en connaissances, et internet passe une semaine à se disputer sur les décimales. Il est naturel de lire ces tableaux et d’en conclure que le chiffre le plus haut l’emporte. C’est aussi, pour la plupart des équipes produit, la mauvaise conclusion.
Un benchmark est une éval que quelqu’un d’autre a construite pour ses propres besoins. Ses entrées reflètent ce qui intéressait ses auteurs, son correcteur reflète ce qu’ils pouvaient vérifier à bas coût et de manière fiable, et son score reflète leur idée de la réussite. Cela rend les benchmarks réellement utiles pour comparer les capacités générales des modèles. Cela n’en fait pas une mesure de la façon dont un modèle se comportera dans votre application, en répondant aux questions de vos clients, dans votre format, avec vos documents et votre ton.
Il existe aussi des problèmes plus discrets. Les benchmarks populaires fuient dans les données d’entraînement, si bien qu’un score élevé peut refléter en partie la mémoire plutôt que la compétence. Les modèles sont ajustés, délibérément ou non, vers les tâches que le domaine surveille. Beaucoup de benchmarks saturent, les meilleurs systèmes s’entassant près du plafond, là où les écarts deviennent du bruit. Et les conditions dans lesquelles les scores sont rapportés, les prompts, le nombre de tentatives, les outils autorisés, diffèrent souvent de la manière dont vous utiliseriez le modèle en pratique.
Rien de tout cela ne rend les résultats publics sans valeur. Ils sont un moyen raisonnable de dresser une présélection. Si vous avez besoin d’un modèle qui écrit du code, une bonne performance aux évaluations de programmation est une bonne raison de l’essayer. Si un modèle est loin derrière partout, vous pouvez probablement passer votre chemin. Mais c’est à la présélection que les benchmarks publics doivent s’arrêter et que votre propre éval doit commencer.
Un classement vous dit qui est bon à l’examen. Seule votre éval vous dit qui est bon dans votre métier.
Le geste pratique consiste à traiter votre propre jeu de données comme le benchmark qui compte. Quand un nouveau modèle apparaît, faites-le passer par votre éval avant de vous forger une opinion. Vous découvrirez peut-être qu’un modèle aux scores publics modestes fait très bien votre travail particulier, parce que votre travail récompense des choses que les classements ignorent : respecter un format de sortie strict, rester concis, ou décliner avec élégance quand la réponse ne figure pas dans les documents. Vous découvrirez peut-être aussi l’inverse : un modèle célébré, brillant en général et maladroit sur votre tâche précise.
C’est libérateur, une fois qu’on l’accepte. Vous n’avez plus besoin de suivre chaque annonce ni d’avoir un avis sur des tableaux contestés. Il vous faut un jeu de données qui reflète vos utilisateurs et un correcteur qui reflète vos exigences, et chaque nouveau modèle n’est plus qu’un candidat à faire passer. Les benchmarks sont l’avis d’autres personnes sur la qualité, consigné avec soin. Respectez-les, lisez-les, puis allez écrire le vôtre.
Fig. 5 · Les benchmarks sont l’avis des autres. Benchmarks et métier ne se recoupent qu’en partie ; le classement sert à présélectionner, puis testez.
Chapitre 6 · Partie I
Vous testez un système
Quand quelque chose tourne mal dans un produit d’IA, on a tendance à accuser le modèle. Parfois à raison. Souvent, le modèle a reçu les mauvais documents, un prompt contenant une consigne contradictoire, un historique de conversation tronqué, ou un outil qui a renvoyé une erreur qu’on ne lui avait jamais appris à gérer. Le modèle a alors fait quelque chose de raisonnable avec des matériaux déraisonnables, et l’utilisateur a vu une mauvaise réponse. De l’extérieur, toutes les défaillances ressemblent à des défaillances du modèle. De l’intérieur, la plupart sont des défaillances du système.
Cela compte pour l’évaluation, parce que ce que vous mesurez détermine ce que vous pouvez réparer. Si votre éval appelle directement le modèle avec un prompt propre et un contexte trié sur le volet, elle mesure le modèle en laboratoire. Vos utilisateurs le rencontrent en pleine nature, entouré de tous les autres composants que vous avez construits. Un excellent score de laboratoire et une expérience médiocre en production, c’est l’un des résultats les plus courants, et les plus déroutants, du domaine.
La règle par défaut devrait donc être d’évaluer le système de bout en bout, exactement tel qu’il tourne en production : le même index de recherche, les mêmes gabarits de prompts, le même pré-traitement et le même post-traitement, les mêmes définitions d’outils. Là où c’est difficile, parce qu’un outil a des effets de bord ou qu’un index est trop gros pour être figé, construisez la copie fidèle la plus proche possible, et notez en quoi elle diffère. Les différences inconnues entre le banc d’éval et la production sont une source fiable de mauvaises surprises.
Les scores de bout en bout sont nécessaires mais pas suffisants. Quand le chiffre global baisse, vous devez savoir quel composant en est la cause, et un score unique ne peut pas vous le dire. C’est pourquoi les équipes mûres évaluent aussi les pièces : la recherche seule, l’étape de génération avec un contexte parfait, la logique d’appel d’outils face à une situation connue. Une partie ultérieure de ce livre traite en détail l’évaluation par composant pour la recherche et les agents. Le principe est simplement de vouloir à la fois la vue d’ensemble et la possibilité de zoomer.
L’utilisateur ne fait pas l’expérience de votre modèle. Il fait l’expérience de tout ce que vous avez enroulé autour.
Il existe un diagnostic utile pour toute défaillance que vous trouvez. Demandez-vous si un expert humain compétent, recevant exactement les mêmes entrées que le modèle, aurait pu produire une bonne réponse. Si ce n’est pas le cas, parce que le bon document manquait ou que les consignes étaient ambiguës, la faute est en amont, et changer de modèle n’y fera rien. Si un humain aurait pu le faire facilement, le modèle a réellement failli, et vous disposez d’un autre éventail d’options.
Essayez cela sur vos cinq prochaines défaillances. Regardez le prompt réellement envoyé, avec tout son contexte assemblé, pas le gabarit. Beaucoup d’équipes n’ont jamais regardé un prompt entièrement assemblé issu de la production, et la première lecture est généralement instructive. Vous y trouverez des consignes en double, des données manquantes et, à l’occasion, un espace réservé égaré qui n’a jamais été rempli. Le modèle faisait de son mieux. C’est le système qui avait besoin de l’éval.
Fig. 6 · Vous testez un système. Les usagers rencontrent toute la pile : évaluez de bout en bout, puis zoomez sur les composants.
Chapitre 7 · Partie I
L’éval que vous pouvez lancer aujourd’hui
Il existe une version de l’évaluation qui exige de l’infrastructure, des budgets, des équipes d’annotation et une plateforme avec abonnement. Il en existe une autre qui exige un tableur et un après-midi. Commencez par la seconde. L’essentiel de la valeur de la première vient d’habitudes que l’on ne peut acquérir qu’en pratiquant la seconde.
Ouvrez une feuille. Dans la première colonne, mettez vingt entrées. Prenez-les réelles si vous le pouvez : des questions issues de tickets de support, des demandes d’utilisateurs bêta, des tâches de votre propre backlog. Là où vous en manquez, écrivez-les, mais écrivez-les comme le ferait un utilisateur pressé et un peu perdu, pas comme la personne qui a construit le système. Incluez-en quelques-unes qui devraient être faciles, quelques-unes réellement difficiles, et deux ou trois que le système devrait décliner ou contester.
Dans la deuxième colonne, faites passer chaque entrée par votre système et collez la sortie. Dans la troisième, écrivez réussi ou échoué. Dans la quatrième, écrivez une phrase qui justifie le verdict, surtout pour les échecs. Cette phrase est ce que la feuille contient de plus précieux, parce qu’elle vous oblige à dire ce que vous vouliez vraiment. Échoué : bonne règle, mais pour le mauvais pays.Échoué : correct, mais quatre paragraphes quand un seul suffisait.Réussi, de justesse : bonne réponse, ton bizarre.
Comptez maintenant. Votre taux de réussite sur vingt exemples est un chiffre grossier assorti d’une large incertitude, et c’est très bien. Plus utile est la colonne des raisons. Lisez-la de haut en bas et vous verrez apparaître des motifs : le même type d’échec trois ou quatre fois, une catégorie d’entrées que personne n’a jamais appris au système à gérer, une consigne qu’il ignore. Ces motifs sont votre feuille de route.
La première éval n’est pas une mesure. C’est la liste de ce que vous aviez oublié de vouloir.
Gardez la feuille. La prochaine fois que vous modifiez le prompt, relancez les mêmes vingt entrées et remplissez une nouvelle série de colonnes à côté des anciennes. Vous avez désormais un test de non-régression, modeste certes. Quand la nouvelle version corrige le problème de pays mais se met à ajouter des avertissements partout, vous le verrez, parce que les mêmes entrées sont là, à attendre d’être comparées.
Il n’y a aucune honte à rester à cette échelle un moment. Vingt exemples bien choisis, lus attentivement par quelqu’un qui connaît le domaine, attraperont plus de vrais problèmes que deux mille exemples notés par un correcteur que personne n’a vérifié. Vous dépasserez le tableur quand la lecture deviendra le goulot d’étranglement, quand il faudra le lancer à chaque changement, ou quand l’équipe aura besoin d’un chiffre partagé. À ce moment-là, les chapitres suivants sur les correcteurs, les jeux de données et l’automatisation prendront un sens qu’ils n’auraient pas eu le premier jour, parce que vous aurez ressenti la douleur précise qu’ils soignent. Montez la feuille cet après-midi. L’infrastructure peut attendre. La compréhension, non.
Fig. 7 · L’éval que vous pouvez lancer aujourd’hui. Un tableur de vingt lignes : entrée, sortie, verdict et la raison en une phrase.
Chapitre 8 · Partie I
Lisez d’abord les sorties
L’erreur la plus courante en évaluation consiste à choisir une métrique avant de regarder les données. Une équipe décide qu’elle tient à l’utilité des réponses, construit un correcteur qui note l’utilité, le fait tourner sur mille exemples et obtient un chiffre. Personne n’a lu les sorties. Personne ne sait si les échecs portent seulement sur l’utilité, ou sur quelque chose que l’équipe n’a jamais pensé à mesurer, comme le système qui invente avec aplomb des numéros de commande.
Le remède est sans éclat et fiable. Avant de concevoir la moindre métrique, lisez des sorties. Lisez-en beaucoup, au moins cinquante et idéalement cent, issues d’entrées réalistes. Pour chacune, écrivez une courte note libre sur tout ce qui semble faux ou étrange. Pas encore de catégories. Décrivez simplement ce que vous voyez, avec vos mots : a ignoré la deuxième question, a inventé un numéro de téléphone, bonne réponse noyée sous les précautions, a répondu dans la mauvaise langue.
Une fois vos notes prises, regroupez-les. Les plaintes semblables s’agglutinent naturellement, et au bout d’un moment vous disposerez d’une poignée de catégories d’échec issues de votre système réel plutôt que d’un manuel. Comptez combien de sorties tombent dans chacune. Ce simple décompte, qu’on appelle parfois analyse des erreurs, vous dit où les problèmes se concentrent, c’est-à-dire exactement là où doit porter votre effort.
Le résultat surprend souvent. Des équipes s’attendent à ce que leur problème principal soit l’exactitude et découvrent que c’est la mise en forme. Elles s’inquiètent du ton et constatent que le système échoue surtout sur les questions portant sur une gamme de produits dont la documentation est périmée. Elles prévoient un détecteur d’hallucinations élaboré et découvrent que la plupart des hallucinations viennent d’une seule consigne du prompt, qui demande au modèle de toujours fournir un numéro de référence.
Les métriques sont des réponses. L’analyse des erreurs vous dit quelles questions poser.
Une fois vos modes de défaillance connus, les métriques se conçoivent presque toutes seules. Chaque catégorie importante devient quelque chose à mesurer, avec un correcteur adapté. Les numéros de référence inventés se vérifient par du code contre votre base de données. Les réponses dans la mauvaise langue se détectent à peu de frais. La réponse noyée sous les précautions demandera peut-être un juge muni d’une grille claire. Vous vous retrouvez avec un petit ensemble de mesures ciblées au lieu d’un score flou, et chacune est là parce qu’elle a attrapé un vrai problème.
Continuez après la mise en place des métriques. Lisez un nouveau lot de sorties toutes les semaines ou tous les quinze jours, surtout après des changements importants. De nouveaux modes de défaillance apparaissent à mesure que les produits évoluent, et les correcteurs automatiques ne voient que ce pour quoi ils ont été construits. Une équipe qui cesse de lire les sorties perd peu à peu le contact avec ce que fait réellement son système, alors même que ses tableaux de bord restent au vert. Réservez une heure, servez-vous un café et lisez cinquante sorties sans grille de notation. Notez ce que vous remarquez. C’est la chose la moins technique de ce livre, et peut-être la plus importante.
Fig. 8 · Lisez d’abord les sorties. Analyse d’erreurs : lire les sorties, noter les bizarreries, regrouper et compter, puis bâtir les métriques.
Chapitre 9 · Partie I
À qui appartient la qualité
Dans beaucoup d’équipes, l’évaluation vit dans un interstice gênant. Les chefs de produit supposent que les ingénieurs testent. Les ingénieurs supposent que le fournisseur du modèle a testé. Les experts métier sont consultés une fois, au début, puis laissés tranquilles. La suite d’évals, si elle existe, a été écrite par celui qui avait une semaine de libre, et sa définition du bon reflète les suppositions de cette personne sur les besoins des utilisateurs.
La qualité d’un produit d’IA n’est pas le travail d’une seule personne, mais elle a des composantes qui reviennent à des personnes précises. Quelqu’un doit décider de ce que « bon » signifie pour ce produit, ce qui est une décision produit. Quelqu’un doit savoir ce que « correct » signifie dans le domaine, qu’il s’agisse de droit fiscal, d’indications médicamenteuses ou de la politique de retour, ce qui relève du savoir d’un expert. Quelqu’un doit construire la machinerie qui lance les évals et rapporte les résultats, ce qui relève de l’ingénierie. Et quelqu’un doit remarquer ce que vivent réellement les utilisateurs, ce qui est souvent le rôle du support. Une éval est l’endroit où ces quatre points de vue sont censés se rencontrer.
Quand l’un d’eux manque, cela se voit en général dans l’éval elle-même. Sans le produit, l’éval mesure ce qui est facile plutôt que ce qui compte. Sans expertise métier, le correcteur accepte des réponses qui sonnent juste et ne le sont pas. Sans ingénierie, l’éval est un exercice manuel héroïque mené deux fois par an. Sans le support, le jeu de données est plein de questions hypothétiques bien rangées et vide des questions désordonnées que les clients envoient vraiment.
La solution n’est pas un comité. C’est un petit nombre de responsabilités explicites. Nommez une personne qui détient la définition de la réussite et valide toute modification. Faites écrire ou relire la grille par des experts métier, et faites-leur étiqueter un échantillon d’exemples, afin que le correcteur ait une référence fiable à laquelle se confronter. Laissez les ingénieurs posséder le banc d’essai, l’automatisation et le reporting. Faites remonter les tickets de support et les plaintes des utilisateurs dans le jeu de données, par routine.
Si tout le monde est responsable de la qualité, elle appartient à la dernière personne qui a touché au prompt.
Il y a aussi un piège de l’autre côté. N’externalisez pas la définition du bon auprès de ceux qui ont construit le système. Les bâtisseurs ont toutes les raisons de croire qu’il fonctionne, et ils savent formuler les entrées pour qu’il fonctionne. Une règle utile veut que la personne qui a modifié le système ne soit pas la seule à décider si la modification est une amélioration. Une deuxième paire d’yeux, ou un correcteur écrit avant le changement, garde tout le monde honnête sans laisser entendre que quiconque ne l’était pas.
Cette semaine, écrivez un court paragraphe qui répond à quatre questions pour votre produit : qui décide de ce que « bon » veut dire, qui sait ce que « correct » veut dire, qui lance les évals, et qui écoute les utilisateurs. Si l’une des réponses est personne ou tout le monde, vous avez trouvé votre premier bug organisationnel. Il coûte moins cher à corriger que la plupart des bugs techniques, et il a tendance à les provoquer.
Fig. 9 · À qui appartient la qualité. Produit, experts métier, ingénieurs et support possèdent chacun une part de ce que dit l’éval.
Chapitre 10 · Partie I
Une opinion, mise par écrit
Autant dire tout de suite ce que ce livre défendra longuement. Une éval n’est pas un instrument objectif qui révèle la vraie qualité d’un système. C’est une opinion mise par écrit sur ce que la qualité signifie pour un travail donné, rendue assez précise pour qu’une machine ou un inconnu puisse l’appliquer de manière cohérente. Cela ressemble à une rétrogradation. C’est en réalité tout l’intérêt.
Considérez ce qui entre dans n’importe quelle éval. Quelqu’un a choisi quelles entrées inclure et lesquelles écarter. Quelqu’un a décidé à quoi ressemble une bonne réponse, à quel point être strict sur le format, si la brièveté compte, si un refus poli est une réussite ou un échec. Quelqu’un a choisi le correcteur et rédigé ses consignes. Quelqu’un a décidé comment combiner les résultats en un chiffre. Chacun de ces choix est un jugement, et des personnes raisonnables différentes en feraient certains autrement.
Ce n’est pas un défaut à éliminer à force d’ingénierie. C’est ce qui rend une éval utile. Avant d’être écrite, l’idée qu’une équipe se fait de la qualité vit dans une douzaine de têtes, de manière incohérente, et ne se révèle qu’au fil de disputes sur des sorties particulières. Une fois écrite, elle peut être examinée, contestée et améliorée. Deux personnes en désaccord sur la qualité du système peuvent regarder la grille et découvrir qu’en réalité elles sont en désaccord sur la question de savoir si une réponse de deux paragraphes est trop longue. C’est une bien meilleure dispute à avoir.
Voir les évals comme des opinions vous protège aussi de la croyance la plus dangereuse du domaine, celle selon laquelle un score élevé signifie que le système est bon. Un score élevé signifie que le système satisfait l’opinion. Si l’opinion est superficielle, dépassée ou fausse, le score vous induira en erreur avec une grande précision. Le remède consiste à garder l’opinion visible et révisable : lisez la grille, lisez les échecs, demandez-vous si le correcteur serait d’accord avec votre meilleur expert métier, et mettez-le à jour quand ce n’est pas le cas.
Le chiffre n’est pas la vérité sur votre système. C’est la vérité sur votre système selon vous.
Ce cadrage a quelque chose de libérateur. Vous n’avez pas besoin d’une métrique parfaite avant de commencer, parce qu’une telle chose n’existe pas. Il vous faut une métrique honnête, bâtie sur ce que vous croyez actuellement du bon et du mauvais, et la discipline de la réviser à mesure que vous apprenez. Chaque chapitre qui suit vise à affûter cette opinion : de meilleures entrées, de meilleurs correcteurs, des statistiques plus rigoureuses, une attention plus fine à l’usage réel.
Alors, quand quelqu’un dans votre équipe demande si la nouvelle version est meilleure, essayez de répondre sous cette forme : meilleure selon notre éval actuelle, qui vérifie ceci et ne vérifie pas cela. C’est une phrase un peu plus longue que oui. C’est aussi la seule honnête, et elle appelle exactement la bonne question suivante : les choses que vous vérifiez sont-elles celles qui comptent ?
Fig. 10 · Une opinion, mise par écrit. Les jugements se combinent en une éval : une opinion écrite, notée et révisée.
Extrait gratuit · Partie I
Continuer la lecture
Vous avez lu les 10 premiers chapitres sur 100 de Les évals en bref. Le livre complet contient chaque chapitre et chaque planche, en PDF et EPUB, en anglais, français, polonais et espagnol.