Przewodnik praktyka · październik 2026

Ewaluacje
w pigułce

Jak zmierzyć, co naprawdę robi twoja AI
autor: Mat Siems
Część I

Dlaczego przeczucie zawodzi

Argumenty za spisaniem jakości.

Rozdział 1 · Część I

Demo zawsze działa

Każdy produkt AI zaczyna się od demo, które działa. Ktoś wpisuje pytanie w prototyp, odpowiedź wraca płynna i poprawna, a w sali robi się luźniej. Drugie pytanie, wybrane przez tę samą osobę, też trafia w punkt. Przy trzecim wszyscy rozmawiają już o dacie premiery. Nikt w tej sali nie kłamie. Po prostu pomylono występ z pomiarem.

Ta książka jest przewodnikiem po pomiarze. Ewaluacja, w branżowym żargonie „eval”, to powtarzalny sposób sprawdzenia, jak dobrze system AI wykonuje zadanie, do którego go zbudowano. Składa się z zestawu danych wejściowych, sposobu uruchomienia na nich twojego systemu i sposobu rozstrzygnięcia, czy każda odpowiedź była dobra. To wszystko. Reszta tej książki dotyczy tego, jak robić te trzy rzeczy na tyle starannie, żeby wynik cokolwiek znaczył.

Po co się trudzić, skoro demo działa? Bo demo wybierają ludzie, którzy chcą, żeby zadziałało. Wybierają pytanie, o którym wiedzą, że system sobie z nim poradzi, formułują je tak, jak oczekuje prompt, i kończą, póki są na prowadzeniu. Prawdziwi użytkownicy nie robią nic z tych rzeczy. Wklejają pół maila, pytają o dwie rzeczy naraz, przekręcają nazwę produktu i pojawiają się o trzeciej w nocy z problemem, którego nikt nie przewidział. Odległość między demo a takim użytkownikiem to miejsce, w którym naprawdę żyje twój produkt, a z perspektywy demo w ogóle go nie widać.

Jest też drugi powód. Systemy oparte na modelach językowych zmieniają się pod tobą. Poprawiasz prompt, żeby załatwić jedną skargę, i po cichu psujesz coś innego. Dostawca aktualizuje model. Kolega dokłada krok wyszukiwania. Bez ewaluacji każda zmiana to skok wiary, po którym następuje okres nerwowego nasłuchiwania, czy nie przyjdą skargi. Z ewaluacją każda zmiana to liczba, która drgnęła albo nie, oraz lista przykładów, które można przeczytać.

Demo mówi ci, że system potrafi odnieść sukces. Ewaluacja mówi, jak często mu się to udaje.

Nic z tego nie wymaga zespołu badawczego. Pierwsza użyteczna ewaluacja, jaką buduje większość zespołów, to arkusz z trzydziestoma wierszami i kolumną zatytułowaną czy było OK? Jest prymitywna i nieskończenie lepsza niż nic, bo zamienia przeczucie w coś, o co można się spierać, mając dowody. Kolejne rozdziały uczynią ją ostrzejszą, większą i zautomatyzowaną. Najpierw liczy się nawyk.

Oto więc zadanie na ten tydzień. Weź system, który budujesz, albo ten, który już wdrożyłeś, i zapisz dziesięć danych wejściowych, których nie wybrałeś po to, żeby mu schlebiać. Poproś kolegę o kilka; wyciągnij parę z prawdziwych logów, jeśli je masz. Uruchom je. Przeczytaj każdą odpowiedź. Oznacz każdą jako dobrą albo niedobrą i dopisz zdanie wyjaśnienia. W tę godzinę nauczysz się więcej niż przez miesiąc pokazów, a przy okazji zrobisz pierwszy krok od wiary, że twój produkt działa, do wiedzy, jak dobrze działa. Demo zawsze działa. Właśnie dlatego nie można mu ufać.

Demo kontra użytkownik Demo dobrane, by zadziałało Pytanie, które ogarnia Fraza pod prompt Wybrane przez twórcę Kończy na plusie Prawdziwi ludzie nikt ich nie wybierał Pół maila wklejone Dwa pytania naraz Literówka w nazwie Problem o 3 w nocy w tej luce naprawdę żyje twój produkt Dziesięć wejść nie przez ciebie wybranych Uruchom je czytaj każdą odp. Oceń każdą dobra czy nie + czemu Skuteczność jak często, nie czy Demo pokazuje, że może się udać. Ewaluacja pokazuje, jak często się udaje.
Ryc. 1 · Demo zawsze działa. Starannie dobrane demo kontra prawdziwe wejścia użytkowników i ewaluacja, która zamyka tę lukę.
Rozdział 2 · Część I

Przeczucie to próba pięciu

Kiedy ktoś mówi, że nowy prompt wydaje się lepszy, relacjonuje wyniki eksperymentu. Warto zapytać, jaki to był eksperyment. Zwykle pięć albo sześć danych wejściowych, wpisanych przez jedną osobę, przeczytanych raz i ocenionych na tle wspomnienia o tym, jak zachowywała się stara wersja. To nie jest nic. To też nie jest wiele, a takie podejście ma kilka właściwości, które warto zrozumieć, zanim postawisz na nie całe wydanie.

Pierwszy problem to wielkość. Pięć przykładów nie odróżni systemu, który ma rację dziewięć razy na dziesięć, od takiego, który ma rację siedem razy na dziesięć. Oba zwykle zaliczą cztery albo pięć z twoich pięciu. Różnica między tymi systemami jest dla użytkowników ogromna, a dla ciebie niewidoczna. Małe próby nie są bezużyteczne, ale wykrywają tylko duże efekty, a większość zmian, jakie wprowadzasz w działającym systemie, ma efekty małe.

Drugi problem to dobór. Dane wejściowe, które sprawdzasz, nie pochodzą z populacji zapytań, jakie wyślą twoi użytkownicy. Pochodzą z twojej głowy, a ta jest pełna przypadków, z myślą o których system projektowałeś. Testujesz szczęśliwą ścieżkę, bo wiesz, gdzie ona biegnie. Formułujesz rzeczy jasno, bo wiesz, czego system chce. Przypadki, które go psują, to zwykle te, o których nigdy nie pomyślałeś, czyli te, których nigdy nie sprawdzisz.

Trzeci problem to pamięć. Porównujesz nowe odpowiedzi ze wspomnieniem starych, a wspomnienie jest hojne dla tej wersji, którą akurat wolisz. Jeśli to ty napisałeś nowy prompt, dostrzeżesz jego zalety. Jeśli napisał go kolega, możesz dostrzec jego wady. Żaden z was nie jest nieuczciwy. Obaj jesteście ludźmi, a to jest właśnie przypadłość, którą ewaluacje mają korygować.

Przeczucie to pomiar, z którego wycięto wielkość próby, dobór i stronniczość.

Nic z tego nie znaczy, że masz przestać sprawdzać rzeczy ręcznie. Szturchanie systemu to sposób na stawianie hipotez, a niektóre błędy widać na pierwszy rzut oka. Reguła jest prostsza: przeczucie służy do decydowania, co przetestować, a nie co wdrożyć. Kiedy ręczny test sugeruje, że nowa wersja jest lepsza, następnym krokiem jest uruchomienie obu wersji na tym samym stałym zestawie danych i porządne porównanie ich.

Przydatny nawyk to zapisać przeczucie, zanim je sprawdzisz. Myślę, że nowy prompt lepiej radzi sobie z pytaniami o zwroty. Potem przeprowadź porównanie. Czasem będziesz mieć rację i zyskasz dowód, który pokażesz zespołowi. Często będziesz mieć rację częściowo: lepiej przy zwrotach, gorzej w czymś, na co nie patrzyłeś. Od czasu do czasu okaże się, że kompletnie się myliłeś. Wszystkie trzy wyniki są cenne, a tylko pomiar powie ci, który z nich dostałeś. Przeczucie to hipoteza. Potraktuj je z tą samą uprzejmością, jaką okazałbyś każdej innej hipotezie: z zainteresowaniem i testem.

Pięć prób nie odróżni 90% od 70% System A dobrze 9 na 10 5 / 5 System B dobrze 7 na 10 4 / 5 duża różnica dla ludzi, niewidoczna w pięciu próbach TRZY RZECZY, KTÓRE POMIJA PRZECZUCIE Skala małe efekty są ukryte Dobór wzięte z głowy Pamięć pamięć schlebia wyborowi CO ROBIĆ ZAMIAST Spisz przeczucie to hipoteza Uruchom obie wersje te same stałe wejścia Dowody dobrze, częściowo, źle Przeczucie mówi, co testować, a nie co wdrażać.
Ryc. 2 · Przeczucie to próba pięciu. Pięć prób nie odróżni systemu 90% od 70%, więc przeczucia stają się hipotezami.
Rozdział 3 · Część I

Losowość to nie wymówka

Zadaj modelowi językowemu to samo pytanie dwa razy, a możesz dostać dwie różne odpowiedzi. To zaskakuje ludzi przychodzących z klasycznego programowania, gdzie to samo wejście daje to samo wyjście, a test albo przechodzi, albo nie, i tak już zostaje na zawsze. Prowadzi to też do kuszącego wniosku: skoro odpowiedzi się różnią, może mierzenie nie ma sensu. Ten wniosek jest dokładnie odwrotny do prawdy.

Zmienność jest powodem, żeby mierzyć, a nie żeby się poddać. System, który czasem podaje dobrą odpowiedź, to system z pewnym odsetkiem sukcesów, a odsetki da się oszacować. Nie pytasz, czy moneta wypadnie orłem. Pytasz, jak często. Tak samo użytecznym pytaniem o odpowiedź modelu nie jest czy jest poprawna?, lecz jak często, w wielu uruchomieniach i dla wielu danych wejściowych, jest poprawna i jak bardzo jest źle, kiedy nie jest?

Niektóre zespoły próbują zamiast tego usunąć zmienność, ustawiając temperaturę próbkowania na zero i licząc na determinizm. To trochę pomaga i rozwiązuje mniej, niż by się wydawało. Wiele systemów serwujących modele nie jest w pełni deterministycznych nawet przy niskiej temperaturze, z powodu batchowania i arytmetyki zmiennoprzecinkowej. Co ważniejsze, twoi użytkownicy nie wysyłają dwa razy tego samego. Drobna zmiana sformułowania, dodatkowa spacja, inna kolejność faktów i odpowiedź i tak się zmienia. Zablokowanie temperatury kontroluje jedno źródło chybotania, zostawiając nietknięte to większe.

Praktyczna konsekwencja jest taka, że pojedyncze uruchomienie pojedynczego przykładu mówi bardzo niewiele. Jeśli przykład raz zawiedzie, może zawodzić za każdym razem albo raz na dwadzieścia. Obie rzeczy warto wiedzieć i obie wymagają innej reakcji. Ważne przypadki uruchamiaj kilka razy i zapisuj odsetek. W przypadku całego zestawu pogódź się z tym, że wyniki będą lekko się wahać między uruchomieniami, nawet gdy nic się nie zmieniło, i naucz się, ile ruchu jest normalne, zanim zaczniesz świętować albo panikować.

Jeśli system może mieć rację przez przypadek, może też się mylić przez przypadek. Licz jedno i drugie.

Zmienia to również sposób pisania testów. Klasyczne asercje sprawdzają, czy wynik równa się jakiejś dokładnej wartości. Dla odpowiedzi modelu to zwykle zbyt surowe, bo wiele różnych sformułowań jest równie poprawnych. Zamiast tego sprawdzasz właściwości: odpowiedź wspomina o terminie zwrotu, JSON się parsuje, ton jest uprzejmy, cytowany dokument naprawdę istnieje. Właściwość może być spełniona we wszystkich wariantach dobrej odpowiedzi i niespełniona we wszystkich wariantach złej, i dokładnie o to chodzi.

Spróbuj tego. Wybierz jedno wejście, z którym twój system sobie radzi, i uruchom je dziesięć razy. Przeczytaj wszystkie dziesięć odpowiedzi. Prawdopodobnie zobaczysz skupisko podobnych dobrych odpowiedzi i może jedną czy dwie dziwne. Ten rozrzut to osobowość twojego systemu na tym wejściu i to właśnie jej doświadczają twoi użytkownicy. Jedno uruchomienie pokazało ci odpowiedź. Dziesięć pokazało rozkład. Produkty żyją w rozkładach.

Jedno wejście, dziesięć prób, jeden wynik To samo wejście uruchom dziesięć razy dziesięć wyników 8 z 10 dobrych wynikiem jest odsetek Jeśli może mieć rację przez fart, może się też przez fart mylić. Licz jedno i drugie. Źródła chybotania Temperatura ustalenie trochę pomaga Stos serwujący batching, zmiennoprzec. Inne sformułowania większe źródło, nietknięte Sprawdzaj cechy, nie ciągi Podaje termin zwrotu JSON się parsuje Ton jest uprzejmy Cytowany dokument istnieje
Ryc. 3 · Losowość to nie wymówka. Jedno wejście uruchomione dziesięć razy daje odsetek, nie odpowiedź; testuj cechy, nie ciągi.
Rozdział 4 · Część I

Anatomia ewaluacji

Zdejmij dashboardy i żargon, a każda ewaluacja okaże się mieć te same cztery części. Są dane wejściowe. Jest system, który testujesz. Jest oceniacz, który patrzy na każdą odpowiedź i rozstrzyga, jak jest dobra. I jest wynik, który podsumowuje decyzje oceniacza. Jeśli potrafisz nazwać każdą z czterech części ewaluacji, którą prowadzisz, rozumiesz ją. Jeśli nie potrafisz, prawdopodobnie patrzysz na liczbę, nie wiedząc, co znaczy.

Dane wejściowe to pytania, zadania albo rozmowy, które podajesz systemowi. Każde z nich zwykle nazywa się przykładem lub przypadkiem, a ich zbiór to zbiór danych. Wejściu mogą towarzyszyć dodatkowe informacje potrzebne oceniaczowi: wzorcowa odpowiedź, lista faktów, które muszą się pojawić, dokument zawierający prawdę albo uwaga o tym, co sprawiłoby, że odpowiedź jest nie do przyjęcia. Jakość ewaluacji jest ograniczona jakością tych danych. Testuj tylko łatwe przypadki, a zmierzysz tylko to, jak system radzi sobie z łatwymi przypadkami.

System pod testem to wszystko, co stoi między wejściem a odpowiedzią. Czasem to pojedyncze wywołanie modelu z promptem. Częściej to cały potok: krok wyszukiwania, szablon promptu, model, trochę kodu parsującego i być może kilka wywołań narzędzi. Częsty błąd to testowanie uproszczonej wersji systemu, gołego wywołania modelu bez wyszukiwania i przetwarzania końcowego, a potem zdziwienie, że produkcja zachowuje się inaczej. Testuj to, co wdrażasz.

Oceniacz to część, którą ludzie lekceważą. Może to być linijka kodu sprawdzająca, czy odpowiedź pasuje do oczekiwanego ciągu znaków, funkcja parsująca i walidująca JSON, starannie spromptowany model w roli sędziego albo człowiek czytający każdą odpowiedź z rubryką w ręku. Każde z tych rozwiązań ma swoje koszty i martwe pola, a kolejne części tej książki omawiają je szczegółowo. Na razie zauważ, że oceniacz sam w sobie jest twierdzeniem o tym, co znaczy „dobrze”. Pobłażliwy oceniacz daje pochlebną ewaluację.

Wynik to coś, na co wszyscy patrzą i co samo w sobie zasługuje na najmniej zaufania. Odsetek zaliczeń na poziomie osiemdziesięciu procent coś ci mówi, ale nie mówi, które dwadzieścia procent zawiodło, dlaczego ani czy to ma znaczenie. Zawsze trzymaj wyniki dla poszczególnych przykładów obok podsumowania i dopilnuj, żeby łatwo było przeklikać się od jednego do drugiego.

Dane wejściowe decydują, co testujesz. Oceniacze decydują, co się liczy. Wyniki decydują tylko o tym, co zauważysz.

Kiedy dziedziczysz ewaluację albo budujesz pierwszą, zapisz jej cztery części prostymi zdaniami. Przepuszczamy 200 prawdziwych pytań do działu wsparcia przez pełny potok produkcyjny, modelowy sędzia sprawdza każdą odpowiedź pod kątem naszego dokumentu z zasadami, a my raportujemy odsetek uznanych za poprawne. To zdanie obnaży więcej słabości niż tydzień wpatrywania się w dashboard, bo każdy jego człon prowokuje właściwe pytanie uzupełniające: które pytania, który potok, który sędzia, poprawne według kogo.

Cztery części każdej ewaluacji Wejścia zbiór danych pytania, zadania odpowiedzi wzorcowe kluczowe fakty decyduje, co testujesz System to, co wdrażasz wyszukiwanie prompt + model parsing, narzędzia testuj to, co wdrażasz Oceniacz co się liczy dokładne dopas. test w kodzie sędzia lub człowiek decyduje, co się liczy Wynik podsumowanie % zaliczeń wiersze przykładów przeklikaj decyduje, co zauważysz 200 prawdziwych pytań -> cały potok -> sędzia vs zasady -> odsetek poprawnych Nazwij wszystkie cztery w jednym zdaniu, inaczej czytasz liczbę na ślepo.
Ryc. 4 · Anatomia ewaluacji. Każda ewaluacja ma cztery części: wejścia, testowany system, oceniacza i wynik.
Rozdział 5 · Część I

Benchmarki to cudza opinia

Publiczne benchmarki to ewaluacje, o których wszyscy słyszeli. Dostawca modelu ogłasza nowe wydanie, pojawia się tabela z wynikami testów z rozumowania, programowania, matematyki i wiedzy, a internet przez tydzień kłóci się o miejsca po przecinku. Naturalne jest przeczytać takie tabele i uznać, że wygrywa najwyższa liczba. Dla większości zespołów produktowych to jednak zły wniosek.

Benchmark to ewaluacja, którą ktoś inny zbudował do własnych celów. Jego dane wejściowe odzwierciedlają to, na czym zależało autorom, jego oceniacz odzwierciedla to, co dało się sprawdzić tanio i niezawodnie, a jego wynik odzwierciedla ich wyobrażenie o sukcesie. Dzięki temu benchmarki naprawdę przydają się do porównywania ogólnych możliwości modeli. Nie czyni ich to jednak miarą tego, jak model poradzi sobie w twojej aplikacji, odpowiadając na pytania twoich klientów, w twoim formacie, z twoimi dokumentami i twoim tonem głosu.

Są też cichsze problemy. Popularne benchmarki przeciekają do danych treningowych, więc wysoki wynik może częściowo odzwierciedlać pamięć, a nie umiejętności. Modele są dostrajane, celowo lub nie, pod zadania, na które patrzy cała branża. Wiele benchmarków się nasyca: najlepsze systemy tłoczą się pod sufitem, gdzie różnice stają się szumem. A warunki raportowania wyników, czyli prompty, liczba podejść, dozwolone narzędzia, często różnią się od tego, jak ty używałbyś modelu w praktyce.

Nic z tego nie sprawia, że publiczne wyniki są bezwartościowe. To rozsądny sposób na sporządzenie krótkiej listy. Jeśli potrzebujesz modelu, który pisze kod, mocny występ w ewaluacjach programistycznych to uczciwy powód, żeby go wypróbować. Jeśli jakiś model wszędzie zostaje daleko w tyle, prawdopodobnie możesz go pominąć. Ale na krótkiej liście publiczne benchmarki powinny się kończyć, a twoja własna ewaluacja powinna się zaczynać.

Ranking mówi ci, kto jest dobry w teście. Tylko twoja ewaluacja powie ci, kto jest dobry w twojej robocie.

Praktyczny ruch to traktować własny zbiór danych jako benchmark, który się liczy. Kiedy pojawia się nowy model, przepuść go przez swoją ewaluację, zanim wyrobisz sobie zdanie. Może się okazać, że model o skromnych publicznych wynikach świetnie wykonuje twoje konkretne zadanie, bo twoje zadanie nagradza rzeczy, które rankingi ignorują, takie jak trzymanie się ścisłego formatu wyjścia, zwięzłość czy uprzejma odmowa, gdy odpowiedzi nie ma w dokumentach. Może się też okazać na odwrót: słynny model, genialny w ogólności, okaże się niezgrabny w twoim konkretnym zadaniu.

Kiedy już to zaakceptujesz, poczujesz ulgę. Nie musisz śledzić każdej zapowiedzi ani wyrabiać sobie poglądów na sporne tabele. Potrzebujesz zbioru danych, który odzwierciedla twoich użytkowników, i oceniacza, który odzwierciedla twoje standardy, a wtedy każdy nowy model jest po prostu kandydatem do przepuszczenia przez test. Benchmarki to cudze opinie o jakości, starannie spisane. Szanuj je, czytaj je, a potem idź i spisz własną.

Dobry w teście czy w twojej pracy Co nagradzają benchmarki Czego wymaga twoja praca zadania ich autorów tanie w sprawdz. zapamiętane odpowiedzi nasycony sufit ich ustawienia promptu twoje dokumenty twój format wyjścia zwięzłość taktowne odmowy twój ton głosu Sygnał ogólna umiejętność Ranking Krótka lista Twoja ewaluacja Wybierz model Publiczne wyniki tworzą krótką listę. Decyzję podejmuje twój zbiór danych.
Ryc. 5 · Benchmarki to cudza opinia. Benchmarki i twoja praca pokrywają się tylko częściowo; ranking służy do krótkiej listy, potem testuj.
Rozdział 6 · Część I

Testujesz system

Kiedy w produkcie AI coś idzie nie tak, ludzie zwykle obwiniają model. Czasem mają rację. Często jednak model dostał niewłaściwe dokumenty, prompt ze sprzecznym poleceniem, uciętą historię rozmowy albo narzędzie, które zwróciło błąd, a nikt mu nie powiedział, co wtedy robić. Model zrobił wtedy coś rozsądnego z nierozsądnym materiałem, a użytkownik zobaczył złą odpowiedź. Z zewnątrz wszystkie awarie wyglądają jak awarie modelu. Od środka większość z nich to awarie systemu.

Ma to znaczenie dla ewaluacji, bo to, co mierzysz, decyduje o tym, co możesz naprawić. Jeśli twoja ewaluacja wywołuje model bezpośrednio, z czystym promptem i ręcznie wybranym kontekstem, mierzy model w laboratorium. Twoi użytkownicy spotykają go w naturze, otoczonego wszystkimi innymi komponentami, które zbudowałeś. Świetny wynik laboratoryjny w parze ze słabym doświadczeniem na produkcji to jeden z najczęstszych i najbardziej mylących rezultatów w tej dziedzinie.

Domyślnie więc należy oceniać system od początku do końca, dokładnie tak, jak działa na produkcji: ten sam indeks wyszukiwania, te same szablony promptów, to samo przetwarzanie wstępne i końcowe, te same definicje narzędzi. Tam, gdzie to trudne, bo narzędzie ma skutki uboczne albo indeks jest zbyt duży, by zrobić mu migawkę, zbuduj możliwie najwierniejszą kopię i zapisz, czym się różni. Nieznane różnice między środowiskiem ewaluacyjnym a produkcją to niezawodne źródło przykrych niespodzianek.

Wyniki dla całego systemu są konieczne, ale niewystarczające. Kiedy ogólna liczba spada, musisz wiedzieć, który komponent za to odpowiada, a pojedynczy wynik tego nie powie. Dlatego dojrzałe zespoły oceniają także części: wyszukiwanie samo w sobie, krok generowania przy idealnym kontekście, logikę wywoływania narzędzi w znanej sytuacji. Jedna z dalszych części tej książki szczegółowo omawia ewaluację komponentów dla wyszukiwania i agentów. Zasada jest po prostu taka, że chcesz mieć zarówno widok z lotu ptaka, jak i możliwość przybliżenia.

Użytkownik nie doświadcza twojego modelu. Doświadcza wszystkiego, czym go owinąłeś.

Dla każdej znalezionej awarii istnieje przydatny test diagnostyczny. Zapytaj, czy kompetentny ekspert, dostawszy dokładnie te same dane, które otrzymał model, byłby w stanie udzielić dobrej odpowiedzi. Jeśli nie, bo brakowało właściwego dokumentu albo polecenia były niejednoznaczne, wina leży wyżej w potoku i wymiana modelu nic nie da. Jeśli człowiek poradziłby sobie bez trudu, model naprawdę zawiódł i masz przed sobą inny zestaw opcji.

Wypróbuj to na swoich następnych pięciu awariach. Spójrz na faktyczny prompt, który został wysłany, z całym złożonym kontekstem, a nie na szablon. Wiele zespołów nigdy nie widziało w pełni złożonego promptu z produkcji, a pierwszy seans bywa pouczający. Znajdziesz zdublowane polecenia, brakujące dane i od czasu do czasu zabłąkany placeholder, którego nikt nie wypełnił. Model robił, co mógł. To system potrzebował ewaluacji.

Użytkownik widzi system, nie model Co przeżywa użytkownik Aplikacja przed- i postprocessing Prompt i kontekst szablony, historia, reguły Wyszukiwanie i narzędzia indeks, dokumenty, błędy narzędzi Model często winiony, często niewinny Całościowo jak na prod. Ewal. komponentu samo wyszukiwanie Ewal. komponentu idealny kontekst Czy ekspert dałby radę? przy dokładnie tych samych wejściach nie tak Napraw wyżej, nie model Model nie dał rady
Ryc. 6 · Testujesz system. Użytkownicy stykają się z całym stosem, więc ewaluuj całościowo i przybliżaj komponenty.
Rozdział 7 · Część I

Ewaluacja na dziś po południu

Istnieje wersja ewaluacji, która wymaga infrastruktury, budżetów, zespołów anotatorów i platformy z abonamentem. Istnieje też inna wersja, która wymaga arkusza kalkulacyjnego i jednego popołudnia. Zacznij od drugiej. Większość wartości pierwszej bierze się z nawyków, które można zbudować tylko, robiąc drugą.

Otwórz arkusz. W pierwszej kolumnie wpisz dwadzieścia danych wejściowych. Niech będą prawdziwe, jeśli to możliwe: pytania ze zgłoszeń do wsparcia, prośby od użytkowników wersji beta, zadania z twojego własnego backlogu. Tam, gdzie prawdziwych brakuje, napisz je sam, ale tak, jak napisałby je zabiegany i lekko zdezorientowany użytkownik, a nie osoba, która zbudowała system. Dodaj kilka, które powinny być łatwe, kilka naprawdę trudnych i dwa albo trzy, na które system powinien odmówić albo zaprotestować.

W drugiej kolumnie przepuść każde wejście przez swój system i wklej odpowiedź. W trzeciej wpisz zaliczone albo niezaliczone. W czwartej napisz jedno zdanie wyjaśniające werdykt, zwłaszcza przy porażkach. To zdanie jest najcenniejszą rzeczą w arkuszu, bo zmusza cię do powiedzenia, czego właściwie chciałeś. Niezaliczone: podał właściwą zasadę, ale dla złego kraju. Niezaliczone: poprawnie, ale cztery akapity tam, gdzie wystarczyłby jeden. Zaliczone, ledwo: dobra odpowiedź, dziwny ton.

Teraz policz. Twój odsetek zaliczeń na dwudziestu przykładach to przybliżona liczba z szerokim marginesem niepewności i to jest w porządku. Bardziej przydatna jest kolumna z uzasadnieniami. Przeczytaj ją od góry do dołu, a zobaczysz wzorce: ten sam rodzaj błędu pojawiający się trzy albo cztery razy, kategorię danych wejściowych, z którą nikt nigdy nie powiedział systemowi, jak sobie radzić, polecenie, które ignoruje. Te wzorce to twoja mapa drogowa.

Pierwsza ewaluacja to nie pomiar. To lista rzeczy, których zapomniałeś chcieć.

Zachowaj arkusz. Następnym razem, gdy zmienisz prompt, przepuść te same dwadzieścia wejść jeszcze raz i wypełnij nowy zestaw kolumn obok starych. Masz teraz test regresji, choć skromnego rodzaju. Kiedy nowa wersja naprawi problem z krajem, ale zacznie doklejać zastrzeżenia do wszystkiego, zobaczysz to, bo te same dane wejściowe czekają tam na porównanie.

Nie ma wstydu w tym, żeby przez jakiś czas zostać na tej skali. Dwadzieścia dobrze dobranych przykładów, przeczytanych uważnie przez kogoś, kto zna dziedzinę, wyłapie więcej prawdziwych problemów niż dwa tysiące przykładów ocenionych przez oceniacza, którego nikt nie sprawdził. Wyrośniesz z arkusza, gdy czytanie stanie się wąskim gardłem, gdy trzeba będzie uruchamiać go przy każdej zmianie albo gdy zespół będzie potrzebował wspólnej liczby. Wtedy dalsze rozdziały o oceniaczach, zbiorach danych i automatyzacji nabiorą sensu, jakiego nie miałyby pierwszego dnia, bo poczujesz na własnej skórze konkretny ból, który leczą. Zbuduj arkusz dziś po południu. Infrastruktura może poczekać. Zrozumienie nie może.

Ewaluacja na dziś po południu # Wejście Wyjście Werdykt Czemu 1 Zwrot za zamówienie z UE? Zasady z UK Źle zasady złego kraju 2 Zmień mój plan Cztery akapity Źle wystarczyłby jeden 3 anuluj + zwrot pls Dobrze, sztywno OK dobra odpowiedź, dziwny ton 4 Przelej mi kasę Uprzejma odmowa OK odmowa, jak należy … dwadzieścia wierszy: łatwe, trudne i kilka do odmowy Policz zaliczenia zgrubnie, duży błąd Czytaj kolumnę „czemu” wzorce to plan prac Powtarzaj po zmianie skromny test regresji Pierwsza ewaluacja to lista tego, czego zapomniałeś chcieć.
Ryc. 7 · Ewaluacja na dziś po południu. Arkusz z dwudziestoma wierszami: wejście, wyjście, werdykt i jednozdaniowe uzasadnienie.
Rozdział 8 · Część I

Najpierw przeczytaj odpowiedzi

Najczęstszy błąd w ewaluacji to wybieranie metryki przed spojrzeniem na dane. Zespół postanawia, że zależy mu na pomocności, buduje oceniacza, który ocenia pomocność, uruchamia go na tysiącu przykładów i dostaje liczbę. Nikt nie przeczytał odpowiedzi. Nikt nie wie, czy porażki w ogóle dotyczą pomocności, czy może czegoś, czego zespołowi nie przyszło do głowy mierzyć, na przykład tego, że system pewnym siebie tonem wymyśla numery zamówień.

Lekarstwo jest mało efektowne i niezawodne. Zanim zaprojektujesz jakąkolwiek metrykę, czytaj odpowiedzi. Przeczytaj ich dużo, co najmniej pięćdziesiąt, a najlepiej sto, wygenerowanych dla realistycznych danych wejściowych. Przy każdej zapisz krótką notatkę swobodnym tekstem o wszystkim, co wydaje się złe albo dziwne. Nie używaj jeszcze kategorii. Po prostu opisz, co widzisz, własnymi słowami: zignorował drugie pytanie, zmyślił numer telefonu, dobra odpowiedź pogrzebana pod zastrzeżeniami, odpowiedział w złym języku.

Kiedy masz notatki, pogrupuj je. Podobne zarzuty naturalnie się skupiają i po jakimś czasie masz garść kategorii błędów, które wzięły się z twojego faktycznego systemu, a nie z podręcznika. Policz, ile odpowiedzi trafia do każdej z nich. To proste zestawienie, nazywane czasem analizą błędów, mówi ci, gdzie koncentrują się problemy, a to jest dokładnie miejsce, w które powinieneś włożyć wysiłek.

Wynik często zaskakuje. Zespoły spodziewają się, że ich głównym problemem jest trafność, a odkrywają, że formatowanie. Martwią się o ton, a znajdują system, który zawodzi głównie przy pytaniach o jedną linię produktów, której dokumentacja jest nieaktualna. Planują wymyślny detektor halucynacji, a okazuje się, że większość halucynacji bierze się z jednego polecenia w prompcie, które każe modelowi zawsze podawać numer referencyjny.

Metryki to odpowiedzi. Analiza błędów mówi ci, jakie zadać pytania.

Kiedy znasz już swoje tryby awarii, metryki niemal projektują się same. Każda istotna kategoria staje się czymś do zmierzenia, z oceniaczem dobranym do niej. Wymyślone numery referencyjne można sprawdzić kodem w twojej bazie danych. Odpowiedzi w złym języku da się tanio wykryć. Chowanie odpowiedzi pod zastrzeżeniami może wymagać sędziego z jasną rubryką. Kończysz z niewielkim zestawem celowanych pomiarów zamiast jednego mglistego wyniku, a każdy z nich jest tam dlatego, że wyłapał prawdziwy problem.

Rób to dalej, kiedy metryki już istnieją. Czytaj świeżą porcję odpowiedzi co tydzień albo dwa, zwłaszcza po istotnych zmianach. W miarę rozwoju produktu pojawiają się nowe tryby awarii, a zautomatyzowane oceniacze widzą tylko to, do czego je zbudowano. Zespół, który przestaje czytać odpowiedzi, stopniowo traci kontakt z tym, co naprawdę robi jego system, nawet jeśli dashboardy wciąż świecą na zielono. Zarezerwuj godzinę, nalej sobie kawy i przeczytaj pięćdziesiąt odpowiedzi bez arkusza ocen. Zapisz, co zauważysz. To najmniej techniczna rzecz w tej książce i być może najważniejsza.

Czytaj wyniki przed wyborem metryki Czytaj 100 realistyczne wejścia Wolne notatki jeszcze bez kategorii Grupuj, licz analiza błędów Metryki jedna na klaster KLASTER BŁĘDÓW JAK CZĘSTO POTRZEBNY OCENIACZ Zły format Test parsera Zmyślone numery Kod kontra baza Pod stertą zastrzeżeń Sędzia z rubryką Zły język Tani detektor Metryki to odpowiedzi. Analiza błędów mówi, jakie pytania zadać. rób dalej: 50 świeżych wyników co tydzień lub dwa, bez arkusza ocen
Ryc. 8 · Najpierw przeczytaj odpowiedzi. Analiza błędów: czytaj wyniki, notuj dziwactwa, grupuj i licz, potem buduj metryki.
Rozdział 9 · Część I

Kto odpowiada za jakość

W wielu zespołach ewaluacja mieszka w niezręcznej szczelinie. Product managerowie zakładają, że testują ją inżynierowie. Inżynierowie zakładają, że przetestował ją dostawca modelu. Ekspertów dziedzinowych pyta się raz, na początku, a potem zostawia w spokoju. Zestaw ewaluacji, jeśli w ogóle istnieje, napisał ten, kto akurat miał wolny tydzień, a jego definicja dobrego wyniku odzwierciedla domysły tej osoby co do potrzeb użytkowników.

Jakość w produkcie AI nie jest zadaniem jednej osoby, ale ma części, które należą do konkretnych ludzi. Ktoś musi zdecydować, co „dobrze” znaczy dla tego produktu, a to decyzja produktowa. Ktoś musi wiedzieć, co znaczy „poprawnie” w danej dziedzinie, czy chodzi o prawo podatkowe, informacje o lekach, czy zasady zwrotów, a to wiedza eksperta. Ktoś musi zbudować maszynerię, która uruchamia ewaluacje i raportuje wyniki, a to inżynieria. I ktoś musi zauważać, czego naprawdę doświadczają prawdziwi użytkownicy, a to często dział wsparcia. Ewaluacja to miejsce, w którym te cztery perspektywy powinny się spotkać.

Kiedy brakuje jednej z nich, zwykle widać to po samej ewaluacji. Bez produktu ewaluacja mierzy to, co łatwe, a nie to, co ważne. Bez wiedzy dziedzinowej oceniacz akceptuje odpowiedzi, które brzmią dobrze, a dobre nie są. Bez inżynierii ewaluacja to heroiczne ręczne ćwiczenie odprawiane dwa razy do roku. Bez wsparcia zbiór danych jest pełen schludnych hipotetycznych pytań i pusty, jeśli chodzi o te chaotyczne, które klienci naprawdę wysyłają.

Rozwiązaniem nie jest komisja. Jest nim niewielka liczba jasno przypisanych obowiązków. Wskaż jedną osobę, do której należy definicja sukcesu i która zatwierdza jej zmiany. Niech eksperci dziedzinowi piszą lub recenzują rubrykę i oznaczają próbkę przykładów, żeby oceniacz miał się z czym porównać. Niech inżynierowie odpowiadają za środowisko, automatyzację i raportowanie. Kieruj zgłoszenia do wsparcia i skargi użytkowników do zbioru danych w ramach rutyny.

Jeśli za jakość odpowiadają wszyscy, odpowiada za nią ten, kto ostatni dotknął promptu.

Po drugiej stronie też czai się pułapka. Nie oddawaj definicji „dobrze” ludziom, którzy zbudowali system. Twórcy mają wszelkie powody, by wierzyć, że działa, i wiedzą, jak formułować dane wejściowe, żeby działał. Przydatna reguła mówi, że osoba, która zmieniła system, nie powinna być jedyną, która decyduje, czy zmiana była poprawą. Druga para oczu albo oceniacz napisany przed zmianą utrzymuje wszystkich w uczciwości, nie sugerując, że ktokolwiek był nieuczciwy.

W tym tygodniu napisz krótki akapit, który odpowiada na cztery pytania dotyczące twojego produktu: kto decyduje, co znaczy „dobrze”, kto wie, co znaczy „poprawnie”, kto prowadzi ewaluacje i kto słucha użytkowników. Jeśli którakolwiek odpowiedź brzmi nikt albo wszyscy, znalazłeś swój pierwszy błąd organizacyjny. Jest tańszy w naprawie niż większość technicznych i zwykle to on je powoduje.

Kto odpowiada za jakość Ewaluacja tu się spotykają Produkt ustala, co znaczy dobrze bez: mierzy łatwe Eksperci wiedzą, co poprawne bez: przechodzą pozory Inżynierowie środowisko i raporty bez: dwa razy w roku Wsparcie słyszy ludzi bez: schludne fałszywki Jeśli jakość należy do wszystkich, należy do ostatniej osoby, która ruszała prompt. zasada: kto zmienił, nie jest jedynym, kto ocenia
Ryc. 9 · Kto odpowiada za jakość. Produkt, eksperci dziedzinowi, inżynierowie i wsparcie odpowiadają za część tego, co mówi ewaluacja.
Rozdział 10 · Część I

Opinia spisana na papierze

Warto już na początku powiedzieć, czego ta książka będzie obszernie bronić. Ewaluacja nie jest obiektywnym instrumentem, który ujawnia prawdziwą jakość systemu. Jest spisaną opinią o tym, co jakość znaczy w konkretnym zadaniu, sformułowaną na tyle precyzyjnie, by maszyna albo obca osoba mogły ją konsekwentnie stosować. Brzmi to jak degradacja. W rzeczywistości o to właśnie chodzi.

Zastanów się, co wchodzi w skład każdej ewaluacji. Ktoś wybrał, które dane wejściowe uwzględnić, a które pominąć. Ktoś zdecydował, jak wygląda dobra odpowiedź, jak surowo traktować format, czy zwięzłość się liczy, czy uprzejma odmowa to zaliczenie, czy porażka. Ktoś wybrał oceniacza i napisał mu instrukcje. Ktoś zdecydował, jak połączyć wyniki w jedną liczbę. Każdy z tych wyborów to osąd, a różni rozsądni ludzie niektóre z nich podjęliby inaczej.

To nie jest wada, którą trzeba wyeliminować inżynierią. To właśnie czyni ewaluację użyteczną. Zanim zostanie spisane, wyobrażenie zespołu o jakości mieszka w kilkunastu głowach, niespójnie, ujawniając się tylko w kłótniach o konkretne odpowiedzi. Kiedy zostaje spisane, można je zbadać, zakwestionować i ulepszyć. Dwie osoby, które nie zgadzają się co do tego, czy system jest dobry, mogą zajrzeć do rubryki i odkryć, że tak naprawdę nie zgadzają się co do tego, czy odpowiedź na dwa akapity jest za długa. To znacznie lepszy spór.

Traktowanie ewaluacji jako opinii chroni cię też przed najgroźniejszym przekonaniem w tej dziedzinie: że wysoki wynik oznacza dobry system. Wysoki wynik oznacza, że system spełnia opinię. Jeśli opinia jest płytka, przestarzała albo błędna, wynik wprowadzi cię w błąd z wielką precyzją. Lekarstwem jest utrzymywanie opinii na widoku i otwartej na zmiany: czytaj rubrykę, czytaj porażki, pytaj, czy oceniacz zgodziłby się z twoim najlepszym ekspertem dziedzinowym, i aktualizuj go, gdy by się nie zgodził.

Liczba nie jest prawdą o twoim systemie. Jest prawdą o twoim systemie według ciebie.

Takie ujęcie daje wolność. Nie potrzebujesz idealnej metryki, żeby zacząć, bo coś takiego nie istnieje. Potrzebujesz uczciwej, zbudowanej z tego, co obecnie uważasz za dobre i złe, oraz dyscypliny, by ją poprawiać, w miarę jak się uczysz. Każdy kolejny rozdział dotyczy wyostrzania tej opinii: lepszych danych wejściowych, lepszych oceniaczy, staranniejszej statystyki, baczniejszej uwagi na rzeczywiste użycie.

Kiedy więc ktoś w zespole zapyta, czy nowa wersja jest lepsza, spróbuj odpowiedzieć w tej formie: lepsza według naszej obecnej ewaluacji, która sprawdza to i to, a tamtego nie sprawdza. To nieco dłuższe zdanie niż tak. Jest też jedynym uczciwym i prowokuje dokładnie właściwe następne pytanie: czy rzeczy, które sprawdzacie, to te, które mają znaczenie.

Ewaluacja to opinia spisana na papierze Które wejścia co w zakresie, co nie Jak wygląda dobrze długość, ton, odmowy Który oceniacz i jego instrukcje Jak połączyć w jedną liczbę Ewaluacja spisana opinia Wynik zgodny z opinią Czytaj porażki, pytaj eksperta czy zgodzi się z oceniaczem? popraw Niespisana w tuzinie głów, spór o każdy wynik Spisana badana, sporna, ulepszana „Lepiej, według naszej obecnej ewaluacji, która sprawdza te rzeczy.”
Ryc. 10 · Opinia spisana na papierze. Decyzje oparte na osądzie składają się na ewaluację: opinię spisaną, ocenianą i poprawianą.
Darmowy fragment · Część I

Czytaj dalej

Przeczytałeś pierwsze 10 z 100 rozdziałów książki Ewaluacje w pigułce. Pełne wydanie zawiera wszystkie rozdziały i plansze, w PDF i EPUB, po angielsku, francusku, polsku i hiszpańsku.

Pełna książka wkrótce w sklepie.

Masz już książkę? Czytaj pełne wydanie online

Ewaluacje w pigułce · Wydanie pierwsze, październik 2026
100 rozdziałów · 10 części · sto diagramów
autor: Mat Siems · MS Books, No. 12 · 2026