Przewodnik praktyka · październik 2026

Agenci na produkcji

Jak wdrażać agentów AI, którzy przetrwają poniedziałkowy poranek
autor: Mat Siems
Część I

Parter

Czym jest agent: model, trochę narzędzi i pętla.

Rozdział 1 · Część I

Demo kłamie

Każdy projekt agentowy zaczyna się od demo, a każde demo to małe, życzliwe kłamstwo. Ktoś wpisuje starannie dobrane polecenie na laptopie z przodu sali, agent szuka, rozumuje, wywołuje trzy narzędzia i wypluwa coś, na widok czego szefowa operacji prostuje się na krześle. Oklaski. Pojawia się pozycja w budżecie. A potem ktoś zadaje rozsądne pytanie: czy możemy to mieć na produkcji w przyszłym kwartale? Ta książka jest dla osoby, która musi na nie odpowiedzieć uczciwie.

Demo nie jest nieuczciwe dlatego, że ktoś oszukiwał. Jest nieuczciwe przez to, co pomija. Uruchomiono je raz, na danych wejściowych, które autor przećwiczył kilkanaście razy. Dane były czyste, API działały, polecenie było jednoznaczne, a widz chciał, żeby się udało. Nikt nie kazał mu obsłużyć klienta piszącego w trzech językach naraz, bazy danych, która o dziewiątej rano zalicza timeout, narzędzia zwracającego stronę błędu w HTML zamiast JSON-a ani prośby technicznie dozwolonej, a ewidentnie nierozsądnej. Nikt nie puścił go dziesięć tysięcy razy i nie policzył wyników.

Produkcja zadaje dokładnie te pytania i zadaje je w poniedziałek rano, gdy kolejka jest pełna, a twórca całego ustrojstwa siedzi w pociągu. Przepaść między demo a produkcją nie jest przepaścią w inteligencji modelu. Model z demo to ten sam model, który wdrożysz. Przepaść to wszystko wokół niego: jak agent dostaje narzędzia, co widzi, co pamięta, co się dzieje, gdy krok się wyłoży, kto może go zatrzymać, ile wolno mu wydać, jak się dowiesz, co zrobił, i skąd będziesz wiedzieć, czy tegotygodniowa wersja jest lepsza od zeszłotygodniowej.

Demo dowodzi, że coś może się wydarzyć. Produkcja musi wiedzieć, jak często.

To przejście od może do jak często jest całą dyscypliną. Agent, któremu udaje się cztery razy na pięć, to cud na scenie i obciążenie w dziale likwidacji szkód. W tym piątym przypadku mieszkają twoi klienci, a obok nich audytorzy i, prędzej czy później, prawnicy. Twoje zadanie to ustalić, jak wygląda ten piąty przypadek, sprawić, żeby zdarzał się rzadziej, żeby kosztował mniej, kiedy już się zdarzy, i żeby ktoś go zauważył.

Oto coś na ten tydzień. Weź prototyp agenta, którym twoja organizacja ekscytuje się najbardziej, i zapisz prostymi zdaniami dziesięć danych wejściowych, które najpewniej go skompromitują. Żadnego wyrafinowanego ataku, zwykły bałagan: mgliste polecenie, gigantyczny załącznik, brakujące pole, wściekły klient, sprawa wymagająca człowieka. Uruchom każde z nich. Z tej godziny dowiesz się więcej niż z pierwotnego demo, a przy okazji, zupełnie niechcący, powstanie pierwszy szkic zbioru ewaluacyjnego. Demo było zwiastunem. Produkcja to film, a nikt nie wychodzi z kina wcześniej tylko dlatego, że zwiastun był dobry.

Czego demo nie pokazuje ASPEKT Demo Produkcja Przebiegi Raz na przećwiczonym wejściu 10 000 razy i ktoś to liczy Wejścia Czyste i jasne wybrane przez autora Zwykły bałagan mgliste, ogromne, braki, złość Systemy Wszystko działa czyste dane, API sprawne Pon. 9:00 timeouty, HTML zamiast JSON Pytanie Czy to możliwe? zwiastun Jak często? film Cztery na pięć to cud na scenie i obciążenie w reklamacjach. Dziesięć trudnych wejść Uruchom każde Pierwszy zestaw ewaluacji
Ryc. 1 · Demo kłamie. Co ukrywa demo i jak dziesięć trudnych wejść staje się pierwszym zestawem ewaluacji.
Rozdział 2 · Część I

Model, narzędzia, pętla

Definicje w tej dziedzinie są śliskie, a śliskie definicje rodzą śliskie systemy, więc ustalmy jedną od razu. Agent to model, zestaw narzędzi i pętla. Model odczytuje sytuację i decyduje, co zrobić dalej. Narzędzia pozwalają mu robić coś więcej niż produkować tekst: szukać, czytać rekord, uruchamiać kod, wysyłać wiadomość. Pętla podaje modelowi wynik każdej akcji i pyta ponownie, aż model uzna, że skończył, albo coś z zewnątrz powie „stop”.

To wszystko. Warto mówić o tym wprost, bo materiały dostawców i prelekcje konferencyjne zaoferują ci agentów z osobowością, agentów z celami, agentów z karierą. Zdejmij przymiotniki, a znajdziesz te same trzy części. Jeśli system ma model, ale nie ma narzędzi, to chatbot. Jeśli ma narzędzia, ale ścieżka jest zaszyta w kodzie, to workflow, który akurat wywołuje model. Jeśli to model wybiera, które narzędzie wywołać następne, na podstawie tego, co zwróciło poprzednie, masz agenta, a wraz z nim szczególną odpowiedzialność, jaka wiąże się z pozwoleniem oprogramowaniu na wybór własnego następnego kroku.

Każda z części psuje się inaczej i to jest praktyczny powód, by trzymać je w głowie osobno. Model zawodzi przez nieporozumienie: wybiera złe narzędzie, wymyśla parametr albo za wcześnie ogłasza zwycięstwo. Narzędzia zawodzą jak każde oprogramowanie: timeouty, uprawnienia, zniekształcone dane, skutki uboczne, których nie da się cofnąć. Pętla zawodzi, bo nigdy się nie kończy, kończy się w złym momencie albo powtarza ten sam krok czterdzieści razy, podczas gdy licznik bije. Gdy coś pójdzie nie tak na produkcji, twoje pierwsze pytanie diagnostyczne brzmi: która z trzech? Większość zespołów odruchowo obwinia model. Zwykle winne były narzędzia albo pętla.

Model jest częścią, którą wynajmujesz. Narzędzia i pętla są częściami, które posiadasz.

To zdanie dźwiga sporo ciężaru w kolejnych rozdziałach. Możesz wybrać lepszy model i czasem powinieneś. Ale nie uczynisz modelu dostawcy bardziej niezawodnym samym chceniem. Możesz za to zaprojektować narzędzia trudne do niewłaściwego użycia, napisać pętlę, która zna swoje granice, i zbudować rusztowanie, które złapie model, gdy się potknie. To problemy inżynierskie z inżynierskimi odpowiedziami i to tam twój wysiłek procentuje.

Pożyteczne ćwiczenie: narysuj dowolnego agenta, nad którym pracujesz, jako trzy pudełka. Pod pudełkiem modelu zapisz, o czym ma decydować. Pod pudełkiem narzędzi wypisz każdą akcję, jaką może wykonać, i zaznacz te, które coś zmieniają w świecie. Pod pudełkiem pętli zapisz warunki, które kończą przebieg. Jeśli któreś pudełko trudno wypełnić, właśnie tam cicho czeka następny incydent. Proste definicje nie świadczą o prostym temacie. To dzięki nim trudny temat nie staje się mętny.

Trzy części, trzy sposoby awarii Model wybiera kolejny krok AWARIE Złe narzędzie Zmyślony parametr Za wczesny sukces Narzędzia działają w świecie AWARIE Timeouty Wadliwe dane Skutki uboczne Pętla zwraca wyniki AWARIE Bez końca Za wczesny koniec Ten sam krok 40 razy wynik wraca, model pyta znów Część, którą wynajmujesz Części, które masz Chatbot model, bez narzędzi Workflow ścieżka w kodzie Agent model wybiera narzędzie Większość incydentów to narzędzia lub pętla, nie model.
Ryc. 2 · Model, narzędzia, pętla. Model, narzędzia i pętla psują się każde po swojemu; jedno wynajmujesz, dwa posiadasz.
Rozdział 3 · Część I

Pętla ma ciało

Warto spowolnić agenta do jednej tury i przyjrzeć się jej z bliska, tak jak mechanik obserwuje jeden obrót silnika. Większość ludzi wyobraża sobie model jako silnik. W praktyce model to jeden cylinder. Resztę silnika stanowi program, który piszesz sam, zwykle nazywany uprzężą (ang. harness), i to on wykonuje znacznie więcej pracy, niż sugerują diagramy.

Tura zaczyna się od tego, że uprząż składa żądanie. Zbiera prompt systemowy, dotychczasową rozmowę, definicje dostępnych narzędzi i wszelki pobrany kontekst, po czym wysyła całość do modelu. Model odpowiada albo tekstem, albo prośbą o wywołanie narzędzia, wyrażoną jako nazwa i zestaw argumentów. Model nie wywołuje narzędzia. Nie potrafi. Nie ma rąk. Uprząż czyta prośbę, sprawdza ją, decyduje, czy jest dozwolona, wykonuje właściwą funkcję, przechwytuje wynik i dopisuje go do rozmowy. Potem odsyła całość modelowi i zaczyna się następna tura.

Zobacz, ile decyzji należy w tym opisie do uprzęży. Czy wywołanie narzędzia jest poprawne. Czy ten agent ma prawo je wykonać. Czy najpierw potrzebna jest zgoda człowieka. Jak długo czekać. Co zrobić, jeśli się nie powiedzie. Ile z gigantycznego wyniku oddać modelowi. Czy przebieg przekroczył budżet. Czy ogłoszona przez model odpowiedź końcowa spełnia definicję ukończenia. Każda z tych rzeczy to kod, nad którym masz kontrolę, i każda jest miejscem, gdzie wygrywa się albo przegrywa niezawodność produkcji.

Model proponuje. Uprząż rozporządza.

To najważniejszy fakt architektoniczny w tej książce i zarazem ulga. Oznacza, że nie jesteś zdany na humory modelu. Model, który chce usunąć tabelę produkcyjną, nie może tego zrobić, chyba że twoja uprząż da mu narzędzie do usuwania tabel i bez pytania wykona wywołanie. Model, który chce kręcić się w pętli w nieskończoność, nie może, chyba że uprząż zapomni liczyć. Swoboda modelu jest dokładnie tak duża, jak pozwala uprząż, a uprząż to zwykłe oprogramowanie ze zwykłymi testami.

Jest i druga konsekwencja. Kiedy ktoś mówi, że agent „postanowił” zrobić coś dziwnego, przetłumacz to zdanie. Model zaproponował coś dziwnego, a uprząż to przepuściła. To tłumaczenie nie usprawiedliwia modelu, ale wskazuje, gdzie zwykle leży poprawka. Rzadko da się wypromptować model tak, by nigdy nie proponował niczego dziwnego. Prawie zawsze da się napisać kod, który na to nie zareaguje.

W tym tygodniu znajdź w swoim systemie miejsce, w którym wykonywane są wywołania narzędzi, i przeczytaj je linijka po linijce. Zapytaj, co się stanie, jeśli argumenty będą zniekształcone, jeśli narzędzie się zawiesi, jeśli wynikiem będzie megabajt HTML-a, jeśli to samo wywołanie przyjdzie dwa razy. Jeśli na którekolwiek pytanie odpowiedź brzmi „nie jestem pewien”, znalazłeś swój następny mały, wartościowy kawałek pracy. Silniki są niezawodne dzięki częściom, których nikt nie fotografuje.

Jedna tura w zwolnionym tempie Model proponuje. Uprząż rozporządza. Uprząż twój kod Model wynajęty Narzędzie prawdziwa funkcja 1 Wyślij kontekst prompt, historia, narzędzia 2 Poproś o narzędzie nazwa i argumenty Uprząż decyduje poprawne argumenty? dozwolone dla agenta? wymaga akceptacji? zostało budżetu? timeout, ponowienia 3 Wykonaj z timeoutem 4 Wynik przycięty, dołączony 5 Kolejna tura do końca lub zatrzymania model nie ma rąk
Ryc. 3 · Pętla ma ciało. Jedna tura w szczegółach: model prosi, uprząż sprawdza, wykonuje i zwraca.
Rozdział 4 · Część I

Autonomia to pokrętło

Zapytaj salę pełną inżynierów, czy ich system to „naprawdę” agent, a wywołasz kłótnię, która przetrwa kawę. Kłótnia jest w większości bezcelowa, bo autonomia nie jest cechą, którą system ma albo której nie ma. To pokrętło, które ustawiasz osobno dla każdego zadania, poziomu ryzyka i etapu dojrzałości.

Na najniższym ustawieniu model podpowiada, a człowiek robi wszystko. Nieco wyżej model przygotowuje szkic, a człowiek go poprawia, zanim cokolwiek opuści firmę. Jeszcze wyżej model działa samodzielnie w sprawach odwracalnych i pyta przed nieodwracalnymi. Wyżej działa we wszystkim w określonym zakresie i raportuje po fakcie. Na samej górze pracuje bez nadzoru całymi godzinami, sam wybierając kroki, a ludzie patrzą tylko na podsumowania i wyjątki. Każde ustawienie jest uprawnionym projektem. Żadne nie jest w sensie moralnym bardziej zaawansowane. Pytanie brzmi wyłącznie: które pasuje do tego zadania, w tym tygodniu.

Pokrętłem powinny poruszać trzy rzeczy. Pierwsza to odwracalność. Agent, który szkicuje odpowiedzi mailowe do wysłania przez człowieka, może się mylić często i tanio; ten, który zleca zwroty pieniędzy, nie może. Druga to sprawdzalność. Jeśli wynik da się zweryfikować automatycznie, testami, walidatorem albo porównaniem ze znaną odpowiedzią, możesz puścić agenta dalej, bo go złapiesz. Jeśli jedyną kontrolą jest uważna lektura przez człowieka, trzymaj go bliżej. Trzecia to historia osiągnięć. Nowy agent zdobywa autonomię tak jak nowy współpracownik: mając rację przy świadkach przez dłuższy czas.

Zaufania nie przyznaje się w dokumencie projektowym. Gromadzi się je w logach.

Praktyczny błąd polega na wybraniu jednego ustawienia dla całego systemu. Prawdziwi agenci w jednym przebiegu robią wiele różnych rzeczy. Agent obsługi klienta może sprawdzić zamówienie, streścić regulamin i zaproponować rekompensatę. Dwie pierwsze akcje mogą działać w pełni autonomicznie. Trzecia prawdopodobnie potrzebuje progu, powyżej którego podpisuje się człowiek. Projektuj pokrętło na poziomie pojedynczych akcji, a nie całego agenta, a przekonasz się, że możesz wdrożyć znacznie szybciej, bo ryzykowna część jest ogrodzona, a pożyteczna może swobodnie działać.

Opłaca się też, by pokrętło było jawne w konfiguracji, a nie ukryte w kodzie. Gdy ustawienie mieszka w pliku, który w praktyce mówi zwroty poniżej tej kwoty są automatyczne, powyżej czekają na akceptację, biznes może to przeczytać, audytorzy mogą to sprawdzić, a ty możesz to przekręcić w trakcie incydentu bez wdrożenia. Gdy ta sama reguła jest zakopana w prompcie, nikt jej nie znajdzie, a model może któregoś wtorku uznać, że go nie dotyczy.

Zacznij w tym tygodniu od wypisania każdej akcji, jaką może wykonać twój agent, i przypisania każdej ustawienia na pokrętle. Potem poszukaj luk między tym, gdzie każda akcja jest, a tym, gdzie mogłaby bezpiecznie być. Zwykle kilka może pójść w górę, a jedna czy dwie powinny zejść w dół. Autonomia nie jest celem podróży. To ustawienie, do którego wracasz, najlepiej zanim coś wróci do ciebie.

Ustaw pokrętło per akcja, nie per agent Szukanie zamówienia Podsumowanie Mały zwrot Duży zwrot WIĘCEJ AUTONOMII Bez nadzoru tylko wyjątki Zakresowy działa, raportuje po Odwracalny pyta o resztę Szkic człowiek edytuje Sugestia robi człowiek zwrot poniżej limitu: automat powyżej: czeka na podpis człowieka zwrot < 50: automat zwrot >= 50: akceptacja Co przesuwa pokrętło odwracalność · weryfikowalność historia wyników
Ryc. 4 · Autonomia to pokrętło. Autonomia ustawiana per akcja, od sugestii po brak nadzoru, ze zwrotami bramkowanymi wg kwoty.
Rozdział 5 · Część I

Kiedy nie budować agenta

Najcenniejsza decyzja architektoniczna w tej książce to ta, która całkowicie usuwa agenta. W przewodniku zatytułowanym Agenci na produkcji brzmi to jak herezja, ale każdy doświadczony praktyk ma tę samą historię: zespół spędził kwartał na budowie autonomicznego systemu dla problemu, który porządnie napisana funkcja i jedno wywołanie modelu rozwiązałyby w tydzień.

Agenci są drodzy w każdej walucie, która się liczy. Każdy krok to wywołanie modelu, więc kosztują więcej i trwają dłużej niż stały potok. Są niedeterministyczni, więc trudniej ich testować. Sami wybierają ścieżkę, więc trudniej ich wyjaśnić, zaudytować i debugować. Potrzebują barier ochronnych, budżetów, śledzenia i infrastruktury ewaluacyjnej, bez których prostszy system by się obył. Te koszty warto ponieść, gdy problem naprawdę ich wymaga. Gdy nie wymaga, są czystym narzutem.

Zanim więc zaczniesz budować, zapytaj: czy ten problem wymaga, by model decydował, co zrobić dalej? Jeśli kroki są znane z góry, potrzebujesz workflow, w którym kod wyznacza ścieżkę, a modele zajmują się rozmytymi fragmentami w obrębie poszczególnych kroków. Jeśli rozmyty fragment jest tylko jeden, potrzebujesz jednego, starannie przygotowanego wywołania modelu ze strukturalnym wynikiem. Jeśli rozmytych fragmentów nie ma wcale, potrzebujesz zwykłego oprogramowania i powinieneś się cieszyć. Klasyfikacja, ekstrakcja, streszczenie znanego dokumentu, przekierowanie zgłoszenia do jednej z sześciu kolejek: nic z tego nie potrzebuje pętli.

Najlepszy agent bywa po prostu funkcją z dobrymi manierami.

Agenci zarabiają na siebie tam, gdzie ścieżka jest naprawdę otwarta. Research w źródłach, których liczby i kształtu nie da się przewidzieć. Debugowanie, w którym każda obserwacja zmienia to, co warto sprawdzić dalej. Rozmowy z klientami, które błądzą. Wieloetapowe operacje na systemach, których stan trzeba zbadać przed działaniem. Tutaj ręczne rozpisanie każdej gałęzi byłoby niemożliwe albo absurdalne, a pozwolenie modelowi na wybór jest uczciwym rozwiązaniem.

Jest też opcja pośrednia, którą zespoły przeoczają: zbuduj najpierw workflow i pozwól, by agent się z niego wyłonił. Zacznij od stałych kroków. Obserwuj, gdzie prawdziwe dane wejściowe wymuszają niezgrabne rozgałęzienia, gdzie kod obrasta przypadkami szczególnymi, gdzie stała ścieżka uparcie okazuje się zła. To miejsca, które potrzebują osądu modelu. Oddaj decyzje tam i tylko tam. Skończysz z systemem w większości przewidywalnym, z osądem zastosowanym tam, gdzie się opłaca, a to dokładnie ten kształt, który przetrwa zderzenie z zespołami operacyjnymi.

Spróbuj tego w tym tygodniu. Weź obecny projekt agenta i przy każdym kroku zapytaj, czy ekspert z krwi i kości musiałby się zastanowić, co dalej, czy po prostu postąpiłby według procedury. Wszędzie tam, gdzie uczciwa odpowiedź brzmi „według procedury”, zapisz procedurę w kodzie. Stracisz trochę elegancji na tablicy i zyskasz mnóstwo snu. Pytanie nigdy nie brzmi, czy agenci robią wrażenie. Brzmi: czy ten problem potrzebował, by ktoś na nim robił wrażenie.

Czy w ogóle potrzebujesz agenta? Czy ścieżka jest otwarta? czy model musi wybierać? Agent research, debugowanie, czaty Coś nieostrego? osąd wewnątrz kroku tak nie Zwykły kod i ciesz się brak Jedno wywołanie wyjście w strukturze jedno Workflow kod wybiera ścieżkę kilka rozbuduj tam, gdzie mnożą się wyjątki koszty agenta: wywołanie modelu na krok, niedeterminizm, bariery ochronne, budżety, śledzenie Najlepszy agent to czasem funkcja z dobrymi manierami.
Ryc. 5 · Kiedy nie budować agenta. Drzewo decyzyjne: zwykły kod, jedno wywołanie, workflow czy agent.
Rozdział 6 · Część I

Definicja ukończenia

Agent bez definicji ukończenia działa, dopóki się nie znudzi, nie zbankrutuje albo się nie pomyli, a nudzić się nie umie. To jedna z najstarszych porażek w tej dziedzinie i wciąż jedna z najczęstszych: pętla ma warunek startu, a tam, gdzie powinien być warunek końca, ma mglistą nadzieję.

Model oczywiście powie ci, kiedy uważa, że skończył. To przydatny sygnał i marna gwarancja. Modele mają skłonność do ogłaszania sukcesu, zwłaszcza pod koniec długiego zadania, gdy kontekst jest zatłoczony, a dowody wątłe. Zameldują, że testy przechodzą, choć uruchomiły tylko ich część; że rekord został zaktualizowany, choć wywołanie zwróciło błąd, po którym prześlizgnęły się wzrokiem; że research jest kompletny, choć znalazły dwa źródła i przestały szukać. Nie ma w tym złej woli. Tak to wygląda, gdy pytasz system zoptymalizowany pod produkowanie wiarygodnych dokończeń, czy coś dokończył.

Zapisz więc ukończenie w formie, którą uprząż może sprawdzić bez pytania modelu o zdanie. Dla agenta programistycznego ukończenie może oznaczać, że zestaw testów przechodzi, uruchomiony przez uprząż, a nie zgłoszony przez model. Dla agenta wprowadzającego dane może oznaczać, że docelowy rekord istnieje, a każde wymagane pole jest wypełnione i poprawne. Dla agenta badawczego może oznaczać raport o określonej strukturze z co najmniej ustaloną liczbą cytowanych źródeł, z których każde da się otworzyć. Dla agenta obsługi klienta może oznaczać, że zgłoszenie znajduje się w jednym z niewielkiego zbioru stanów końcowych, każdy z kodem przyczyny.

Jeśli tylko agent może ci powiedzieć, że skończył, nie zdefiniowałeś, co znaczy „skończył”.

Ukończenie ma też formę negatywną, równie ważną. Określ warunki, w których agent musi się zatrzymać bez sukcesu: limit kroków, limit czasu, limit wydatków, powtarzająca się porażka, prośba, której nie wolno mu obsłużyć. Takie zatrzymania powinny dawać uczciwy wynik, na przykład nie udało się dokończyć, przekazano dalej, oto co próbowałem, a nie cichy timeout czy radosną konfabulację. Agent, który wyraźnie poległ, jest dużo bardziej przydatny niż taki, który niejednoznacznie odniósł sukces.

Pomagają dwa praktyczne nawyki. Po pierwsze, każ agentowi zwracać strukturalny wynik końcowy, a nie prozę, żeby uprząż mogła go zwalidować tak, jak waliduje każdą odpowiedź API. Po drugie, dodaj krok weryfikacji po tym, jak model ogłosi ukończenie, wykonywany przez kod albo osobnego oceniającego, zanim wynik zostanie przyjęty. Kosztuje to odrobinę opóźnienia i oszczędza mnóstwo wstydu.

W tym tygodniu otwórz pętlę swojego agenta i znajdź linijkę, która ją kończy. Jeśli jedynym wyjściem jest model mówiący skończyłem, dodaj sprawdzenie niezależne od jego samooceny i co najmniej dwa sposoby, w jakie przebieg może się zakończyć czystą, opisaną porażką. Poczujesz się, jakbyś był dla modelu niemiły. W rzeczywistości jesteś miły dla osoby, która czyta wynik. Linia mety należy do ciebie, nie do biegacza.

O końcu decyduje uprząż, nie deklaracja modelu Działa tury pętli Deklaruje koniec tak mówi model Kontrola uprzęży kod lub oceniacz Przyjęte wynik poprawny kontrola nie przeszła: pracuj dalej Oznaczona porażka eskalacja + co próbowałem limit kroków · limit czasu limit wydatków · powtarzany błąd żądanie niedozwolone Zrobione i zapisane Kodowanie testy przechodzą, uruchamia uprząż Wpis danych rekord istnieje, pola poprawne Research N cytowanych, działających źródeł Wsparcie stan końcowy + kod przyczyny Jeśli tylko agent może powiedzieć, że skończył, nie zdefiniowałeś końca.
Ryc. 6 · Definicja ukończenia. Przebieg kończy się, gdy uprząż potwierdzi koniec, albo czystą, oznaczoną porażką.
Rozdział 7 · Część I

Niedeterminizm to pogoda

Uruchom tego samego agenta dwa razy na tych samych danych, a możesz dostać dwie różne podróże. Jeden przebieg najpierw szuka, potem czyta; drugi najpierw czyta i w ogóle nie szuka. Jeden kończy w czterech krokach, drugi w jedenastu. Oba mogą być poprawne albo jeden może być błędny. To nie jest bug do naprawienia. To pogoda, a inżynieria produkcyjna polega na budowaniu domów, którym jest wszystko jedno, czy pada.

Zmienność bierze się z kilku miejsc naraz. Próbkowanie wprowadza losowość, choć jej obniżenie pomaga mniej, niż ludzie liczą, bo drobne różnice w kontekście i tak pchają model na różne ścieżki. Wyniki narzędzi zmieniają się z chwili na chwilę: wyszukiwarka zwraca nowe strony, w bazie są nowe wiersze, API jest wolne. A ponieważ każdy krok zależy od poprzedniego, drobne różnice się kumulują. W kroku ósmym dwa przebiegi, które zaczęły się identycznie, mogą być w zupełnie innych dzielnicach.

Pierwsza konsekwencja: pojedynczy udany przebieg nie mówi prawie nic. Musisz znać rozkład: jak często agent odnosi sukces przy tego rodzaju danych, jak często idzie naokoło, jak często całkiem zawodzi i jak bardzo. To oznacza uruchamianie przypadków wiele razy i raportowanie odsetków zamiast anegdot. Test, który przeszedł raz, to plotka. Test, który przeszedł dziewięćdziesiąt cztery razy na sto, to informacja.

Nie pytaj, czy działa. Pytaj, jak często i co się dzieje w pozostałych przypadkach.

Druga konsekwencja dotyczy projektu. Jeśli nie możesz sprawić, by każdy przebieg szedł tą samą ścieżką, spraw, by każda ścieżka była bezpieczna. Ogranicz narzędzia tak, żeby żadna sekwencja wywołań nie mogła zrobić czegoś niedopuszczalnego. Waliduj wyniki tak, by błędne odpowiedzi zostały wyłapane niezależnie od tego, jak powstały. Otocz deterministycznym kodem to, co musi być deterministyczne: obliczenia, pieniądze, uprawnienia, formatowanie dla systemów dalej w łańcuchu. Pozwól modelowi na kreatywność tylko tam, gdzie jest mile widziana, a wszędzie indziej ogródź go kodem.

Trzecia konsekwencja jest kulturowa. Zespoły nowe w świecie agentów często reagują na dziwny przebieg poprawianiem promptu, aż dziwna rzecz przestanie się dziać. Przestaje, na tych danych, na razie. Gdzie indziej pojawia się nowa dziwność. Ta zabawa w łapanie kretów jest wyczerpująca i nienaukowa. Zdyscyplinowana alternatywa to zebrać dziwne przebiegi w zbiór, zmierzyć odsetek porażek na całym zbiorze, wprowadzić zmianę i zmierzyć ponownie. Pojedyncza zmiana idzie wolniej, za to cały miesiąc znacznie szybciej.

W tym tygodniu wybierz więc jedno ważne wejście i uruchom na nim agenta dwadzieścia razy. Przeczytaj ślady obok siebie. Zanotuj, ile różnych ścieżek obrał i ile z nich doprowadziło do właściwej odpowiedzi. Większość zespołów, które to robią, jest zaskoczona, czasem przyjemnie, czasem nie. Tak czy inaczej przestają się kłócić, czy agent działa, i zaczynają mierzyć, jak dobrze. Pogody nie zatrzymasz. Możesz przestać dawać się jej zaskakiwać.

To samo wejście, różne ścieżki To samo wejście 20 przebiegów Najpierw szukaj Najpierw czytaj 4 kroki dobrze 11 kroków dobrze 6 kroków zła odpowiedź Nigdy nie szuka zła odpowiedź Każda ścieżka OK Wąskie narzędzia Kontrola wyjścia Kod dla pieniędzy Kod dla dostępu Zaliczone raz plotka Zaliczone 94/100 informacja Pytaj, jak często.
Ryc. 7 · Niedeterminizm to pogoda. Jedno wejście idzie wieloma ścieżkami; zabezpiecz każdą i licz odsetek zaliczeń.
Rozdział 8 · Część I

Uprząż jest produktem

Gdy system agentowy jest dobry, ludzie chwalą model. Gdy jest zły, ludzie obwiniają model. Zwykle jedni i drudzy się mylą. Na produkcji jakość agenta to w przeważającej mierze jakość jego uprzęży: kodu, który składa kontekst, definiuje narzędzia, wykonuje wywołania, egzekwuje limity, obsługuje błędy, zapisuje ślady i decyduje, kiedy przebieg się kończy.

Wyobraź sobie dwa zespoły z dostępem do dokładnie tego samego modelu. Pierwszy daje mu piętnaście luźno opisanych narzędzi, wrzuca do każdego promptu całą bazę wiedzy, wykonuje wszystko, o co model poprosi, i przyjmuje jego odpowiedź końcową za dobrą monetę. Drugi daje mu pięć starannie zaprojektowanych narzędzi z jasnymi opisami, pobiera kontekst na żądanie, waliduje każde wywołanie, ponawia przejściowe błędy, ogranicza wydatki i sprawdza wynik końcowy względem schematu i oceniającego. Drugi zespół będzie miał system kilkakrotnie bardziej niezawodny, a koledzy założą, że znalazł lepszy model.

To dobra wiadomość, bo uprząż jest tą częścią, którą naprawdę możesz ulepszać. Aktualizacje modeli przychodzą według harmonogramu dostawcy, zmieniają kilka zachowań naraz i od czasu do czasu psują coś, na czym polegałeś. Ulepszenia uprzęży przychodzą według twojego harmonogramu. Lepszy opis narzędzia wchodzi we wtorek. Polityka ponowień w środę. Nowa reguła walidacji w czwartek, razem z testem dowodzącym, że wyłapuje porażkę z poniedziałku. Każda zmiana jest mała, testowalna i odwracalna, a tak właśnie wygląda każdy dobry postęp inżynierski.

Wybierz model starannie. Potem resztę czasu poświęć wszystkiemu innemu.

Zmienia to także sposób kompletowania zespołu. Budowa produkcyjnego agenta nie jest przede wszystkim pracą nad promptami, choć prompty mają znaczenie. To praca backendowa z nietypowo zadziornym komponentem pośrodku. Liczą się projektowanie API, systemy rozproszone, obserwowalność, testowanie i bezpieczeństwo, czyli te same umiejętności, dzięki którym niezawodna jest każda usługa, zastosowane ze zrozumieniem tego, jak zachowują się modele. Zespoły zatrudniające wyłącznie mistrzów promptu produkują zwykle urocze systemy, które przewracają się pod obciążeniem.

Dobra uprząż przeżywa też swój model. Gdy pojawia się nowy model, porządnie zbudowana uprząż pozwala go podmienić, uruchomić zestaw ewaluacji, porównać ślady i koszty i podjąć decyzję na podstawie dowodów. W źle zbudowanej dziwactwa starego modelu są wplecione w całość w postaci obejść w promptach i przypadków szczególnych, a migracja zamienia się w wykopaliska archeologiczne. Trzymaj ustępstwa na rzecz konkretnego modelu w małych, nazwanych i udokumentowanych miejscach, żebyś mógł je później znaleźć.

W tym tygodniu narysuj swoją uprząż jako diagram: każdy etap, przez który przechodzi żądanie od chwili przybycia do wyprodukowania wyniku. Zaznacz, które etapy mają testy, które emitują ślady, a które mogą zawieść bez niczyjej wiedzy. Większość zespołów odkrywa, że najlepiej oprzyrządowaną częścią systemu jest wywołanie modelu, a najsłabiej wykonanie narzędzi. To jest odwrócone. Model jest błyskotliwym gościem. Uprząż jest domem, a to dom musi stać.

Dokąd naprawdę trafia żądanie TYPOWA INSTRUMENTACJA Żądanie przychodzi kolejka, user, harmonogram Składanie kontekstu pobieraj na żądanie Definicje narzędzi pięć jasnych, nie piętnaście mglistych Wywołanie modelu część wynajmowana Walidacja wywołania schemat, uprawnienia Wykonanie narzędzia timeouty, ponowienia Limity kroki, koszt, czas Kontrola wyjścia schemat plus oceniacz najlepiej mierzone: model najsłabiej mierzone: wykonanie Model to błyskotliwy gość. Uprząż to dom.
Ryc. 8 · Uprząż jest produktem. Etapy, przez które przechodzi żądanie, i jak nierówno każdy jest instrumentowany.
Rozdział 9 · Część I

Poniedziałek rano to egzamin

Podtytuł tej książki to żart z poważnym ostrzem. Poniedziałek rano to chwila, w której systemy produkcyjne spotykają świat w jego najmniej wyrozumiałej wersji. Zaległości z weekendu przychodzą naraz. Usługi zależne podnoszą się po pracach serwisowych. Użytkownicy są zmęczeni, lakoniczni i w pośpiechu. Inżynier, który najlepiej rozumie agenta, siedzi na spotkaniu. Jeśli twój system przetrwa poniedziałkowy poranek, prawdopodobnie przetrwa resztę tygodnia.

Pomyśl, co ten poranek naprawdę zawiera. Najpierw wolumen: żądania przychodzą falą, a twój agent, który na testach radośnie obsługiwał jedno naraz, dzieli teraz limity zapytań z czterystoma kolegami. Potem dziwne dane: klient, który wkleił cały wątek mailowy, prośba w języku, którego nie testowałeś, załącznik będący zdjęciem ekranu. Potem nieświeży stan: cache, który był poprawny w piątek, rekord, który inny system zaktualizował w nocy. Potem częściowe awarie: wyszukiwarka jest wolna, CRM zwraca błędy dla jednego regionu, zewnętrzne API zmieniło nazwę pola, nikogo nie uprzedzając.

Nic z tego nie jest egzotyczne. To zwykła eksploatacja, a zwykłe oprogramowanie przez dekady nauczyło się sobie z nią radzić. Kłopot z agentami polega na tym, że radzą sobie z nią w nowatorski, a czasem twórczy sposób. Tradycyjna usługa, która trafi na zniekształcony rekord, rzuca błąd i staje. Agent może postanowić go obejść: wymyślić wiarygodną wartość, spróbować innego narzędzia albo udzielić klientowi pewnej siebie odpowiedzi zbudowanej na pustym wyniku wyszukiwania. Kreatywność, dzięki której demo robiło wrażenie, staje się tym, co najbardziej musisz okiełznać.

Oprogramowanie psuje się głośno. Agenci potrafią psuć się uprzejmie, a to gorsze.

Testuj więc poniedziałek celowo. Przed startem puść agenta na powtórce prawdziwego okresu szczytowego albo na syntetycznym odpowiedniku z realistycznym wolumenem i bałaganem. Wstrzykuj awarie do jego narzędzi: timeouty, błędy, puste wyniki, śmieci. Obserwuj, co robi. Chcesz zobaczyć, że rozsądnie ponawia, uczciwie raportuje i przekazuje sprawę dalej, gdy nie może kontynuować. Nie chcesz zobaczyć improwizacji. Każda improwizacja wykryta na testach to o jedną mniej odkrytą podczas przeglądu incydentu.

Zaplanuj też nieobecność eksperta. Napisz runbook, który powie komuś innemu, jak zobaczyć, co robi agent, jak go spowolnić, jak go zatrzymać i jak ocenić, czy dziwny wynik to jednorazowy wybryk, czy wzorzec. Jeśli takiego runbooka nie ma, agent nie jest gotowy, choćby miał świetny odsetek sukcesów. Gotowość produkcyjna obejmuje zdolność obcej osoby do obsługi systemu w złym momencie.

W tym tygodniu zaplanuj godzinę czegoś, co niektóre zespoły nazywają game day. Wybierz jedną zależność, każ jej paść w środowisku testowym i obserwuj przez ten czas agenta. Potem zrób to samo z falą niewygodnych danych wejściowych. Zapisz, co cię zaskoczyło, i napraw najgorszą rzecz. Poniedziałek przychodzi co tydzień. Równie dobrze możesz go przywitać na własnych warunkach.

Co niesie poniedziałkowy poranek Poniedziałek 09:00 Skoki ruchu wspólne limity Dziwne wejścia wklejone wątki, zdjęcia Nieświeży stan piątkowy cache Częściowe awarie wolne szukanie, nowe pole Brak eksperta runbook dla obcego Oprogramowanie psuje się głośno. Agenci psują się uprzejmie. Chcemy: ponów, raportuj, eskaluj Nie chcemy: improwizacji
Ryc. 9 · Poniedziałek rano to egzamin. Pięć presji poniedziałkowego poranka i reakcja, jakiej chcesz od agenta.
Rozdział 10 · Część I

Niezawodność to robota inżynierska

Oto argument tej książki w miniaturze, żebyś mógł wcześnie zdecydować, czy się z nim zgadzasz. Promptowanie kształtuje to, do czego agent ma skłonność. Inżynieria decyduje o tym, co agent może zrobić, co się dzieje, gdy coś pójdzie źle, i jak się o tym dowiesz. Niezawodność produkcyjna mieszka niemal w całości w tej drugiej kategorii.

To nie jest lekceważenie promptowania. Jasny prompt systemowy, dobre opisy narzędzi i dobrze dobrane przykłady ogromnie wpływają na to, jak często agent robi właściwą rzecz, i dalsze rozdziały traktują je z szacunkiem. Ale prompt to prośba, nie gwarancja. Przesuwa prawdopodobieństwa. Nie uczyni niebezpiecznej akcji niemożliwą, utraconego stanu odzyskiwalnym, kosztu ograniczonym ani incydentu widocznym. Te właściwości biorą się z kodu, konfiguracji i procesu i obowiązują niezależnie od tego, czy model ma dobry dzień.

Spójrz na porażki, które naprawdę bolą zespoły. Agent wysłał klientowi ten sam mail jedenaście razy, bo ponowienie nie było idempotentne. Agent ujawnił dokument, bo przeczytał instrukcję ukrytą na stronie internetowej i miał narzędzie, które mogło wysyłać wiadomości dokądkolwiek. Agent przez noc kręcił się w pętli i przejadł miesięczny budżet. Jakość agenta powoli spadała po zmianie jednej z zależności i nikt tego nie zauważył przez sześć tygodni, bo nic jej nie mierzyło. Żadnej z tych rzeczy nie naprawi lepszy prompt. Każdą naprawia zwykła praktyka inżynierska zastosowana do nietypowego komponentu.

Nie da się wyinstruować braku zabezpieczenia.

Praktyki nie są nowe. Zasada najmniejszych uprawnień. Idempotentność. Timeouty i ponowienia z wykładniczym odczekaniem. Trwały stan. Walidacja danych wejściowych. Budżety i limity. Strukturalne śledzenie. Testy regresji. Wdrożenia etapowe. Wyłączniki awaryjne. Postmortemy bez szukania winnych. Nowe jest stosowanie ich do komponentu, który podejmuje decyzje, co zmienia niektóre szczegóły i żadnej z zasad. Reszta tej książki to wycieczka po tych praktykach, każdej przetłumaczonej na język agentów.

Warto nazwać, dlaczego zespoły się przed tym bronią. Promptowanie jest szybkie i daje poczucie postępu. Zmieniasz zdanie, puszczasz demo jeszcze raz, widzisz lepszą odpowiedź, wdrażasz. Inżynieria jest wolniejsza, a jej zwycięstwa są niewidoczne: incydent, który się nie wydarzył, koszt, który się nie zmienił, regresja wyłapana przed wydaniem. Organizacje nagradzają to, co widać. Twoja praca polega po części na tym, by niewidoczne stało się widoczne, za pomocą dashboardów, wyników ewaluacji i liczby incydentów, żeby cicha robota dostała zasłużone uznanie.

Oto więc pierwszy test twojego systemu. Dla każdej poważnej szkody, jaką może wyrządzić twój agent, zapytaj, co jej zapobiega. Jeśli odpowiedzią jest zdanie w prompcie, zapisz, jaki kod, uprawnienie lub proces mógłby jej zapobiec zamiast niego, i wpisz tę pracę na listę. Nie skończysz listy w tym tygodniu. Zamienisz jednak nadzieję w backlog, a od tego zaczynał każdy niezawodny system. Niezawodność to nie nastrój, w jakim jest model. To właściwość, którą budujesz.

Incydenty, których lepszy prompt by nie naprawił INCYDENT PROMPT Poprawka inżynierska Mail wysłany 11 razy ponowienie nieidempotentne nie Klucze idempotencji ponowienia bezpieczne Wyciek dokumentu ukryta instrukcja, wysyłka nie Minimalne uprawnienia wysyłka tylko z allowlisty Budżet miesiąca zniknął nocna pętla nie Budżety i limity koszt zatrzymuje przebieg Cichy spadek przez 6 tyg. nikt tego nie mierzył nie Ciągła ewaluacja wyniki na dashboardzie STARE PRAKTYKI, ZASTOSOWANE DO KOMPONENTU, KTÓRY DECYDUJE minimalne uprawnienia idempotencja timeouty trwały stan walidacja budżety śledzenie testy regresji stopniowe wdrażanie wyłącznik postmortemy Brakującego zabezpieczenia nie zastąpisz instrukcją.
Ryc. 10 · Niezawodność to robota inżynierska. Cztery prawdziwe incydenty, których prompt nie naprawił, każdy z poprawką inżynierską.
Darmowy fragment · Część I

Czytaj dalej

Przeczytałeś pierwsze 10 z 100 rozdziałów książki Agenci na produkcji. Pełne wydanie zawiera wszystkie rozdziały i plansze, w PDF i EPUB, po angielsku, francusku, polsku i hiszpańsku.

Pełna książka wkrótce w sklepie.

Masz już książkę? Czytaj pełne wydanie online

Agenci na produkcji · Wydanie pierwsze, październik 2026
100 rozdziałów · 10 części · sto diagramów
autor: Mat Siems · MS Books, No. 11 · 2026