Witaj. To jest przewodnik praktyka po oknie kontekstowym, czyli po tym odcinku tekstu, który model językowy widzi w chwili, gdy ci odpowiada. Składa się ze stu krótkich rozdziałów, a każdy ma nauczyć jednej rzeczy, której możesz użyć jeszcze w tym tygodniu: niezależnie od tego, czy piszesz prompt systemowy dla chatbota, podpinasz wyszukiwanie dokumentów, czy patrzysz, jak agent programistyczny przepala kolejną sesję. Temat brzmi technicznie. W gruncie rzeczy jest to jednak temat o wybieraniu.
Zacznij od obrazu, który oszczędzi ci najwięcej zmartwień. Model nie jest umysłem, który akurat z tobą rozmawia. Bliżej mu do bardzo szybkiego, bardzo oczytanego urzędnika siedzącego przy biurku. Na biurku leży wszystko, co tam położysz: twoje instrukcje, dotychczasowa rozmowa, wklejone dokumenty, wyniki narzędzi, które wywołał. Urzędnik czyta to, co leży na biurku, i pisze odpowiedź. To wszystko. Pod spodem nie ma szuflady z waszą ostatnią rozmową, nie ma szafy z aktami twoich preferencji, nie ma cichego przeczucia, kim jesteś. Jeśli czegoś nie ma na biurku, to nie istnieje.
Brzmi to oczywiście, dopóki nie zauważysz, jak często ludzie zachowują się tak, jakby było inaczej. Proszą model w nowym czacie, żeby użył stylu, na który się umówiliśmy. Zakładają, że zna dokument, który omawiali z kolegą. Dziwią się, że agent, który wczoraj naprawił błąd, dziś nie ma pojęcia, co naprawił. Nic z tego nie świadczy o tym, że model jest zapominalski. Zapominalski znaczy, że kiedyś pamiętał. On nigdy nie trzymał niczego poza tym, co miał przed sobą.
Model nie wie tego, co ty wiesz. Wie to, co mu pokazałeś.
Pożyteczny wniosek jest taki, że niemal każdą rozczarowującą odpowiedź da się prześledzić aż do biurka. Albo czegoś niezbędnego brakowało, albo coś zbędnego robiło tłok, albo właściwa rzecz tam była, ale zakopana tak, że nikt jej nie zauważył. Te trzy porażki, brak, bałagan i zakopanie, są tematem większości tej książki. Są też, co miło, czymś, nad czym masz kontrolę. Nie zmienisz tego, jak model został wytrenowany. Możesz zmienić to, co mu podajesz.
Oto więc pierwsze ćwiczenie, i nic nie kosztuje. Weź ostatnią odpowiedź modelu, która cię zirytowała. Zanim obwinisz model, zapisz dokładnie, co w tamtej chwili leżało na jego biurku: prompt systemowy, każda wiadomość, każdy wklejony plik. Potem zapytaj, czy kompetentny człowiek, mając tylko to, poradziłby sobie lepiej. Często uczciwa odpowiedź brzmi: nie. Model nie był głupi. Był niedoinformowany, a to przypadłość o znacznie lepszych rokowaniach. Przygotuj biurko, a urzędnik w większości zrobi resztę.
Ryc. 1 · Biurko, nie umysł. Model odpowiada tylko z tego, co ma na biurku; brak, bałagan i zakopanie to psują.
Rozdział 2 · Część I
Bezstanowy z założenia
Model językowy, na poziomie, na którym dzieje się arytmetyka, jest bezstanowy. Każde wywołanie przyjmuje blok tekstu i oddaje blok tekstu, a gdy się kończy, nic nie przetrwa. Nie zostaje żadne wrażenie, żadna lekcja nie zostaje po cichu przyswojona, żadna uraza nie jest chowana. Następne wywołanie zaczyna dokładnie tak czysto jak pierwsze. To nie jest przeoczenie czekające na łatkę. Tak to zaprojektowano, i to rozsądnie.
Pomyśl o kalkulatorze. Nie chciałbyś, żeby pamiętał twoje ostatnie działanie i lekko się na nim opierał przy następnym. Chcesz, żeby te same dane dawały ten sam rodzaj wyniku, za każdym razem i dla każdego. Bezstanowość sprawia, że modele są przewidywalne w obsłudze, łatwo je skalować i można je bezpiecznie dzielić między miliony ludzi, którzy woleliby, żeby ich rozmowy nie przeciekały do cudzych. Ceną jest to, że wszystko, co przypomina pamięć, trzeba zbudować wokół modelu, a nie w nim.
I buduje się to bez przerwy. Interfejs czatu, który zdaje się pamiętać twoje wcześniejsze wiadomości, po prostu wysyła je wszystkie od nowa, w każdej turze. Asystent, który pamięta twoje imię, zapisał gdzieś notatkę i wkleja ją z powrotem. Agent programistyczny, który podejmuje pracę tam, gdzie skończył, czyta plik z postępami, który sam napisał ostatnim razem. Każde z tych rozwiązań to aparatura: mechanizm, który przemyca wczoraj na dzisiejsze biurko. Gdy działa, wygląda jak pamięć. Gdy zawodzi, widać maszynerię.
Wszystko, co model zdaje się pamiętać, ktoś zaaranżował tak, żeby mu to powiedziano jeszcze raz.
Ta wiedza zmienia sposób debugowania. Gdy asystent w połowie długiego czatu zapomina instrukcję, pytanie nie brzmi dlaczego zapomniał, tylko czy ta instrukcja wciąż była wysyłana i czy dało się ją jeszcze znaleźć. Gdy funkcja pamięci przywołuje coś nieaktualnego, pytanie nie brzmi czemu jest zdezorientowany, tylko z którego magazynu to przyszło i kto ostatni je aktualizował. Przestajesz traktować model jak osobę z lukami w pamięci, a zaczynasz traktować system jak hydraulikę z przeciekami. Hydraulikę łatwiej naprawić.
Mówi ci to również, gdzie włożyć wysiłek. Jeśli chcesz spójnego zachowania między sesjami, nie licz na to, że model je sobie przyswoi. Wpisz je do czegoś, co jest niezawodnie wysyłane ponownie: do promptu systemowego, pliku z instrukcjami, zapisanego profilu. Jeśli chcesz, żeby wiedział, co się wydarzyło wczoraj, zapisz wczoraj w formie, którą dzisiaj da się przeczytać. Model nie zrobi tego za ciebie, chyba że zbudujesz coś, co to robi.
Jest w tym dziwna wolność. Każda sesja to nowy początek, a więc każda może być lepiej przygotowana. Model nie przynosi żadnego bagażu. Jedyny bagaż w pokoju to ten, który sam spakowałeś.
Ryc. 2 · Bezstanowy z założenia. Dwa wywołania: aplikacja ponownie wysyła historię i notatki, bo model niczego nie zachowuje.
Rozdział 3 · Część I
Tokeny, jednostka wszystkiego
Modele nie czytają słów. Czytają tokeny: fragmenty tekstu, często całe krótkie słowo, czasem kawałek dłuższego, czasem pojedynczy znak interpunkcyjny albo spację przyklejoną do początku słowa. Tokenizer tnie twój tekst na takie kawałki, zanim model cokolwiek zobaczy, i w nich liczy się każdy limit, każdy rachunek i każdą miarę tego, ile się zmieści. Jeśli pracujesz z kontekstem, tokeny są twoją jednostką, tak jak gramy są jednostką piekarza.
Zgrubna reguła dla angielskiej prozy mówi, że token to mniej więcej trzy czwarte słowa, więc tysiąc słów daje nieco ponad tysiąc tokenów. Ta reguła szybko się gnie. Kod tokenizuje się inaczej niż proza, przez wszystkie te nawiasy i wcięcia. Nietypowe nazwy, długie liczby i identyfikatory w snake case rozpadają się na wiele drobnych kawałków. Języki inne niż angielski często kosztują więcej tokenów za to samo znaczenie, o czym polski czytelnik może się przekonać na własnej skórze. Tabele wklejone jako tekst, z kreskami i wypełnieniem, potrafią być zaskakująco drogie jak na to, co mówią. JSON z głębokim zagnieżdżeniem wydaje zdumiewająco dużo na cudzysłowy.
Nie musisz tego wszystkiego zapamiętywać. Potrzebujesz nawyku mierzenia zamiast zgadywania. Większość dostawców modeli oferuje sposób na policzenie tokenów przed wysłaniem, a większość narzędzi agentowych pokazuje, jak bardzo zapełnione jest okno. Korzystaj z tego. Ci, którzy zgadują, prawie zawsze zaniżają, bo myślą stronami, a model myśli fragmentami. Dokument, który wydaje się krótki, może być duży; plik z logami, który wydaje się szumem, może być ogromny.
Licz w jednostce, w której liczy maszyna, albo daj się zaskoczyć jej arytmetyce.
Jest i drugi powód, by się tym przejmować. Tokeny to nie tylko limit, to również koszt w czasie. Model przetwarza wejście i generuje wyjście token po tokenie, więc więcej kontekstu oznacza wolniejsze pierwsze odpowiedzi, a więcej wyjścia oznacza dłuższe czekanie. Prompt dwa razy dłuższy nie jest po prostu dwa razy droższy; to dwa razy więcej do przeczytania, zanim model będzie mógł zacząć, i dwa razy więcej materiału walczącego o jego uwagę.
Zrób więc w tym tygodniu jeden mały audyt. Weź prompt albo wiadomość systemową, której często używasz, i ją policz. Potem policz jej części: instrukcje, przykłady, wklejony materiał referencyjny, formułki, których dodania nikt już nie pamięta. Niemal na pewno znajdziesz jedną sekcję, która kosztuje dużo więcej, niż zarabia. Ta sekcja to twoja pierwsza poprawka. Celem nie jest skąpstwo dla samego skąpstwa. Chodzi o to, żeby wydawać budżet celowo, bo tylko tak ktokolwiek kiedykolwiek utrzymał budżet.
Ryc. 3 · Tokeny, jednostka wszystkiego. Tokenizer tnie tekst na kawałki; kod, tabele i JSON kosztują więcej przy tym samym znaczeniu.
Rozdział 4 · Część I
Okno ma krawędzie
Każdy model ma maksymalny kontekst: najwięcej tokenów, ile może przyjąć, łącznie z tym, co odpisze, w jednym wywołaniu. W ciągu ostatnich kilku lat ten sufit podniósł się z kilku stron do czegoś w rodzaju półki powieści, a największe okna mieszczą dziś więcej tekstu, niż większość ludzi kiedykolwiek wklei. Kusi, by uznać to za koniec problemu. Skoro wszystko się mieści, po co wybierać?
Bo krawędź się przesunęła, a nie zniknęła. Twardy limit wciąż istnieje, a agenci trafiają na niego szybciej, niż można by się spodziewać. Sesja programistyczna, która czyta kilkadziesiąt plików, kilkanaście razy uruchamia testy i trzyma każdy wynik w historii, potrafi zapełnić bardzo duże okno w jedno popołudnie. Bot obsługi klienta, który przechowuje całe historie rozmów plus pobrane dokumenty z regulaminami, uderzy w ścianę przy najdłuższych, najbardziej rozzłoszczonych klientach, czyli dokładnie tam, gdzie najbardziej chcesz, żeby się dobrze zachował. Gdy limit zostaje osiągnięty, coś musi ustąpić: wywołanie się nie udaje, starszy materiał zostaje wyrzucony albo system kompaktuje go w streszczenie. Żadna z tych rzeczy nie dzieje się w dogodnym momencie.
Jest też krawędź miększa, która znaczy więcej. Na długo przed twardym limitem jakość zaczyna się obsuwać. Model poproszony o użycie jednego faktu zakopanego w ogromnym kontekście radzi sobie gorzej niż ten sam model, któremu podano ten fakt w krótkim. Jest przy tym wolniejszy i droższy. Praktyczne okno, czyli rozmiar, przy którym model niezawodnie wykonuje twoje zadanie najlepiej, jest więc mniejsze od reklamowanego, czasem dużo mniejsze. Tej liczby nie znajdziesz w specyfikacji. Znajdujesz ją, testując.
Reklamowane okno to sufit. Użyteczne okno to podłoga, którą musisz sam odkryć.
Roboczy nawyk polega na traktowaniu maksimum jako rezerwy awaryjnej, a nie celu. Zaprojektuj system tak, żeby zwykłe zapytanie mieściło się wygodnie w ułamku okna, zostawiając miejsce na długie rozmowy, duże wyniki narzędzi i samą odpowiedź. Gdy widzisz, że sesje regularnie zbliżają się do krawędzi, potraktuj to jako zapach złego projektu, a nie problem z pojemnością. Przechowuje się coś, czego przechowywać nie trzeba.
I miej oko na wskaźnik. Większość narzędzi agentowych pokazuje, jak pełne jest okno, w procentach albo w postaci paska. Zerkaj na niego tak, jak kierowca zerka na poziom paliwa. Nie nerwowo, nie bez przerwy, ale na tyle często, żeby kontrolka ostrzegawcza nigdy nie była pierwszą wiadomością o problemie. Większy bak to rzecz piękna. Nie jest jednak powodem, żeby przestać patrzeć na wskaźnik.
Ryc. 4 · Okno ma krawędzie. Użyteczne okno leży głęboko wewnątrz deklarowanego maksimum; twarda krawędź coś psuje.
Rozdział 5 · Część I
Rozmowa to dokument
Czat wygląda jak rozmowa: ty coś mówisz, on coś mówi, zmieniacie się. Pod spodem jest to dokument, który z każdą turą rośnie o jeden wpis i który za każdym razem, gdy model odpowiada, jest czytany w całości, od góry. Model nie kontynuuje myśli sprzed chwili. Czyta cały zapis od nowa, jakby widział go pierwszy raz, i pisze kolejny akapit.
Ma to konsekwencje, które ludzi zaskakują. Pierwsza to koszt. Tura pięćdziesiąta nie kosztuje tyle co pierwsza; kosztuje prompt systemowy plus czterdzieści dziewięć tur historii plus nową wiadomość. Długi czat robi się systematycznie droższy i systematycznie wolniejszy, a nic w interfejsie ci tego nie mówi. Druga to dryf. Wszystko, co powiedziałeś wcześniej, wciąż jest na stronie, łącznie z instrukcją, którą porzuciłeś, szkicem, który odrzuciłeś, i dygresją o obiedzie. Model nie ma jak się dowiedzieć, które z tych rzeczy uważasz za zamknięte, dopóki dokument tego nie powie.
Trzecia konsekwencja jest tą pożyteczną. Skoro zapis jest dokumentem, możesz go edytować. Wiele narzędzi pozwala zmienić wcześniejszą wiadomość i wygenerować odpowiedź od tego miejsca, co usuwa błędny zakręt z historii całkowicie, zamiast nakładać na niego poprawkę. Możesz zacząć nowy czat od czystego streszczenia, zamiast wlec za sobą czterdzieści tur eksploracji. W aplikacji, którą budujesz, sam decydujesz, jaką historię wysłać: całą, kilka ostatnich tur, bieżące streszczenie albo streszczenie plus ostatnie tury dosłownie. Każda z tych opcji to inny dokument i model zachowa się przy każdej inaczej.
Model nie pamięta rozmowy. Czyta protokół.
Pisz więc dobre protokoły. Gdy rozmowa się rozlazła, a ty wreszcie wiesz, czego chcesz, powiedz to wprost: zignoruj wcześniejsze szkice; oto zlecenie. Jeszcze lepiej otwórz nową sesję i wklej tylko to zlecenie. Gdy poprawiasz model, poprawiaj go tak, żeby miało to sens dla kogoś, kto czyta zapis na zimno, bo dokładnie ktoś taki będzie go czytał. A gdy budujesz produkt czatowy, traktuj historię jako coś, co składasz w każdej turze, a nie coś, co po prostu się nawarstwia.
Jest w tym odrobina komicznej godności. Model to najsumienniejszy czytelnik protokołów z zebrań, jaki kiedykolwiek zbudowano. Czyta każdą linijkę, za każdym razem, bez narzekania. Tylko niezbyt dobrze rozpoznaje, które fragmenty zebrania miały znaczenie. Ta część, jak zawsze, należy do prowadzącego.
Ryc. 5 · Rozmowa to dokument. Każde wywołanie czyta cały transkrypt od nowa, więc aplikacje wybierają, jaką historię wysłać.
Rozdział 6 · Część I
Wejście i wyjście w jednym pokoju
Okno kontekstowe nie służy tylko temu, co wysyłasz. Odpowiedź modelu też musi się w nim zmieścić. Jeśli model ma określone maksimum, a twój prompt zużywa większość, na odpowiedź zostaje tylko wąski skrawek i odpowiedź zostanie ucięta, czasem w pół zdania, czasem w pół funkcji. Okno to jeden pokój i w nim muszą się zmieścić zarówno pytanie, jak i odpowiedź.
Większość API mówi to wprost, wprowadzając osobny limit długości wyjścia, czyli maksymalną liczbę tokenów, jaką model może wygenerować. Ustaw go za nisko, a dostaniesz ucięte odpowiedzi, które wyglądają na kompletne, dopóki nie dojdziesz do końca i nie odkryjesz, że końca nie ma. Ustaw go wysoko, a zostawisz miejsce, ale to miejsce jest zabierane z tej samej puli. W pętlach agentowych ma to jeszcze większe znaczenie, bo wyjście modelu staje się wejściem następnej tury. Gadatliwy agent zapełnia własne okno własnym komentarzem i potem ma mniej miejsca na czytanie plików, których naprawdę potrzebuje.
Jest jeszcze subtelność przy modelach, które myślą przed odpowiedzią. Wiele obecnych modeli może wydać tokeny na fazę rozumowania przed napisaniem widocznej odpowiedzi, a to myślenie też jest generowanym tekstem i też ma budżet. Daj trudnemu problemowi za mało miejsca na myślenie, a model się pośpieszy; daj łatwemu za dużo, a zapłacisz za namysł, którego nikt nie potrzebował. Zależnie od systemu wcześniejsze myślenie może być zachowywane w kolejnych turach albo nie. Tak czy inaczej, jest częścią rachunku i powinieneś wiedzieć, jak twoje narzędzia to obsługują.
Zostaw miejsce na odpowiedź. To przecież dla niej pytałeś.
Praktyczne nawyki są proste. Zanim zapytasz, zdecyduj mniej więcej, jak długa powinna być dobra odpowiedź, i ustaw limit wyjścia z zapasem. Poproś o pożądaną długość w samym prompcie, bo model, któremu powiesz odpowiedz w trzech zdaniach, na ogół się podporządkuje i zaoszczędzi wam obu czas i okno. Gdy potrzebujesz długiego wyjścia, całego dokumentu albo dużego pliku, rozważ wytworzenie go w sekcjach, w kilku wywołaniach, zamiast jednego heroicznego generowania, które może uderzyć w sufit. A w pracy z agentami proś o zwięzłe notatki z postępów zamiast bieżącego komentarza; agent nie musi relacjonować swoich uczuć wobec każdego pliku.
Uważaj zwłaszcza na jeden objaw: odpowiedź, która urywa się nagle, albo ustrukturyzowane wyjście, któremu brakuje nawiasu zamykającego. Dziewięć razy na dziesięć to nie model tracący odwagę. To model, któremu skończyło się miejsce, czyli problem z konfiguracją przebrany w płaszcz problemu z jakością.
Ryc. 6 · Wejście i wyjście w jednym pokoju. Prompt, myślenie i odpowiedź dzielą jedno okno; zostaw zapas, bo odpowiedź zostanie ucięta.
Rozdział 7 · Część I
Śmieci na wejściu, nadal
Najstarsza zasada informatyki mówi, że program nakarmiony śmieciami odda śmieci, i to wydajnie. Modele językowe miały być inne. Wybaczają literówki, hojnie traktują mgliste prośby, potrafią zrobić coś wiarygodnego z niemal czegokolwiek. I rzeczywiście tak jest, dlatego właśnie stara zasada lepiej się teraz ukrywa. Śmieci nadal wchodzą. Po prostu wychodzą w przyzwoitym stroju.
Zastanów się, co w oknie kontekstowym jest śmieciem. Nieaktualne dokumenty, wciąż pisane pewnym tonem. Dwie wersje tej samej polityki, z których jedna została zastąpiona. Wklejony wątek mailowy, w którym decyzja jest w wiadomości jedenastej, a wiadomości od pierwszej do dziesiątej dowodzą czegoś przeciwnego. Pobrane fragmenty, które mają wspólne słowa kluczowe z pytaniem, ale odpowiadają na inne. Wyjście narzędzia pełne nieistotnych ostrzeżeń, z jednym istotnym błędem pośrodku. Nic z tego nie wygląda na śmieci. Wygląda na informację. I właśnie to czyni to niebezpiecznym.
Model, któremu da się taki materiał, zazwyczaj nie odmówi ani się nie poskarży. Zrobi, co może, czyli wymiesza to, co dostał, w płynną odpowiedź. Jeśli obecna jest i stara, i nowa polityka, możesz dostać elegancki kompromis, który nie zgadza się z żadną. Jeśli decyzja jest zakopana pod sporem, możesz dostać spór. Wyjście dziedziczy jakość wejścia, a potem dodaje połysk, więc wady przychodzą elegancko ubrane i łatwo je przepuścić.
Model nie czyści twoich danych. On je pierze.
Obrona jest mało efektowna: kuratoruj, zanim wyślesz. Usuwaj zastąpione dokumenty, zamiast liczyć, że model zauważy datę. Gdy wklejasz wątek, dodaj jedną linijkę mówiącą, co ostatecznie postanowiono. Gdy wyszukiwanie zwraca dziesięć fragmentów, sprawdź, czy wszystkie dziesięć tam pasują. Wybieraj jedno autorytatywne źródło zamiast pięciu nakładających się. Gdy coś musi zostać dołączone, ale ma wątpliwą jakość, oznacz to: to szkic z zeszłego roku i może być błędny. Etykieta jest tania, a model z niej skorzysta.
Potem sprawdź to twierdzenie. Weź zadanie, które daje przeciętne odpowiedzi, i spróbuj dwa razy: raz ze wszystkim, co normalnie dołączasz, raz tylko z tym, co przekazałby staranny ekspert. Z mojego doświadczenia druga wersja jest często lepsza i prawie nigdy gorsza, a zawsze tańsza. Starej zasady nigdy nie uchylono. Po prostu nauczyła się ładnie mówić.
Ryc. 7 · Śmieci na wejściu, nadal. Niesprawdzone wejścia wychodzą jako wypolerowana odpowiedź; dobrane dają ugruntowaną.
Rozdział 8 · Część I
Prompt nigdy nie wystarczał
Przez jakiś czas ta sztuka nazywała się inżynierią promptów i skupiała się na sformułowaniach. Które słowa sprawiają, że model się zachowuje. Czy mówić „proszę”. Czy mówić mu, że jest ekspertem. Niektóre z tych sztuczek działały przez sezon, a niektóre wciąż pomagają na marginesie, ale nazwa zawsze opisywała najmniejszą część roboty. Prompt to jeden akapit na biurku. Biurko to cała robota.
Zmiana języka w ciągu ostatnich paru lat, z inżynierii promptów na inżynierię kontekstu, nie jest zabiegiem marketingowym. Odzwierciedla to, co praktycy odkryli, gdy zaczęto używać modeli do prawdziwej pracy. Różnica między przeciętnym a znakomitym asystentem rzadko tkwi w sformułowaniu prośby. Tkwi w tym, czy pobrano właściwe dokumenty, czy historię rozmowy rozsądnie przycięto, czy wyniki narzędzi były czytelne, czy stałe instrukcje były aktualne i czy cokolwiek z tego nie przeczyło reszcie. Pięknie sformułowane pytanie zadane nad zabałaganionym biurkiem wciąż dostaje zabałaganioną odpowiedź.
Inżynieria kontekstu to zatem praktyka decydowania, co model widzi przy każdym wywołaniu. Obejmuje prompt, ale też wszystko, co się wokół niego składa: instrukcje systemowe, pamięć, pobrany materiał, definicje narzędzi, wyniki narzędzi, przykłady i historię. Każdy z tych elementów ma własne sposoby zawodzenia i własne techniki, dlatego ta książka ma części poświęcone większości z nich. Umiejętności nakładają się na stare rzemiosła. Częściowo to redakcja. Częściowo architektura informacji. Częściowo zwykłe projektowanie systemów, z tokenami zamiast bajtów.
Promptowanie to to, co mówisz. Kontekst to wszystko, co model słyszy.
Nic z tego nie znaczy, że sformułowania są bez znaczenia. Jasna prośba bije mętną, a dalsze rozdziały omawiają, jak pisać instrukcje, za którymi model potrafi podążać. Ale sformułowania to ostatnie dziesięć procent. Jeśli przyłapiesz się na tym, że po raz piąty przeformułowujesz to samo pytanie w nadziei na lepszą odpowiedź, przestań i spójrz na resztę biurka. Problem zwykle nie leży w zdaniu, które ciągle zmieniasz. Leży w materiale, na który nigdy nie spojrzałeś.
Praktyczny test polega na tym, by przy każdej rozczarowującej interakcji zapytać: co model faktycznie miał? Nie co miałeś na myśli, nie co zakładałeś, że wie, tylko dosłownie złożony kontekst. Większość narzędzi ci go pokaże, jeśli poprosisz. Gdy pierwszy raz uważnie go przeczytasz, prawdopodobnie znajdziesz tam rozwiązanie swojego problemu, zapisane w postaci czegoś, czego brakuje.
Ryc. 8 · Prompt nigdy nie wystarczał. Prompt to jedna z ośmiu rzeczy składanych w kontekst; sformułowanie to najsłabsza dźwignia.
Rozdział 9 · Część I
Kontekst to czasownik
Naturalne jest mówienie o kontekście jak o rzeczy: o kontekście, jakby był stałym pakunkiem, który dołączasz do zapytania. W praktyce zachowuje się bardziej jak czynność. Przy każdym wywołaniu coś musi zdecydować, co wchodzi, a co zostaje za drzwiami. Tę decyzję podejmujesz albo ty, świadomie, albo domyślne ustawienia, których nikt nie wybrał. Tak czy inaczej, jest podejmowana, za każdym razem.
Spójrz, co się dzieje w typowej sesji z agentem. W pierwszej turze kontekst to prompt systemowy, trochę instrukcji i twoja prośba. W turze dziesiątej obejmuje pliki, które agent przeczytał, polecenia, które uruchomił, i ich wyniki. W turze trzydziestej mógł już skompaktować wczesną historię w streszczenie, porzucić część wyników narzędzi i dociągnąć nowe dokumenty. Nikt nie usiadł i nie zaprojektował kontekstu tury trzydziestej. Złożył się sam, przez serię drobnych decyzji podjętych przez kod, przez agenta i przez ciebie. Jakość sesji mocno zależy od tych decyzji, dlatego opłaca się podejmować część z nich celowo.
Myślenie o kontekście jak o czasowniku zmienia pytania, które zadajesz. Zamiast jaki jest kontekst tego asystenta pytasz co ten asystent powinien zobaczyć teraz, przy tej prośbie. Zamiast ładować na starcie stały pakiet dokumentów, pobierasz te właściwe wtedy, gdy stają się właściwe. Zamiast trzymać całą historię na zawsze, decydujesz w każdym punkcie, co zasługuje na pozostanie. To postawa projektowa stojąca za większością technik z tej książki: wyszukiwaniem, kompaktowaniem, subagentami, ładowaniem na żądanie. Każda z nich to sposób, by budować kontekst na świeżo, zamiast gromadzić go na ślepo.
Kontekst to nie to, co masz. To to, co wybierasz, od nowa, w każdej turze.
Dla budujących systemy zadanie do wykonania polega na tym, by znaleźć kod, w którym składa się kontekst, i uczynić go jawnym. Gdzieś jest funkcja, szablon albo domyślne ustawienie frameworka, które decyduje, co zawiera każde wywołanie. Znajdź je. Loguj to, co produkują. Przeczytaj kilka przykładów. Wiele zespołów odkrywa, że ich składania kontekstu nigdy nikt nie przejrzał, bo zostało napisane raz, w pośpiechu, i potem pozostawione samo sobie. Zasługuje na tę samą troskę co każda inna krytyczna ścieżka w kodzie.
Dla tych, którzy po prostu korzystają z asystentów, zadanie jest mniejsze i równie pożyteczne. Przed długą sesją zadaj sobie pytanie, czego model potrzebuje do następnego kroku, a nie do całego projektu. Daj mu to. Gdy krok się zmienia, zmień to, co widzi. To trochę więcej wysiłku na turę i dużo mniej zamieszania na godzinę. Kontekst to coś, co się robi. Rób to celowo.
Ryc. 9 · Kontekst to czasownik. Domyślnie kontekst dryfuje z tury na turę; kolejną turę można złożyć celowo.
Rozdział 10 · Część I
Pierwsza dyscyplina
Gdyby tę książkę trzeba było sprowadzić do jednej umiejętności, byłoby nią odejmowanie. Niemal każdy początkujący instynktownie podchodzi do okna kontekstowego addytywnie. Odpowiedź była słaba, więc dodaj więcej instrukcji. Model coś przeoczył, więc dodaj więcej dokumentów. Zapomniał zasady, więc powtórz ją wielkimi literami. Każdy dodatek wydaje się odpowiedzialny. Razem zakopują prośbę pod stertą życzliwego materiału, a uwaga modelu, która nie jest nieograniczona, rozkłada się coraz cieniej z każdą warstwą.
Odejmowanie zadaje trudniejsze pytanie: co może wylecieć? Które instrukcje są już nieistotne, zdublowane albo zaprzeczone gdzie indziej? Które pobrane dokumenty są prawie trafieniami? Które części historii to sprawy zamknięte? Które wyniki narzędzi były kiedyś przydatne, a teraz są tylko szumem? Usuwanie ich to nie lenistwo. To zabieg, który czyni pozostały materiał czytelnym, tak jak dobry redaktor wzmacnia esej, wycinając jego najsłabszy akapit.
Jest to też na tyle sprzeczne z intuicją, że zespoły się temu opierają. Długi prompt systemowy wydaje się gruntowny, krótki wydaje się niedbały. System wyszukiwania zwracający dwadzieścia fragmentów wydaje się bezpieczniejszy niż taki, który zwraca cztery. Ale modele, podobnie jak ludzie, działają lepiej, gdy sygnał jest wyraźny. Więcej kontekstu pomaga, gdy dodatkowy materiał jest istotny i dobrze uporządkowany. Gdy jest jedynie dostępny, przeważnie kosztuje pieniądze, czas i trafność.
Najlepszy kontekst nie jest najpełniejszy. Jest najstaranniej wybrany.
Zrób z odejmowania rutynę, a nie nastrój. Gdy poprawiasz prompt systemowy, spróbuj usunąć jedną sekcję i uruchomić testy; jeśli nic się nie pogorszy, nie przywracaj jej. Gdy konfigurujesz wyszukiwanie, zacznij od mniejszej liczby wyników i dodawaj więcej tylko wtedy, gdy ewaluacja pokaże zysk. W długich sesjach z agentem czyść albo kompaktuj, gdy historia przestaje być przydatna, a nie gdy okno jest pełne. W plikach z instrukcjami zaplanuj okresowe przycinanie, bo rosną przez narastanie, a nikt nigdy nie usuwa linijki o bazie danych, z której zmigrowaliście dwa lata temu.
To jest parter, na którym stoi reszta książki. Dalsze części wyjaśnią, jak model czyta, jak pisać stałe instrukcje, jak zarządzać pamięcią i wyszukiwaniem, jak narzędzia i agenci zapełniają okno i co idzie nie tak, gdy nikt nie wybiera. Pod tym wszystkim kryje się ta sama dyscyplina. Włóż to, czego potrzebuje zadanie. Zostaw na zewnątrz to, czego nie potrzebuje. Potem spójrz jeszcze raz, bo to, czego zadanie potrzebuje, prawdopodobnie się zmieniło. Okno to dar. Bałagan to sposób, w jaki ludzie go odrzucają.
Ryc. 10 · Pierwsza dyscyplina. Odejmowanie usuwa materiał nieaktualny, zdublowany i prawie trafny, aż zostaje tylko potrzeba.
Darmowy fragment · Część I
Czytaj dalej
Przeczytałeś pierwsze 10 z 100 rozdziałów książki Okno kontekstowe. Pełne wydanie zawiera wszystkie rozdziały i plansze, w PDF i EPUB, po angielsku, francusku, polsku i hiszpańsku.