Jak testować zmianę agenta przed sezonem?
Temat: Bezpieczeństwo i utrzymanie AI
Przed szczytem sezonu nie oceniaj zmiany agenta na jednym udanym przykładzie. Zbierz przypadki typowe, trudne i takie, które wcześniej skończyły się błędem. Porównaj nową wersję ze starą na tych samych danych, a potem uruchom ją dla ograniczonej części ruchu z możliwością szybkiego wycofania.
Ten tekst dotyczy decyzji przed zmianą: czy nowa wersja może trafić do ludzi. Co mierzyć w systemie AI na co dzień, wyjaśnia poradnik o obserwowalności AI.
Ustal, co właściwie się zmienia
Nowa instrukcja, inny model, zaktualizowany cennik i dodatkowe uprawnienie to różne klasy zmian. Każda może wpływać na inny fragment procesu. Zapisz wersję, oczekiwany efekt i obszary ryzyka. Jeżeli jednocześnie zmienisz wszystko, nie ustalisz przyczyny ewentualnego pogorszenia. Zapis wersji instrukcji i modelu przy każdej odpowiedzi pozwala potem porównać obie wersje na tych samych sprawach.
Przykład dydaktyczny: asystent obsługi zaczyna korzystać z nowego katalogu produktów. W typowych pytaniach odpowiada szybciej, ale w starszych zamówieniach myli nazwy produktów. Test musi zawierać archiwalne przypadki i pytania o wersję zamówienia, nie tylko nowe produkty.
Sprawdź jakość i bezpieczne zachowanie
Przygotuj próbkę rzeczywistych, odpowiednio chronionych spraw. Oceniaj poprawność faktów, źródło odpowiedzi, rozpoznanie braku danych, przekazanie do człowieka i zgodność z uprawnieniami. Nie wystarczy mierzyć płynność tekstu. Osobno przetestuj moment, gdy system źródłowy nie odpowiada albo dane są opóźnione.
Porównanie wersji na tym samym zestawie spraw wspierają narzędzia do ewaluacji, np. Langfuse z zestawami testowymi i eksperymentami. Narzędzie liczy wynik, ale próg ustala właściciel procesu.
Ustal próg uruchomienia przed testem. Jeżeli nowa wersja nie poprawia celu albo częściej popełnia błąd o dużym skutku, nie wdrażaj jej pod presją kalendarza. Kto przejmie pracę przy awarii automatyzacji opisuje plan awaryjny potrzebny również w sezonie.
Uruchom i obserwuj
Wypuść zmianę najpierw na ograniczoną grupę spraw. Monitoruj odsetek ręcznych poprawek, zgłoszenia pracowników, ponowne kontakty klientów i czas obsługi. Przygotuj osobę uprawnioną do cofnięcia wersji oraz jasny sygnał, kiedy to zrobić. To ważniejsze niż obietnica, że model „sam się nauczy”.
Po sezonie sprawdź nie tylko wynik, ale także zgłoszone wyjątki. Staną się najlepszym materiałem do kolejnego testu.
Karta wydania dla właściciela procesu
Przed uruchomieniem nowej wersji przygotuj krótką kartę: co się zmieniło, które przypadki przetestowano, jakie błędy pozostały, kto obserwuje działanie i jak cofnąć zmianę. Właściciel biznesowy powinien ją rozumieć bez czytania technicznych logów. Jeżeli nie potrafi wskazać, jakie sprawy są poza zakresem testu, nie powinien akceptować wdrożenia tylko na podstawie zielonego statusu w narzędziu.
Symuluj jeden dzień wysokiego wolumenu na danych testowych oraz sytuację, gdy przychodzi seria podobnych trudnych pytań. Sprawdź nie tylko poprawność odpowiedzi, ale czas reakcji i liczbę spraw przekazanych ludziom. Agent może być dokładny na pojedynczym przykładzie, a w sezonie przeciążyć zespół wyjątkami. Bez tego pomiaru pełne uruchomienie może zamienić problem automatyzacji w problem obsady.
- Testy agenta
- Sezonowość
- Ryzyko
