Jak testować zmianę agenta przed sezonem?

Temat: Bezpieczeństwo i utrzymanie AI

Przed szczytem sezonu nie oceniaj zmiany agenta na jednym udanym przykładzie. Zbierz przypadki typowe, trudne i takie, które wcześniej skończyły się błędem. Porównaj nową wersję ze starą na tych samych danych, a potem uruchom ją dla ograniczonej części ruchu z możliwością szybkiego wycofania.

Ten tekst dotyczy decyzji przed zmianą: czy nowa wersja może trafić do ludzi. Co mierzyć w systemie AI na co dzień, wyjaśnia poradnik o obserwowalności AI.

Ustal, co właściwie się zmienia

Nowa instrukcja, inny model, zaktualizowany cennik i dodatkowe uprawnienie to różne klasy zmian. Każda może wpływać na inny fragment procesu. Zapisz wersję, oczekiwany efekt i obszary ryzyka. Jeżeli jednocześnie zmienisz wszystko, nie ustalisz przyczyny ewentualnego pogorszenia. Zapis wersji instrukcji i modelu przy każdej odpowiedzi pozwala potem porównać obie wersje na tych samych sprawach.

Przykład dydaktyczny: asystent obsługi zaczyna korzystać z nowego katalogu produktów. W typowych pytaniach odpowiada szybciej, ale w starszych zamówieniach myli nazwy produktów. Test musi zawierać archiwalne przypadki i pytania o wersję zamówienia, nie tylko nowe produkty.

Sprawdź jakość i bezpieczne zachowanie

Przygotuj próbkę rzeczywistych, odpowiednio chronionych spraw. Oceniaj poprawność faktów, źródło odpowiedzi, rozpoznanie braku danych, przekazanie do człowieka i zgodność z uprawnieniami. Nie wystarczy mierzyć płynność tekstu. Osobno przetestuj moment, gdy system źródłowy nie odpowiada albo dane są opóźnione.

Porównanie wersji na tym samym zestawie spraw wspierają narzędzia do ewaluacji, np. Langfuse z zestawami testowymi i eksperymentami. Narzędzie liczy wynik, ale próg ustala właściciel procesu.

Ustal próg uruchomienia przed testem. Jeżeli nowa wersja nie poprawia celu albo częściej popełnia błąd o dużym skutku, nie wdrażaj jej pod presją kalendarza. Kto przejmie pracę przy awarii automatyzacji opisuje plan awaryjny potrzebny również w sezonie.

Uruchom i obserwuj

Wypuść zmianę najpierw na ograniczoną grupę spraw. Monitoruj odsetek ręcznych poprawek, zgłoszenia pracowników, ponowne kontakty klientów i czas obsługi. Przygotuj osobę uprawnioną do cofnięcia wersji oraz jasny sygnał, kiedy to zrobić. To ważniejsze niż obietnica, że model „sam się nauczy”.

Po sezonie sprawdź nie tylko wynik, ale także zgłoszone wyjątki. Staną się najlepszym materiałem do kolejnego testu.

Karta wydania dla właściciela procesu

Przed uruchomieniem nowej wersji przygotuj krótką kartę: co się zmieniło, które przypadki przetestowano, jakie błędy pozostały, kto obserwuje działanie i jak cofnąć zmianę. Właściciel biznesowy powinien ją rozumieć bez czytania technicznych logów. Jeżeli nie potrafi wskazać, jakie sprawy są poza zakresem testu, nie powinien akceptować wdrożenia tylko na podstawie zielonego statusu w narzędziu.

Symuluj jeden dzień wysokiego wolumenu na danych testowych oraz sytuację, gdy przychodzi seria podobnych trudnych pytań. Sprawdź nie tylko poprawność odpowiedzi, ale czas reakcji i liczbę spraw przekazanych ludziom. Agent może być dokładny na pojedynczym przykładzie, a w sezonie przeciążyć zespół wyjątkami. Bez tego pomiaru pełne uruchomienie może zamienić problem automatyzacji w problem obsady.

Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Karta wydania dla agenta przed sezonem

Prezentacja dla zarządu: weźmiemy jedną planowaną zmianę agenta i ustalimy próbkę spraw, próg uruchomienia, ograniczone wdrożenie i osobę, która może cofnąć wersję. Niezależnie od vendora i partnera.