Agenci autonomiczni: granice działania i kontrola

Agent autonomiczny nie powinien dostawać pełnej swobody tylko dlatego, że potrafi zaplanować kilka kroków i wywołać narzędzia. W firmie sensowna autonomia oznacza ściśle określony cel, ograniczone uprawnienia, mierzalne warunki zatrzymania i człowieka odpowiedzialnego za skutek. Najbezpieczniej zacząć od decyzji odwracalnych: agent może zebrać dane, przygotować propozycję i wykonać działanie w środowisku testowym. Dostęp do pieniędzy, danych osobowych, umów lub produkcji powinien wymagać dodatkowej kontroli. Pytanie nie brzmi więc „czy agent jest autonomiczny?”, lecz „w których granicach wolno mu działać bez pytania?”.

Nie każda automatyzacja jest widoczna jako rozmowa z agentem. Przy działaniu w tle dodatkowym warunkiem jest czytelny sygnał dla użytkownika, co zostało zrobione i jak to odwrócić; tę granicę opisuje tekst o inteligencji ambientowej.

Autonomia jest zakresem uprawnień, a nie cechą modelu

Model językowy generuje odpowiedź. Agent dodaje do niego cel, pamięć, planowanie i narzędzia, dzięki którym może odczytać rekord, wywołać API albo uruchomić kolejny etap procesu. To właśnie narzędzia zmieniają błąd językowy w błąd operacyjny. Niepoprawna odpowiedź w oknie czatu kosztuje czas. Niepoprawne wywołanie systemu księgowego może utworzyć płatność, zmienić dane albo uruchomić serię kolejnych zdarzeń.

Dlatego autonomii nie należy opisywać jednym przełącznikiem. Rozbij ją na pięć wymiarów: jakie dane agent widzi, jakie czynności może wykonać, na jakich obiektach, do jakiej wartości oraz jak długo może działać. Ten sam agent może samodzielnie klasyfikować zgłoszenia, ale tylko proponować zwrot pieniędzy. Może aktualizować pole robocze, lecz nie usuwać rekordu. Może wysłać wiadomość wewnętrzną, ale zewnętrzną dopiero po zatwierdzeniu.

Poziom	Działanie agenta	Przykład	Wymagana kontrola
Obserwacja	czyta i porządkuje dane	grupuje zgłoszenia według tematu	ograniczenie źródeł i rejestrowanie odczytów
Rekomendacja	proponuje decyzję	sugeruje priorytet i odpowiedź	człowiek zatwierdza wynik
Wykonanie odwracalne	zmienia stan możliwy do cofnięcia	zapisuje wersję roboczą rekordu	dziennik zmian, limit zakresu, cofnięcie
Wykonanie warunkowe	działa po spełnieniu reguł	przekazuje sprawę do wskazanej kolejki	twarde reguły, progi i wyjątki
Wykonanie wysokiego ryzyka	wpływa na pieniądze, prawa lub produkcję	zatwierdza płatność albo usuwa konto	osobne zatwierdzenie i rozdział obowiązków

Taka tabela jest użyteczniejsza od deklaracji „human in the loop”. Człowiek może formalnie uczestniczyć w procesie, a mimo to nie mieć czasu, informacji ani realnej możliwości odrzucenia propozycji. Kontrola działa dopiero wtedy, gdy wiadomo, kto podejmuje decyzję, co dokładnie widzi i ile ma czasu na reakcję.

Najpierw opisz decyzję, potem wybierz technologię

Przed projektem zapisz jedną decyzję operacyjną, którą agent ma wspierać. Właściciel procesu powinien umieć wskazać wejście, dopuszczalne działanie i oczekiwany wynik. Jeśli zespół nie potrafi opisać poprawnego przebiegu bez AI, agent odziedziczy niejasność i będzie ją wykonywał szybciej.

Dobry zakres pilotażu ma jasny początek i koniec. Przykładem jest obsługa zapytania ofertowego: od odebrania wiadomości do przygotowania roboczej odpowiedzi i listy brakujących danych. Złym zakresem jest „agent sprzedażowy”, ponieważ łączy rozpoznanie klienta, wycenę, zobowiązania handlowe i komunikację zewnętrzną. Każdy z tych etapów ma innego właściciela i inny koszt błędu.

Do opisu użyj kontraktu działania. Powinien zawierać:

1. zdarzenie uruchamiające i dane wejściowe;
2. dozwolone źródła wiedzy;
3. listę dostępnych narzędzi i operacji;
4. warunki wymagające zatwierdzenia;
5. limity czasu, liczby kroków i kosztu;
6. warunek sukcesu, zatrzymania i eskalacji;
7. osobę odpowiedzialną za proces i incydent.

Kontrakt nie jest promptem. Prompt może kierować zachowaniem modelu, ale nie stanowi bariery bezpieczeństwa. Granice trzeba wymusić w kodzie, uprawnieniach, API i regułach procesu. Agent proszony w instrukcji, by „nie usuwał danych”, nadal nie powinien dostać operacji usuwania, jeśli nie jest ona potrzebna.

Zasada najmniejszych uprawnień dotyczy także agentów

Agent powinien pracować na osobnej tożsamości technicznej. Nie używaj konta pracownika ani wspólnego klucza o szerokich prawach. Osobna tożsamość pozwala ograniczyć role, odwołać dostęp i przypisać każde działanie do konkretnego wykonawcy. Uprawnienia trzeba zawęzić równocześnie na poziomie systemu, zasobu i operacji.

Praktyczna konfiguracja może oznaczać odczyt tylko wybranych tabel, zapis wyłącznie w rekordach roboczych i brak prawa do trwałego usuwania. Jeżeli agent potrzebuje wysłać e-mail, narzędzie może przyjmować wyłącznie odbiorców z zatwierdzonej domeny. Jeżeli tworzy zamówienie, limit wartości powinien istnieć w usłudze wykonawczej, a nie w instrukcji tekstowej.

NIST AI RMF porządkuje zarządzanie ryzykiem wokół funkcji govern, map, measure i manage. Dla agenta przekłada się to na właściciela i zasady, mapę procesu i skutków, pomiary na danych testowych oraz obsługę ryzyka podczas eksploatacji. Profil NIST dla generatywnej AI podkreśla potrzebę zarządzania ryzykiem odpowiednio do kontekstu, tolerancji ryzyka i zasobów organizacji. Nie istnieje więc uniwersalny poziom autonomii dobry dla każdej firmy i każdego procesu.

Zatwierdzenie człowieka trzeba umieścić przed skutkiem

Najczęstszy błąd polega na dodaniu akceptacji na końcu, gdy agent wykonał już serię zmian. Punkt kontrolny powinien znaleźć się bezpośrednio przed działaniem, którego skutek trudno odwrócić. Człowiek musi zobaczyć dane wejściowe, proponowane działanie, uzasadnienie, źródła i przewidywany skutek. Sam przycisk „zatwierdź” bez tego kontekstu tworzy pozór nadzoru.

Sygnał ryzyka	Reakcja systemu	Kto podejmuje decyzję
brak danych wymaganych przez regułę	zatrzymanie i prośba o uzupełnienie	właściciel rekordu
konflikt między źródłami	pokazanie różnic bez rozstrzygania	ekspert dziedzinowy
przekroczenie progu kwotowego	blokada operacji	upoważniony przełożony
nietypowy odbiorca lub zasób	dodatkowe uwierzytelnienie	właściciel systemu
powtarzające się nieudane kroki	przerwanie pętli i zapis śladu	zespół utrzymania
żądanie spoza kontraktu	odmowa wykonania i eskalacja	właściciel procesu

Nie każde zatwierdzenie musi być ręczne. Twarda reguła może automatycznie dopuścić działanie niskiego ryzyka, jeśli wszystkie warunki są spełnione. Człowiek przejmuje przypadki nietypowe, konfliktowe albo kosztowne. Właśnie to rozdzielenie daje skalę: nie zmusza pracownika do mechanicznego klikania każdej poprawnej propozycji, ale nie oddaje agentowi decyzji, za którą organizacja musi odpowiadać.

Prompt injection zmienia dokument w polecenie

Agent czyta treści, które nie zawsze są zaufane: e-maile, dokumenty, strony internetowe i pola w systemach. Złośliwa lub przypadkowa instrukcja ukryta w takim materiale może próbować zmienić jego zachowanie. Problem jest groźniejszy niż w zwykłym czacie, ponieważ agent ma narzędzia i uprawnienia.

OWASP opisuje nadmierną sprawczość jako ryzyko wynikające z nadmiaru funkcji, uprawnień albo autonomii. Zaleca ograniczanie rozszerzeń, zakresu operacji i uprawnień oraz wymaganie zatwierdzenia działań o dużym wpływie. To prowadzi do prostej zasady architektonicznej: treść z dokumentu może być danymi dla agenta, ale nie może sama przyznać mu nowych praw.

Warstwa wykonawcza powinna sprawdzać parametry każdego wywołania niezależnie od modelu. Do tego dochodzą listy dozwolonych operacji, filtrowanie adresów i ścieżek, izolacja środowiska oraz rozdzielenie odczytu od zapisu. Szczególnie niebezpieczne jest jedno ogólne narzędzie wykonujące dowolny kod lub zapytanie. Wygodę prototypu kupuje się wtedy kosztem kontroli produkcyjnej.

Testuj przebieg, a nie tylko jakość odpowiedzi

Ocena agenta musi obejmować cały proces. Poprawny tekst końcowy nie dowodzi, że agent użył właściwego źródła, wywołał dozwolone narzędzie albo zatrzymał się w odpowiednim miejscu. Zapisuj więc ślad: wersję instrukcji i modelu, wybrane narzędzia, parametry, wyniki pośrednie, decyzje człowieka, błędy oraz koszt.

Zestaw testowy powinien zawierać przypadki typowe, braki danych, sprzeczne informacje, próby wyjścia poza zakres i treści próbujące wpłynąć na agenta. Mierz odsetek poprawnie zakończonych zadań, błędnych wywołań narzędzi, potrzebnych eskalacji, cofnięć i incydentów. Osobno licz czas pracy człowieka. Agent, który automatyzuje pięć minut czynności, ale wymaga dziesięciu minut kontroli, nie usprawnia procesu.

Przykład syntetyczny: zespół przygotowuje 100 testowych zgłoszeń, w tym 20 z brakami, 10 ze sprzecznymi danymi i 10 z instrukcjami osadzonymi w treści. Kryterium nie powinno brzmieć „90% dobrych odpowiedzi”. Lepiej wymagać, aby agent nie wykonał żadnej operacji zakazanej, wszystkie przypadki wysokiego ryzyka skierował do zatwierdzenia, a błędną klasyfikację dało się odtworzyć ze śladu. Liczby służą tu wyłącznie pokazaniu konstrukcji testu, nie opisują wyniku rzeczywistego wdrożenia.

Produkcja wymaga hamulca i właściciela

Po uruchomieniu ustaw limity liczby kroków, czasu, tokenów, kosztu i liczby operacji w określonym okresie. Zdefiniuj wyłącznik, który natychmiast zatrzyma agenta bez wyłączania całego procesu. Przygotuj też tryb ręczny, aby firma mogła pracować podczas awarii modelu, integracji albo dostawcy.

Alert powinien trafiać do osoby, która może podjąć działanie, a nie tylko do wspólnej skrzynki. Właściciel biznesowy odpowiada za poprawność procesu. Właściciel techniczny odpowiada za działanie integracji i zabezpieczeń. Bezpieczeństwo określa dopuszczalny dostęp, a compliance pomaga ustalić obowiązki dokumentacyjne. Model nie przejmuje odpowiedzialności żadnej z tych ról.

Każda zmiana modelu, instrukcji, narzędzia lub źródła danych powinna uruchamiać ponowną ocenę. Agent jest systemem złożonym: nawet aktualizacja jednego składnika może zmienić kolejność wywołań, sposób interpretacji danych albo częstotliwość eskalacji. Wersjonuj konfigurację i wdrażaj ją najpierw na części ruchu. Porównuj nową wersję z poprzednią na tym samym zestawie przypadków, zamiast oceniać kilka efektownych demonstracji.

Ustal również zasady przechowywania śladów. Logi są potrzebne do wyjaśnienia incydentu, lecz mogą zawierać treść dokumentów, dane użytkowników i parametry operacji. Ogranicz ich zakres, czas przechowywania i grono osób mających dostęp. Tajemnic oraz pełnych danych uwierzytelniających nie zapisuj w śladzie. Sama obserwowalność nie poprawia bezpieczeństwa, jeśli tworzy drugą, słabiej chronioną kopię informacji.

Przegląd miesięczny powinien odpowiadać na cztery pytania: czy zakres zadań się zmienił, czy wzrosła liczba ręcznych poprawek, czy pojawiły się nowe źródła i czy użytkownicy próbują obchodzić ograniczenia. Gdy odpowiedź brzmi „tak”, wróć do kontraktu działania. Autonomia nie jest zgodą wydawaną raz na zawsze.

W szerszym programie transformacji i porządkowania systemu firmy agent powinien być ostatnim elementem łańcucha, a nie pierwszą próbą naprawy niejasnego procesu. Najpierw uporządkuj dane, role i reguły decyzji. Dopiero potem wybierz miejsca, w których autonomia faktycznie zmniejszy czas obsługi bez zwiększenia kosztu błędu.

Reguła, jeden agent czy wielu agentów

Charakter zadania	Pierwszy wariant	Próg rozszerzenia
Znane dane, stałe warunki i jednoznaczna decyzja	Reguła lub zwykły przepływ	Model dopiero wtedy, gdy wyjątki wymagają interpretacji
Zmienny opis, ale jeden zakres narzędzi i jedna odpowiedzialność	Jeden agent z wąskim dostępem	Dodatkowa rola musi poprawić wynik na próbie
Oddzielne kompetencje, źródła lub uprawnienia	Kilka ról z jawnym przekazaniem	Każdy agent ma kontrakt, limit i warunek zatrzymania

Na każdym poziomie oddziel propozycję od operacji powodującej skutek. LangGraph pokazuje, jak zatrzymać i wznowić kontrolowany przepływ; wybór frameworka nie zastępuje autoryzacji. Powiązanie agentów z właścicielami decyzji w firmie opisuje System. Test porównawczy powinien mierzyć poprawnie zakończone zadania, liczbę niepotrzebnych kroków oraz koszt naprawy błędów.

Jak ustalić granicę w poniedziałek

Wybierz jedno zadanie wykonywane co najmniej kilka razy w tygodniu. Rozpisz pięć wymiarów autonomii: dane, czynności, obiekty, wartość i czas. Następnie usuń agentowi każdą funkcję, której nie potrzebuje do tego zadania. Wskaż jedną operację odwracalną, którą może wykonać sam, oraz jedną decyzję wymagającą człowieka. Przygotuj dziesięć przypadków nietypowych i sprawdź, czy agent zatrzymuje się przed skutkiem.

Jeżeli nie potrafisz wskazać właściciela, warunku zatrzymania i sposobu cofnięcia zmiany, pozostaw agenta na poziomie rekomendacji. Kolejnym krokiem jest porównanie takiego rozwiązania z agentem półautonomicznym, w którym udział człowieka stanowi jawny element projektu, a nie awaryjny dodatek.