Agenci autonomiczni: granice działania i kontrola
Temat: Automatyzacja i agenci AI
Agent autonomiczny nie powinien dostawać pełnej swobody tylko dlatego, że potrafi zaplanować kilka kroków i wywołać narzędzia. W firmie sensowna autonomia oznacza ściśle określony cel, ograniczone uprawnienia, mierzalne warunki zatrzymania i człowieka odpowiedzialnego za skutek. Najbezpieczniej zacząć od decyzji odwracalnych: agent może zebrać dane, przygotować propozycję i wykonać działanie w środowisku testowym. Dostęp do pieniędzy, danych osobowych, umów lub produkcji powinien wymagać dodatkowej kontroli. Pytanie nie brzmi więc „czy agent jest autonomiczny?”, lecz „w których granicach wolno mu działać bez pytania?”.
Ten tekst odpowiada na dwa pytania: jakie są poziomy autonomii agenta i kiedy można go puścić bez zatwierdzenia. Jak w praktyce zorganizować pracę człowieka, który zatwierdza propozycje agenta, opisuje osobny wpis o agencie półautonomicznym. Czym agent różni się od bota i asystenta, wyjaśnia poradnik „Co to jest agent AI”.
Autonomia jest zakresem uprawnień, a nie cechą modelu
Model językowy generuje odpowiedź. Agent dodaje do niego cel, pamięć, planowanie i narzędzia, dzięki którym może odczytać rekord, wywołać API albo uruchomić kolejny etap procesu. To właśnie narzędzia zmieniają błąd językowy w błąd operacyjny. Niepoprawna odpowiedź w oknie czatu kosztuje czas. Niepoprawne wywołanie systemu księgowego może utworzyć płatność, zmienić dane albo uruchomić serię kolejnych zdarzeń.
Dlatego autonomii nie należy opisywać jednym przełącznikiem. Rozbij ją na pięć wymiarów: jakie dane agent widzi, jakie czynności może wykonać, na jakich obiektach, do jakiej wartości oraz jak długo może działać. Ten sam agent może samodzielnie klasyfikować zgłoszenia, ale tylko proponować zwrot pieniędzy. Może aktualizować pole robocze, lecz nie usuwać rekordu. Może wysłać wiadomość wewnętrzną, ale zewnętrzną dopiero po zatwierdzeniu.
Drabina autonomii: cztery szczeble i hamulec
Najprościej opisać autonomię jako drabinę. Każdy szczebel wyżej daje agentowi więcej swobody i wymaga mocniejszego dowodu z pilota. Podział jest mój, ale wynika z zaleceń OWASP i OpenAI: zatwierdzenie przed działaniem o dużym wpływie, autoryzacja w systemie docelowym, limity i monitoring. Numeracja zgadza się z tabelą poziomów w poradniku o agentach AI.
| Szczebel | Co agent może | Rola człowieka | Kontrola w systemie | Wyżej, gdy |
|---|---|---|---|---|
| 0. Szkic | przygotować tekst albo dokument | wykonuje wszystko sam | agent nie ma dostępu do systemów | szkice są trafne i nie wymagają przepisywania |
| 1. Odczyt | czytać dane z wybranych systemów i łączyć je | decyduje na podstawie wyniku | tylko wybrane źródła, rejestr odczytów | agent sięga po właściwe dane i podaje źródła |
| 2. Zapis z zatwierdzeniem | przygotować zmianę w systemie | zatwierdza przed skutkiem | podgląd zmiany, dziennik, cofnięcie | znasz rodzaj i liczbę błędów z pilota |
| 3. Działanie z limitem | wykonać działanie sam, do progu wartości i zakresu | przegląda próbkę i wyjątki | limit w usłudze wykonawczej, nie w prompcie | — (wyżej już tylko szerszy limit) |
Nad drabiną jest hamulec, nie piąty szczebel. Na każdym poziomie agent musi mieć warunki zatrzymania i wyłącznik, który zatrzyma go bez zatrzymywania całego procesu. Po incydencie agent schodzi szczebel niżej, a nie dostaje dodatkowej instrukcji w prompcie.
Taka drabina jest użyteczniejsza od deklaracji „human in the loop”. Człowiek może formalnie uczestniczyć w procesie, a mimo to nie mieć czasu, informacji ani realnej możliwości odrzucenia propozycji. Kontrola działa dopiero wtedy, gdy wiadomo, kto podejmuje decyzję, co dokładnie widzi i ile ma czasu na reakcję.
Najpierw opisz decyzję, potem wybierz technologię
Przed projektem zapisz jedną decyzję operacyjną, którą agent ma wspierać. Właściciel procesu powinien umieć wskazać wejście, dopuszczalne działanie i oczekiwany wynik. Jeśli zespół nie potrafi opisać poprawnego przebiegu bez AI, agent odziedziczy niejasność i będzie ją wykonywał szybciej.
Dobry zakres pilotażu ma jasny początek i koniec. Przykładem jest obsługa zapytania ofertowego: od odebrania wiadomości do przygotowania roboczej odpowiedzi i listy brakujących danych. Złym zakresem jest „agent sprzedażowy”, ponieważ łączy rozpoznanie klienta, wycenę, zobowiązania handlowe i komunikację zewnętrzną. Każdy z tych etapów ma innego właściciela i inny koszt błędu.
Do opisu użyj kontraktu działania. Powinien zawierać:
- zdarzenie uruchamiające i dane wejściowe;
- dozwolone źródła wiedzy;
- listę dostępnych narzędzi i operacji;
- warunki wymagające zatwierdzenia;
- limity czasu, liczby kroków i kosztu;
- warunek sukcesu, zatrzymania i eskalacji;
- osobę odpowiedzialną za proces i incydent.
Kontrakt nie jest promptem. Prompt może kierować zachowaniem modelu, ale nie stanowi bariery bezpieczeństwa. Granice trzeba wymusić w kodzie, uprawnieniach, API i regułach procesu. Agent proszony w instrukcji, by „nie usuwał danych”, nadal nie powinien dostać operacji usuwania, jeśli nie jest ona potrzebna.
Zasada najmniejszych uprawnień dotyczy także agentów
Agent powinien pracować na osobnej tożsamości technicznej. Nie używaj konta pracownika ani wspólnego klucza o szerokich prawach. Osobna tożsamość pozwala ograniczyć role, odwołać dostęp i przypisać każde działanie do konkretnego wykonawcy. Uprawnienia trzeba zawęzić równocześnie na poziomie systemu, zasobu i operacji.
Praktyczna konfiguracja może oznaczać odczyt tylko wybranych tabel, zapis wyłącznie w rekordach roboczych i brak prawa do trwałego usuwania. Jeżeli agent potrzebuje wysłać e-mail, narzędzie może przyjmować wyłącznie odbiorców z zatwierdzonej domeny. Jeżeli tworzy zamówienie, limit wartości powinien istnieć w usłudze wykonawczej, a nie w instrukcji tekstowej.
NIST AI RMF porządkuje zarządzanie ryzykiem wokół funkcji govern, map, measure i manage. Dla agenta przekłada się to na właściciela i zasady, mapę procesu i skutków, pomiary na danych testowych oraz obsługę ryzyka podczas eksploatacji. Profil NIST dla generatywnej AI podkreśla potrzebę zarządzania ryzykiem odpowiednio do kontekstu, tolerancji ryzyka i zasobów organizacji. Nie istnieje więc uniwersalny poziom autonomii dobry dla każdej firmy i każdego procesu.
Warunki zatrzymania: kiedy agent schodzi szczebel niżej
Na szczeblu 2 punkt kontrolny stoi bezpośrednio przed działaniem, którego skutek trudno odwrócić, a nie na końcu serii zmian. Co osoba zatwierdzająca musi wtedy zobaczyć i jak nie zamienić jej pracy w mechaniczne klikanie, opisuje wpis o agencie półautonomicznym. Tu ważniejsze jest co innego: sygnały, przy których system sam zatrzymuje agenta, niezależnie od szczebla.
| Sygnał ryzyka | Reakcja systemu | Kto podejmuje decyzję |
|---|---|---|
| brak danych wymaganych przez regułę | zatrzymanie i prośba o uzupełnienie | właściciel rekordu |
| konflikt między źródłami | pokazanie różnic bez rozstrzygania | ekspert dziedzinowy |
| przekroczenie progu kwotowego | blokada operacji | upoważniony przełożony |
| nietypowy odbiorca lub zasób | dodatkowe uwierzytelnienie | właściciel systemu |
| powtarzające się nieudane kroki | przerwanie pętli i zapis śladu | zespół utrzymania |
| żądanie spoza kontraktu | odmowa wykonania i eskalacja | właściciel procesu |
Nie każde zatwierdzenie musi być ręczne, i tu zaczyna się szczebel 3. Twarda reguła może automatycznie dopuścić działanie niskiego ryzyka, jeśli wszystkie warunki są spełnione. Człowiek przejmuje przypadki nietypowe, konfliktowe albo kosztowne. Właśnie to rozdzielenie daje skalę: nie zmusza pracownika do mechanicznego klikania każdej poprawnej propozycji, ale nie oddaje agentowi decyzji, za którą organizacja musi odpowiadać.
Kiedy pełna autonomia ma sens
Pełna autonomia w firmie oznacza szczebel 3 uruchamiany zdarzeniem, bez polecenia człowieka: nowe zgłoszenie, plik w folderze, zmiana statusu w ERP. Rekomenduję ją tylko wtedy, gdy spełnione są cztery warunki naraz:
- Działanie jest odwracalne albo tanie w naprawie. Klasyfikacja zgłoszenia, notatka robocza, przekierowanie do kolejki. OpenAI wskazuje działania nieodwracalne, płatności i duże zwroty jako miejsca, w których człowiek powinien przejąć sprawę.
- Limit siedzi w usłudze, nie w prompcie. Próg kwoty, lista odbiorców i liczba operacji na godzinę są sprawdzane przez system docelowy. OWASP nazywa to autoryzacją w systemie docelowym zamiast polegania na decyzji modelu.
- Ktoś patrzy na wyniki. Właściciel procesu przegląda próbkę i wszystkie wyjątki, a alert trafia do osoby, która może działać.
- Pilot pokazał rodzaj i liczbę błędów. Wiesz, jak agent się myli, a nie tylko, że zwykle ma rację.
Agent nie ma oporów przed działaniem o trzeciej w nocy. Właśnie dlatego limit musi je mieć.
Doświadczenie użytkowników też przesuwa granicę. Anthropic w badaniu autonomii agentów w praktyce (luty 2026) opisuje, że u nowych użytkowników Claude Code około 20% sesji działa z pełnym automatycznym zatwierdzaniem, a u doświadczonych ponad 40%. Jednocześnie doświadczeni częściej przerywają agentowi pracę: w około 9% tur zamiast 5%. Nadzór nie znika, tylko przesuwa się z zatwierdzania każdego kroku na obserwację i szybkie przerwanie. Dlatego wyłącznik i czytelny podgląd pracy agenta są warunkiem wyższego szczebla, a nie dodatkiem.
Prompt injection zmienia dokument w polecenie
Agent czyta treści, które nie zawsze są zaufane: e-maile, dokumenty, strony internetowe i pola w systemach. Złośliwa lub przypadkowa instrukcja ukryta w takim materiale może próbować zmienić jego zachowanie. Problem jest groźniejszy niż w zwykłym czacie, ponieważ agent ma narzędzia i uprawnienia.
OWASP opisuje nadmierną sprawczość jako ryzyko wynikające z nadmiaru funkcji, uprawnień albo autonomii. Zaleca ograniczanie rozszerzeń, zakresu operacji i uprawnień oraz wymaganie zatwierdzenia działań o dużym wpływie. To prowadzi do prostej zasady architektonicznej: treść z dokumentu może być danymi dla agenta, ale nie może sama przyznać mu nowych praw.
Warstwa wykonawcza powinna sprawdzać parametry każdego wywołania niezależnie od modelu. Do tego dochodzą listy dozwolonych operacji, filtrowanie adresów i ścieżek, izolacja środowiska oraz rozdzielenie odczytu od zapisu. Szczególnie niebezpieczne jest jedno ogólne narzędzie wykonujące dowolny kod lub zapytanie. Wygodę prototypu kupuje się wtedy kosztem kontroli produkcyjnej.
Testuj przebieg, a nie tylko jakość odpowiedzi
Ocena agenta musi obejmować cały proces. Poprawny tekst końcowy nie dowodzi, że agent użył właściwego źródła, wywołał dozwolone narzędzie albo zatrzymał się w odpowiednim miejscu. Zapisuj więc ślad: wersję instrukcji i modelu, wybrane narzędzia, parametry, wyniki pośrednie, decyzje człowieka, błędy oraz koszt.
Zestaw testowy powinien zawierać przypadki typowe, braki danych, sprzeczne informacje, próby wyjścia poza zakres i treści próbujące wpłynąć na agenta. Mierz odsetek poprawnie zakończonych zadań, błędnych wywołań narzędzi, potrzebnych eskalacji, cofnięć i incydentów. Osobno licz czas pracy człowieka. Agent, który automatyzuje pięć minut czynności, ale wymaga dziesięciu minut kontroli, nie usprawnia procesu.
Przykład syntetyczny: zespół przygotowuje 100 testowych zgłoszeń, w tym 20 z brakami, 10 ze sprzecznymi danymi i 10 z instrukcjami osadzonymi w treści. Kryterium nie powinno brzmieć „90% dobrych odpowiedzi”. Lepiej wymagać, aby agent nie wykonał żadnej operacji zakazanej, wszystkie przypadki wysokiego ryzyka skierował do zatwierdzenia, a błędną klasyfikację dało się odtworzyć ze śladu. Liczby służą tu wyłącznie pokazaniu konstrukcji testu, nie opisują wyniku rzeczywistego wdrożenia.
Produkcja wymaga hamulca i właściciela
Po uruchomieniu ustaw limity liczby kroków, czasu, tokenów, kosztu i liczby operacji w określonym okresie. Zdefiniuj wyłącznik, który natychmiast zatrzyma agenta bez wyłączania całego procesu, i regułę, że po incydencie agent wraca szczebel niżej. Przygotuj też tryb ręczny, aby firma mogła pracować podczas awarii modelu, integracji albo vendora.
Alert powinien trafiać do osoby, która może podjąć działanie, a nie tylko do wspólnej skrzynki. Właściciel biznesowy odpowiada za poprawność procesu. Właściciel techniczny odpowiada za działanie integracji i zabezpieczeń. Bezpieczeństwo określa dopuszczalny dostęp, a compliance pomaga ustalić obowiązki dokumentacyjne. Model nie przejmuje odpowiedzialności żadnej z tych ról.
Każda zmiana modelu, instrukcji, narzędzia lub źródła danych powinna uruchamiać ponowną ocenę. Agent jest systemem złożonym: nawet aktualizacja jednego składnika może zmienić kolejność wywołań, sposób interpretacji danych albo częstotliwość eskalacji. Wersjonuj konfigurację i wdrażaj ją najpierw na części ruchu. Porównuj nową wersję z poprzednią na tym samym zestawie przypadków, zamiast oceniać kilka efektownych demonstracji.
Ustal również zasady przechowywania śladów. Logi są potrzebne do wyjaśnienia incydentu, lecz mogą zawierać treść dokumentów, dane użytkowników i parametry operacji. Ogranicz ich zakres, czas przechowywania i grono osób mających dostęp. Tajemnic oraz pełnych danych uwierzytelniających nie zapisuj w śladzie. Sama obserwowalność nie poprawia bezpieczeństwa, jeśli tworzy drugą, słabiej chronioną kopię informacji.
Przegląd miesięczny powinien odpowiadać na cztery pytania: czy zakres zadań się zmienił, czy wzrosła liczba ręcznych poprawek, czy pojawiły się nowe źródła i czy użytkownicy próbują obchodzić ograniczenia. Gdy odpowiedź brzmi „tak”, wróć do kontraktu działania. Autonomia nie jest zgodą wydawaną raz na zawsze.
W szerszym programie transformacji i porządkowania systemu firmy agent powinien być ostatnim elementem łańcucha, a nie pierwszą próbą naprawy niejasnego procesu. Najpierw uporządkuj dane, role i reguły decyzji. Dopiero potem wybierz miejsca, w których autonomia faktycznie zmniejszy czas obsługi bez zwiększenia kosztu błędu.
Reguła, jeden agent czy wielu agentów
| Charakter zadania | Pierwszy wariant | Próg rozszerzenia |
|---|---|---|
| Znane dane, stałe warunki i jednoznaczna decyzja | Reguła lub zwykły przepływ | Model dopiero wtedy, gdy wyjątki wymagają interpretacji |
| Zmienny opis, ale jeden zakres narzędzi i jedna odpowiedzialność | Jeden agent z wąskim dostępem | Dodatkowa rola musi poprawić wynik na próbie |
| Oddzielne kompetencje, źródła lub uprawnienia | Kilka ról z jawnym przekazaniem | Każdy agent ma kontrakt, limit i warunek zatrzymania |
Na każdym poziomie oddziel propozycję od operacji powodującej skutek. LangGraph pokazuje, jak zatrzymać i wznowić kontrolowany przepływ; wybór frameworka nie zastępuje autoryzacji. Test porównawczy powinien mierzyć poprawnie zakończone zadania, liczbę niepotrzebnych kroków oraz koszt naprawy błędów.
Jak ustalić granicę w poniedziałek
Wybierz jedno zadanie wykonywane co najmniej kilka razy w tygodniu. Rozpisz pięć wymiarów autonomii: dane, czynności, obiekty, wartość i czas. Następnie usuń agentowi każdą funkcję, której nie potrzebuje do tego zadania. Wskaż jedną operację odwracalną, którą może wykonać sam, oraz jedną decyzję wymagającą człowieka. Przygotuj dziesięć przypadków nietypowych i sprawdź, czy agent zatrzymuje się przed skutkiem.
Jeżeli nie potrafisz wskazać właściciela, warunku zatrzymania i sposobu cofnięcia zmiany, zostaw agenta na szczeblu 1 albo 2. Wtedy udział człowieka jest jawnym elementem projektu, a nie awaryjnym dodatkiem — tak działa agent półautonomiczny.
- Agenci AI
- Strategia
