Vendor obiecuje autonomicznego agenta AI. O co zapytać?
Temat: Bezpieczeństwo i utrzymanie AI
Słowo „autonomiczny” nie mówi, co agent może zrobić w Twojej firmie. Przed zakupem poproś vendora o opis konkretnych działań: co system odczytuje, co zapisuje, jakie decyzje podejmuje bez człowieka i kiedy się zatrzymuje. Im większy skutek możliwego błędu, tym ważniejsze są dowody z trudnych przypadków, a nie tylko z demonstracji.
Ten wpis to lista pytań przed zakupem. Jak po wdrożeniu rozpisać, co agent przygotowuje, kto zatwierdza i kto odpowiada, pokazuje macierz odpowiedzialności za decyzje agenta.
Rozbierz „autonomię” na trzy pytania
OWASP w opisie ryzyka Excessive Agency (LLM03:2026) wskazuje trzy źródła szkód: nadmierną funkcjonalność, nadmierne uprawnienia i nadmierną autonomię. To dobra rama rozmowy z vendorem:
- Funkcjonalność — jakich narzędzi agent używa i czy ma funkcje, których to zadanie nie potrzebuje (na przykład usuwanie, gdy wystarcza odczyt)?
- Uprawnienia — jakim kontem łączy się z systemami firmy i czy to konto ma więcej praw niż zadanie?
- Autonomia — które działania wykonuje bez potwierdzenia człowieka i czy da się to ustawić per typ działania?
Dwie oferty mogą używać tego samego słowa „autonomiczny”, a oznaczać zupełnie inny zakres ryzyka. Poziomy autonomii — od szkicu do działania z limitem — opisuje poradnik o agentach AI.
Pokażcie mi najtrudniejsze trzy sprawy
Przygotuj własne przykłady: brakujące dane, sprzeczną instrukcję oraz próbę działania poza zakresem. Poproś o pokazanie, co agent zrobi, jakie źródło wskaże i kiedy odda sprawę pracownikowi. Jeśli odpowiedź brzmi „model sam zdecyduje”, zapytaj, jak firma wykryje błąd i cofnie działanie. Demo na idealnym przykładzie nie odpowiada na te pytania — w demo każdy agent jest autonomiczny i nieomylny.
Warto też sprawdzić, czy system potrafi odmówić. W procesie biznesowym odmowa przy braku umocowania jest często poprawnym zachowaniem. Agent, który zawsze produkuje odpowiedź, może sprawiać wrażenie pomocnego, ale przenosi ryzyko na pracownika lub klienta.
Rozlicz nadzór i odpowiedzialność
Zapytaj, kto ustala reguły, kto zatwierdza zmianę zachowania, kto przegląda błędy i kto opłaca pracę kontrolną. Poproś o ślad działań potrzebny do wyjaśnienia reklamacji. NIST AI RMF w podkategorii GOVERN 6.1 wymaga polityk dla ryzyk AI związanych z podmiotami trzecimi, a w MANAGE 2.4 — przypisanej odpowiedzialności za wyłączenie systemu, który działa niezgodnie z przeznaczeniem. Z umowy i projektu muszą wynikać praktyczne obowiązki obu stron, a nie tylko deklaracja „human in the loop”.
Sprawdź również, czy po wyłączeniu agenta otwarte sprawy można dokończyć ręcznie. Jeśli nie, autonomia staje się zależnością operacyjną. Plan awaryjnego przejęcia powinien być częścią odbioru rozwiązania.
Ustal, co zmienia aktualizacja
Zapytaj, czy agent wybiera następny krok z zamkniętej listy, czy może tworzyć nowe działania. Czy działa w granicach jednego klienta, czy potrafi przeszukiwać całą bazę? Czy zatwierdzenie człowieka jest wymagane przed zapisem, czy dopiero po wykonaniu akcji?
Zwróć uwagę na zmianę zakresu po aktualizacji produktu. Czy nowa wersja może wykonać działanie, którego wcześniejsza nie miała? Kto zatwierdza włączenie funkcji i na jakich testach? Umowa o wsparciu technicznym nie zastępuje decyzji biznesowej o rozszerzeniu autonomii. Przed wdrożeniem ustal, że nowe możliwości są domyślnie wyłączone do czasu odbioru.
Poproś również o pokazanie dziennika jednej sprawy od zlecenia do końca. Jeśli nie można odtworzyć, dlaczego system wybrał dane źródło lub komu przekazał wyjątek, późniejsze rozliczenie błędu będzie trudne bez względu na deklarowaną skuteczność modelu.
Porównuj wynik przy pełnym koszcie
Poproś o pomiar na Twojej próbce, z poprawkami i eskalacjami. Koszt pojedynczego wywołania modelu nie jest kosztem zamkniętej sprawy. Jeśli vendor albo partner nie potrafi określić granic rozwiązania, zacznij od węższego zakresu.
- Zakupy AI
- Agenci AI
- Ryzyko
