Vendor obiecuje autonomicznego agenta AI. O co zapytać?

Temat: Bezpieczeństwo i utrzymanie AI

Słowo „autonomiczny” nie mówi, co agent może zrobić w Twojej firmie. Przed zakupem poproś vendora o opis konkretnych działań: co system odczytuje, co zapisuje, jakie decyzje podejmuje bez człowieka i kiedy się zatrzymuje. Im większy skutek możliwego błędu, tym ważniejsze są dowody z trudnych przypadków, a nie tylko z demonstracji.

Ten wpis to lista pytań przed zakupem. Jak po wdrożeniu rozpisać, co agent przygotowuje, kto zatwierdza i kto odpowiada, pokazuje macierz odpowiedzialności za decyzje agenta.

Rozbierz „autonomię” na trzy pytania

OWASP w opisie ryzyka Excessive Agency (LLM03:2026) wskazuje trzy źródła szkód: nadmierną funkcjonalność, nadmierne uprawnienia i nadmierną autonomię. To dobra rama rozmowy z vendorem:

  • Funkcjonalność — jakich narzędzi agent używa i czy ma funkcje, których to zadanie nie potrzebuje (na przykład usuwanie, gdy wystarcza odczyt)?
  • Uprawnienia — jakim kontem łączy się z systemami firmy i czy to konto ma więcej praw niż zadanie?
  • Autonomia — które działania wykonuje bez potwierdzenia człowieka i czy da się to ustawić per typ działania?

Dwie oferty mogą używać tego samego słowa „autonomiczny”, a oznaczać zupełnie inny zakres ryzyka. Poziomy autonomii — od szkicu do działania z limitem — opisuje poradnik o agentach AI.

Pokażcie mi najtrudniejsze trzy sprawy

Przygotuj własne przykłady: brakujące dane, sprzeczną instrukcję oraz próbę działania poza zakresem. Poproś o pokazanie, co agent zrobi, jakie źródło wskaże i kiedy odda sprawę pracownikowi. Jeśli odpowiedź brzmi „model sam zdecyduje”, zapytaj, jak firma wykryje błąd i cofnie działanie. Demo na idealnym przykładzie nie odpowiada na te pytania — w demo każdy agent jest autonomiczny i nieomylny.

Warto też sprawdzić, czy system potrafi odmówić. W procesie biznesowym odmowa przy braku umocowania jest często poprawnym zachowaniem. Agent, który zawsze produkuje odpowiedź, może sprawiać wrażenie pomocnego, ale przenosi ryzyko na pracownika lub klienta.

Rozlicz nadzór i odpowiedzialność

Zapytaj, kto ustala reguły, kto zatwierdza zmianę zachowania, kto przegląda błędy i kto opłaca pracę kontrolną. Poproś o ślad działań potrzebny do wyjaśnienia reklamacji. NIST AI RMF w podkategorii GOVERN 6.1 wymaga polityk dla ryzyk AI związanych z podmiotami trzecimi, a w MANAGE 2.4 — przypisanej odpowiedzialności za wyłączenie systemu, który działa niezgodnie z przeznaczeniem. Z umowy i projektu muszą wynikać praktyczne obowiązki obu stron, a nie tylko deklaracja „human in the loop”.

Sprawdź również, czy po wyłączeniu agenta otwarte sprawy można dokończyć ręcznie. Jeśli nie, autonomia staje się zależnością operacyjną. Plan awaryjnego przejęcia powinien być częścią odbioru rozwiązania.

Ustal, co zmienia aktualizacja

Zapytaj, czy agent wybiera następny krok z zamkniętej listy, czy może tworzyć nowe działania. Czy działa w granicach jednego klienta, czy potrafi przeszukiwać całą bazę? Czy zatwierdzenie człowieka jest wymagane przed zapisem, czy dopiero po wykonaniu akcji?

Zwróć uwagę na zmianę zakresu po aktualizacji produktu. Czy nowa wersja może wykonać działanie, którego wcześniejsza nie miała? Kto zatwierdza włączenie funkcji i na jakich testach? Umowa o wsparciu technicznym nie zastępuje decyzji biznesowej o rozszerzeniu autonomii. Przed wdrożeniem ustal, że nowe możliwości są domyślnie wyłączone do czasu odbioru.

Poproś również o pokazanie dziennika jednej sprawy od zlecenia do końca. Jeśli nie można odtworzyć, dlaczego system wybrał dane źródło lub komu przekazał wyjątek, późniejsze rozliczenie błędu będzie trudne bez względu na deklarowaną skuteczność modelu.

Porównuj wynik przy pełnym koszcie

Poproś o pomiar na Twojej próbce, z poprawkami i eskalacjami. Koszt pojedynczego wywołania modelu nie jest kosztem zamkniętej sprawy. Jeśli vendor albo partner nie potrafi określić granic rozwiązania, zacznij od węższego zakresu.

Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Najpierw proces, potem porównanie ofert agentów

Prezentacja dla zarządu: ustalimy, jaki proces firma naprawdę chce usprawnić, jakie działania agent może wykonywać sam, a jakie tylko przygotowuje — i z tą listą pytań porównacie oferty vendorów i partnerów. Niezależnie od vendora i partnera.