Dostawca obiecuje autonomicznego agenta AI. O co zapytać?

Słowo „autonomiczny” nie mówi, co agent może zrobić w Twojej firmie. Przed zakupem poproś dostawcę o opis konkretnych działań: co system odczytuje, co zapisuje, jakie decyzje podejmuje bez człowieka i kiedy się zatrzymuje. Im większy skutek możliwego błędu, tym ważniejsze są dowody z trudnych przypadków, a nie tylko z demonstracji.

Szersze zasady odpowiedzialności i utrzymania opisuje przewodnik po bezpieczeństwie i utrzymaniu AI.

Pokażcie mi najtrudniejsze trzy sprawy

Przygotuj własne przykłady: brakujące dane, sprzeczną instrukcję oraz próbę działania poza zakresem. Poproś o pokazanie, co agent zrobi, jakie źródło wskaże i kiedy odda sprawę pracownikowi. Jeśli odpowiedź brzmi „model sam zdecyduje”, zapytaj, jak firma wykryje błąd i cofnie działanie. Demo na idealnym przykładzie nie odpowiada na te pytania.

Warto też sprawdzić, czy system potrafi odmówić. W procesie biznesowym odmowa przy braku umocowania jest często poprawnym zachowaniem. Agent, który zawsze produkuje odpowiedź, może sprawiać wrażenie pomocnego, ale przenosi ryzyko na pracownika lub klienta. Przekazanie sprawy między człowiekiem a agentem daje konkretne kryteria tej drogi.

Rozlicz nadzór i odpowiedzialność

Zapytaj, kto ustala reguły, kto zatwierdza zmianę zachowania, kto przegląda błędy i kto opłaca pracę kontrolną. Poproś o ślad działań potrzebny do wyjaśnienia reklamacji. NIST AI RMF podkreśla znaczenie ról, nadzoru oraz okresowego przeglądu ryzyka; w umowie i projekcie muszą z tego wynikać praktyczne obowiązki, a nie tylko deklaracja „human in the loop”.

Sprawdź również, czy po wyłączeniu agenta otwarte sprawy można dokończyć ręcznie. Jeśli nie, autonomia staje się zależnością operacyjną. Plan awaryjnego przejęcia powinien być częścią odbioru rozwiązania.

Ustal, co dostawca rozumie przez samodzielną decyzję

Zapytaj, czy agent wybiera następny krok z zamkniętej listy, czy może tworzyć nowe działania. Czy działa w granicach jednego klienta, czy potrafi przeszukiwać całą bazę? Czy zatwierdzenie człowieka jest wymagane przed zapisem, czy dopiero po wykonaniu akcji? Dwie oferty mogą używać tego samego słowa „autonomiczny”, a oznaczać zupełnie inny zakres ryzyka. Poproś o opis działania w kategoriach spraw, uprawnień i skutków.

Zwróć uwagę na zmianę zakresu po aktualizacji produktu. Czy nowa wersja może wykonać działanie, którego wcześniejsza nie miała? Kto zatwierdza włączenie funkcji i na jakich testach? Umowa o wsparciu technicznym nie zastępuje decyzji biznesowej o rozszerzeniu autonomii. Przed wdrożeniem ustal, że nowe możliwości są domyślnie wyłączone do czasu odbioru.

Poproś również o pokazanie dziennika jednej sprawy od zlecenia do końca. Jeśli nie można odtworzyć, dlaczego system wybrał dane źródło lub komu przekazał wyjątek, późniejsze rozliczenie błędu będzie trudne bez względu na deklarowaną skuteczność modelu.

Porównuj wynik przy pełnym koszcie

Poproś o pomiar na Twojej próbce, z poprawkami i eskalacjami. Koszt pojedynczego wywołania modelu nie jest kosztem zamkniętej sprawy. Jeśli dostawca nie potrafi określić granic rozwiązania, zacznij od węższego zakresu. Płatna prezentacja dla zarządu pomaga najpierw ustalić, jaki proces firma naprawdę chce usprawnić, zanim porówna się oferty agentów.