Agent przygotował decyzję. Kto za nią odpowiada?

Agent może przygotować wariant decyzji, lecz firma musi określić, kto może uczynić ją skuteczną. Inne ryzyko ma szkic maila, inne wysłanie oferty, a jeszcze inne zmiana limitu kredytowego klienta. Dobra zasada nie brzmi „człowiek zawsze klika”, lecz „prawo działania odpowiada skutkom błędu i możliwości wycofania”.

Szersze zasady odpowiedzialności i utrzymania opisuje przewodnik po bezpieczeństwie i utrzymaniu AI.

Zacznij od skutku, nie od nazwy narzędzia

Rozpisz działania w jednym procesie: odczyt danych, przygotowanie propozycji, zapis wersji roboczej, zatwierdzenie, wysłanie do klienta i ewentualne cofnięcie. Przy każdym zapytaj, czy akcja jest odwracalna, kogo dotyczy i jaki jest koszt pomyłki. Agent, który streszcza zgłoszenie, może mieć mniejszy zakres kontroli niż agent, który samodzielnie przyznaje rabat. Obydwu nie należy traktować jako jednego poziomu „autonomii”.

NIST AI Risk Management Framework zaleca jasne rozdzielenie ról ludzi i AI oraz odpowiedzialności kierownictwa za decyzje o ryzyku. Praktycznym odpowiednikiem jest matryca: agent proponuje, specjalista sprawdza źródła, osoba z limitem zatwierdza zobowiązanie, właściciel procesu analizuje powtarzające się błędy. To opis funkcji, nie wymóg tworzenia czterech nowych stanowisk.

Trzy poziomy decyzji na przykładzie oferty

Agent może bezpiecznie zebrać wymagania klienta i przygotować szkic oferty ze wskazaniem brakujących danych. Pracownik sprawdza, czy zakres odpowiada rozmowie i czy cena pochodzi z aktualnego cennika. Rabat powyżej ustalonego progu wymaga dodatkowej akceptacji. Po wysłaniu firma zachowuje ślad: jakie dane były dostępne, kto zatwierdził treść i jaka wersja trafiła do klienta.

Jeżeli agent proponuje zmianę wbrew regule, system powinien zatrzymać akcję i skierować wyjątek do człowieka. Jeśli nie ma takiej drogi, pracownik zacznie omijać system lub agent zacznie pozornie „rozwiązywać” sprawy bez umocowania. Przekazanie sprawy między człowiekiem a agentem opisuje, jakie informacje muszą przejść wraz z zadaniem.

Gdy człowiek klika „zatwierdź” bez sprawdzenia

Sama obecność przycisku akceptacji nie dowodzi kontroli. Jeśli agent przygotowuje sto propozycji dziennie, a pracownik ma kilka sekund na każdą, zatwierdzanie może stać się automatycznym gestem. Zmierz czas potrzebny na rzeczywiste sprawdzenie źródeł i porównaj go z liczbą spraw. Gdy obciążenie jest zbyt duże, zmniejsz zakres automatyzacji, popraw jakość danych albo skieruj do człowieka tylko te przypadki, w których jego osąd coś wnosi.

Projektuj ekran zatwierdzenia tak, by pokazywał nie tylko odpowiedź, ale również dane, na których się opiera, różnice względem poprzedniej wersji i niepewność. Dla wysokiego ryzyka można wymagać wyjaśnienia powodu decyzji. Dla rutynowej pracy nadmiar pól może jednak spowolnić proces bez poprawy jakości. Dobierz kontrolę do skutku błędu i potwierdź ją obserwacją pracy ludzi.

Co pewien czas sprawdź próbkę zaakceptowanych działań. Jeżeli błędy regularnie przechodzą przez kontrolę, odpowiedzią nie jest wyłącznie szkolenie pracownika. Trzeba zapytać, czy miał dane, czas i realną możliwość odmowy.

Kto odpowiada za błąd?

Nie wpisuj do procedury, że „odpowiada AI”. Właściciel procesu odpowiada za reguły i pomiar, administrator za działanie narzędzia, osoba zatwierdzająca za decyzję w granicach swojej roli. Rozdzielenie odpowiedzialności pozwala wyciągać wnioski z błędu bez zrzucania winy na ostatniego użytkownika. Techniczne metody ograniczania dostępu, takie jak RBAC, ABAC i ReBAC, pomagają egzekwować ustalone granice. Jeśli takich granic nie ma, zacznij od ich opisania w zakresie współpracy nad systemem.