Jak podzielić role przy akceptacji działań agenta?

Temat: Bezpieczeństwo i utrzymanie AI

Jedna osoba ani jedno konto techniczne nie powinno samodzielnie przejść całej drogi działania agenta o wysokiej stawce: od ustalenia reguły, przez akceptację wyjątku, po potwierdzenie wykonania. To zasada rozdziału obowiązków. Nie oznacza czterech podpisów pod każdą wiadomością. Chodzi o to, by w sprawach z ceną, płatnością i danymi klienta zawsze był niezależny drugi punkt.

Kto w ogóle odpowiada za decyzję przygotowaną przez agenta — agent, zatwierdzający czy właściciel procesu — rozpisuje wpis agent przygotował decyzję: kto za nią odpowiada. Ten tekst dotyczy węższego pytania: jak nie skleić tych ról w jednej osobie.

Skąd ta zasada

NIST definiuje rozdział obowiązków (za SP 800-192) prosto: nikt nie powinien mieć uprawnień wystarczających, by samodzielnie nadużyć systemu. Klasyczny przykład: osoba, która autoryzuje wypłatę, nie powinna być tą, która ją przygotowuje. NIST wymienia dwa sposoby egzekwowania:

  • statyczny — role, których nie można łączyć (ta sama osoba nie jest jednocześnie wnioskującym i zatwierdzającym),
  • dynamiczny — sprawdzenie w chwili działania, na przykład zasada dwóch osób przy konkretnej operacji.

Przy agentach dochodzi trzeci uczestnik: konto techniczne agenta. Jeśli agent przygotowuje wniosek, a jego konto ma też prawo go zatwierdzić i zapisać, rozdział obowiązków istnieje tylko w procedurze, nie w systemie. Poradnik o uprawnieniach agentów AI opisuje, jak dać agentowi własną tożsamość z wąskim zakresem.

Nazwij cztery funkcje

Właściciel procesu ustala, jaki wynik jest poprawny. Właściciel danych odpowiada za źródła. Osoba zatwierdzająca podejmuje decyzję w sprawie przekraczającej próg. IT lub operator sprawdza, czy wykonanie w systemie nastąpiło i da się je odtworzyć. W małej firmie jedna osoba może pełnić kilka funkcji. Wtedy warto wskazać, które połączenia tworzą ryzyko i kto je okresowo przegląda.

Przykład dydaktyczny: agent przygotowuje korektę faktury. Opiekun klienta potwierdza powód, finanse zatwierdzają kwotę, a system zapisuje zmianę. Agent może przeprowadzić sprawę przez te kroki. Nie powinien tworzyć powodu korekty i równocześnie sam jej zatwierdzać — nawet jeśli robi to bardzo sprawnie.

Prosty test konfliktu ról

Wybierz jedno działanie o znaczącym skutku, na przykład zmianę limitu kredytowego klienta. Rozpisz, kto może zaproponować zmianę, kto widzi dane, kto ją zatwierdza i kto potwierdza zapis. Następnie zadaj trzy pytania (lista autora):

  1. Czy jedna osoba może wykonać całą drogę, jeśli zaloguje się kolejno do dwóch systemów?
  2. Czy konto techniczne agenta ma prawo zarówno przygotować, jak i zatwierdzić albo zapisać zmianę?
  3. Czy zatwierdzenie zostawia ślad niezależny od osoby, która wnioskowała?

Jeśli na pierwsze lub drugie pytanie odpowiedź brzmi „tak”, zaprojektuj dodatkową kontrolę albo zawęź uprawnienia. Jeśli na trzecie „nie”, rozdział obowiązków nie przetrwa pierwszej reklamacji.

Ustal progi i zastępstwa

Niski wpływ może pozwalać na automatyczne przygotowanie i wykonanie po spełnieniu sztywnych warunków. Wyższe kwoty, nowe konto bankowe, zmiana umowy lub ujawnienie danych powinny uruchamiać dodatkową akceptację. Opisz, co dzieje się przy nieobecności osoby zatwierdzającej. Zastępca musi mieć rzeczywiste uprawnienie, nie tylko dostęp do przycisku. Zastępstwo nie może też przypadać osobie, która w tej samej sprawie wnioskowała.

Podział zapisz przy konkretnym typie czynności, nie jako ogólne hasło „human in the loop”. Czasem człowiek powinien zatwierdzić propozycję przed działaniem, czasem wystarczy przegląd próbki po działaniu. Różnica zależy od odwracalności i skutku błędu.

Sprawdź ślad i możliwość cofnięcia

Ślad powinien pokazać, kto zaproponował, kto zatwierdził i co rzeczywiście zmieniło się w systemie. Jakie pola zapisać, opisuje rejestr decyzji agenta. Przetestuj przypadek błędnej akceptacji: kto zatrzyma kolejne działania, poprawi zapis i powiadomi klienta?

Nie wszystkie czynności potrzebują tego samego rozdziału. Automatyczne przypomnienie o brakującym załączniku nie wymaga komisji. Przy cenie, płatności i ujawnianiu danych koszt błędu jest jednak większy. Zapisz zasadę proporcjonalności, aby zespół nie obchodził systemu z powodu nadmiernej liczby akceptacji. Raz na jakiś czas przejrzyj wyjątki, bo praktyka może ujawnić lukę, której nie widać w schemacie ról.

Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Sprawdźmy, czy jedno konto może przejść całą drogę

Prezentacja dla zarządu: weźmiemy jedno działanie agenta o dużym skutku i sprawdzimy, kto proponuje, kto zatwierdza, kto wykonuje i czy którakolwiek osoba albo konto techniczne może zrobić to samo bez niezależnego śladu. Niezależnie od vendora i partnera.