Jak prowadzić rejestr decyzji agenta AI?
Temat: Bezpieczeństwo i utrzymanie AI
Rejestr decyzji agenta ma pozwolić odtworzyć działanie i naprawić błąd, nie zapisywać każdej linijki rozmowy bez celu. Dla ważnych decyzji potrzebujesz informacji: jaka sprawa, jakie dane i reguły były dostępne, co agent zaproponował, kto zatwierdził działanie i jaki był skutek. Szczegółowość zależy od ryzyka procesu.
Kto w ogóle zatwierdza i odpowiada za decyzję agenta, opisuje wpis agent przygotował decyzję: kto za nią odpowiada. Rejestr jest jego zapisem w czasie.
Rejestr decyzji to nie log techniczny
Ślady wywołań modelu, tokeny, opóźnienia i błędy narzędzi to obserwowalność systemu — potrzebna zespołowi technicznemu, opisana w poradniku o obserwowalności AI. Rejestr decyzji jest węższy i biznesowy: jeden wiersz na decyzję, z identyfikatorem sprawy, który pozwala w razie potrzeby zejść do śladu technicznego. Mieszanie obu w jednym strumieniu kończy się tym, że obsługa klienta nie znajduje sprawy, a zespół techniczny nie znajduje błędu.
Rozróżnij rekomendację od działania
Streszczenie dokumentu, projekt odpowiedzi i zmiana terminu zamówienia to trzy różne zdarzenia. Pierwsze może wymagać jedynie wersji źródła i czasu. Drugie — także śladu weryfikacji przed wysyłką. Trzecie — identyfikatora upoważnionej osoby, starej i nowej wartości oraz potwierdzenia w systemie źródłowym. Jeden uniwersalny log albo będzie zbyt ubogi, albo sparaliżuje codzienną pracę.
Przykład dydaktyczny: agent proponuje rabat na podstawie polityki handlowej. Rejestr pokazuje wersję zasad i wyliczenie, ale dopiero akceptacja handlowca zmienia ofertę. Jeśli zapisuje się tylko końcową cenę, nie da się później ustalić, czy błąd tkwił w danych, regule czy decyzji człowieka.
Zapisz minimalny zestaw pól
Proponowany zestaw (lista autora, do przycięcia według ryzyka procesu):
| Pole | Po co |
|---|---|
| identyfikator sprawy i czas | żeby znaleźć zdarzenie i połączyć je ze śladem technicznym |
| typ czynności | rekomendacja, wersja robocza czy działanie ze skutkiem |
| źródła danych i wersja reguły | według czego agent działał wtedy, a nie dziś |
| propozycja agenta | co system zaproponował |
| status akceptacji i osoba | kto zatwierdził, zmienił albo odrzucił — i dlaczego |
| identyfikator zapisu w systemie | co rzeczywiście się zmieniło |
| odwołanie lub korekta | kto i kiedy zmienił decyzję po fakcie |
Treść swobodnej rozmowy przechowuj tylko wtedy, gdy służy ustalonemu celowi; może zawierać dane klienta i informacje niepotrzebne do audytu.
Ostatnie pole wynika wprost z NIST AI RMF. Podkategoria MANAGE 4.1 wymaga, by plan monitorowania po wdrożeniu obejmował m.in. odwołanie i nadpisanie decyzji (appeal and override), a MANAGE 4.3 — by incydenty i błędy były śledzone i dokumentowane. Rejestr wspiera te czynności tylko wtedy, gdy ktoś go przegląda.
Gdy człowiek zmieni rekomendację, rejestr powinien pokazać zarówno propozycję, jak i powód odrzucenia. To materiał do poprawy procesu, nie oceny pracownika za każdy wyjątek.
Sprawdź rejestr od końca
Wyobraź sobie reklamację klienta: twierdzi, że agent zmienił termin bez zgody. Czy w ciągu kilku minut znajdziesz sprawę, wersję danych, propozycję agenta, akceptację i faktyczny zapis w systemie? Jeśli tak, rejestr spełnia cel. Jeśli potrzebujesz przejrzeć setki komunikatów bez identyfikatora sprawy, sama objętość logów nie daje kontroli. Agent nie pomoże tu wspomnieniem, że „to było uzgodnione” — rejestr ma to pokazać czarno na białym. Ćwiczenie warto przeprowadzić z obsługą klienta, IT i właścicielem procesu.
Ten sam test sprawdza rozdział obowiązków: jeśli z rejestru wynika, że ta sama osoba wnioskowała i zatwierdzała, wróć do podziału ról przy akceptacji działań agenta.
Ustal dostęp i wersje
Ustal, kto i jak długo może oglądać zapis. Osoba naprawiająca błąd potrzebuje szczegółów, ale nie każdy pracownik powinien mieć dostęp do pełnej historii rozmów. Po zmianie reguły zachowaj możliwość rozpoznania, według której wersji agent działał wcześniej. Bez tego firma będzie oceniać dawną decyzję według dzisiejszej polityki i przypisywać błąd niewłaściwej przyczynie. Jeśli rejestr zapisuje wszystko, ale nikt nie potrafi znaleźć konkretnej sprawy, zwiększenie liczby logów niczego nie naprawi — zmień pola.
- Governance
- Agent AI
- Audyt
