Po czym zarząd pozna, że pilotaż AI działa naprawdę?

Pilotaż działa wtedy, gdy poprawia wynik na rzeczywistych sprawach i można go bezpiecznie utrzymać po zakończeniu testu. Dobre demo dowodzi jedynie, że system wykonał wybrane zadanie w przygotowanych warunkach. Zarząd powinien przed startem uzgodnić punkt odniesienia, próg akceptacji, koszt pracy kontrolnej i warunki zatrzymania próby.

Szerszy kontekst wyboru procesu i granic działania opisuje przewodnik po automatyzacji i agentach AI.

Zdefiniuj wynik całej sprawy

Jeżeli agent przygotowuje odpowiedź na reklamację, nie mierz tylko czasu pisania tekstu. Mierz czas od przyjęcia zgłoszenia do zaakceptowanej odpowiedzi, liczbę korekt, potrzebę eskalacji i to, czy klient musiał wrócić z tym samym problemem. Jeśli agent pisze szybciej, ale specjalista dłużej sprawdza źródła, firma może nie zyskać nic. Punktem odniesienia powinny być sprawy obsłużone przed pilotem w podobnym zakresie, nie najlepszy przypadek wybrany do prezentacji.

Przykłady testowe muszą zawierać zwykłe sprawy i wyjątki: brakujące dokumenty, sprzeczne dane, nietypową prośbę, niedozwolony zakres dostępu. Właśnie wyjątki decydują, czy system nadaje się do codziennej pracy. OECD zwraca uwagę, że korzyści z AI w MŚP wymagają warunków wdrożenia i umiejętności, a nie wynikają automatycznie z samego dostępu do narzędzia.

Uzgodnij trzy decyzje przed uruchomieniem

Pierwsza: co jest wynikiem minimalnym — na przykład skrócenie czasu przy zachowaniu jakości. Druga: co dyskwalifikuje projekt — wyciek danych, nieodwracalna błędna akcja, odpowiedzi bez źródła w sprawie wymagającej dowodu. Trzecia: kto podejmuje decyzję po pilocie i z jakiego budżetu będzie opłacone utrzymanie. Bez trzeciej decyzji nawet udany test może utknąć między działami.

Zapisz też koszty: przygotowanie danych, integrację, nadzór specjalisty, poprawki, szkolenie oraz miesięczne działanie. Łatwo policzyć koszt modelu, a pominąć człowieka, który ręcznie ratuje każdy trudniejszy przypadek. Business case w trzech scenariuszach pomaga pokazać zarządowi ten rozrzut.

Protokół odbioru powinien zmieścić się na jednej stronie

Zapisz przed testem: typ spraw, których agent może dotknąć; liczbę i pochodzenie przypadków testowych; wynik obecnego procesu; miarę jakości; czas pracy człowieka po otrzymaniu propozycji; przypadki dyskwalifikujące; oraz osobę podejmującą decyzję. Nie musisz używać skomplikowanej punktacji. Ważne, by po miesiącu nie dało się zmienić definicji sukcesu tylko dlatego, że inny parametr wygląda lepiej.

W protokole rozdziel dwa etapy. Ocena zadania mówi, czy agent potrafi na przykład przygotować poprawny projekt odpowiedzi. Ocena procesu mówi, czy dzięki temu reklamacja jest zamykana szybciej i bez dodatkowego ryzyka. Można zaliczyć pierwszy etap i nie zaliczyć drugiego: przyczyną może być powolne zatwierdzanie albo błędne dane w systemie źródłowym. Taki wynik jest użyteczny, bo wskazuje właściwy następny krok.

Do odbioru zaproś osobę, która później będzie używać rozwiązania, a nie tylko sponsora i wykonawcę. Poproś ją o ocenę trudnych przypadków. Jej uwagi trzeba zapisać wraz z decyzją, nawet gdy nie pokrywają się z liczbą wygenerowanych poprawnych tekstów.

Wynik negatywny też ma wartość

Pilot może uczciwie wykazać, że źródła są zbyt słabe albo proces nie ma właściciela. To powód do poprawy warunków, a nie do przedstawienia testu jako sukcesu. Po zamknięciu próby opublikuj jednostronicową decyzję: skalować, zawęzić, poprawić dane lub zatrzymać. Jeśli zarząd potrzebuje najpierw wybrać właściwy proces, darmowy poradnik porządkuje pytania przed projektem.