LangSmith: jak oceniać i śledzić aplikacje AI

Temat: AI SDLC

Demonstracja asystenta wyglądała świetnie. Po zmianie instrukcji część odpowiedzi się pogorszyła i nikt nie wie, która. LangSmith to platforma do śledzenia, testowania i oceniania aplikacji opartych na modelach językowych: pokazuje, co aplikacja zrobiła krok po kroku, i pozwala porównać wersje na tym samym zbiorze przypadków. Nie powie jednak, czym jest poprawna odpowiedź. To musi wynikać z zadania biznesowego. Ładny ślad nie jest dowodem, że klient dostał właściwy wynik.

Stan na 5 października 2026 r. Platforma działa z wieloma frameworkami i modelami różnych vendorów, nie tylko z LangChain, a jej zakres to obserwowalność, ewaluacja, prompty i wdrażanie (dokumentacja).

Miejsce LangSmith obok bibliotek LangChain, LangGraph i Deep Agents opisuje poradnik o ekosystemie LangChain. Gdzie ewaluacja i obserwowalność wchodzą w cały cykl wytwarzania z AI, pokazuje poradnik AI SDLC dla firm.

Co pokazuje LangSmith

Ślad wykonania pozwala odtworzyć przebieg jednego żądania: etapy, wywołania i miejsce błędu, w zakresie danych, które aplikacja rejestruje. Krok bez instrumentacji zostaje luką (Observability).

LangSmith nie wykonuje procesu. Dokument pobiera, narzędzie wywołuje i odpowiedź zwraca twoja aplikacja. Platforma pomaga ten przebieg analizować i porównywać.

Kiedy to ma znaczenie dla firmy

Aplikacja AI nie jest „przetestowana raz i gotowa”. Model się zmienia, dane się zmieniają, instrukcje też. Bez stałego śledzenia i ewaluacji nikt nie wie, kiedy aplikacja zaczęła się mylić. Agenci AI mylą się z wielką pewnością siebie, więc sam ton odpowiedzi niczego nie dowodzi.

Dla zarządu liczą się trzy pytania. Kto zapisał, co znaczy poprawna odpowiedź? Kto widzi ślady i jakie dane w nich są? Ile kosztuje obserwacja? Szerszy obraz, jak projektować, testować i rozwijać aplikacje AI, jest w filarze AI SDLC.

Koszt i hosting

Według strony cennika LangChain na 5 października 2026 r. (kwoty w USD, strona nie wskazuje regionu): plan Developer kosztuje 0 USD i obejmuje 1 miejsce oraz do 5 000 podstawowych śladów miesięcznie. Plan Plus to 39 USD za miejsce miesięcznie z 10 000 śladów w cenie; każdy dodatkowy ślad to 0,005 LSU, a 1 LSU kosztuje 1 USD. Enterprise ma cenę indywidualną. Ślady podstawowe są przechowywane 14 dni. Cennik się zmienia, więc przed zakupem otwórz stronę i sprawdź go dla swojej organizacji.

Hosting ma trzy warianty: chmura, hybrydowy i self-hosted. Dwa ostatnie dotyczą planu Enterprise. W chmurze można wybrać region UE (GCP EU), a organizacja nie obejmuje wielu regionów (regiony). Wybór regionu nie zastępuje oceny przepływu danych.

Najpierw zapisz, co znaczy poprawna odpowiedź

Dla asystenta zamówień poprawna odpowiedź zgadza się ze statusem w systemie, nie ujawnia cudzych danych i jasno mówi o braku dostępu.

KryteriumJak sprawdzić
Zgodność faktówPorównać ze znanym źródłem
KompletnośćSprawdzić wymagane elementy
Granice dostępuOcenić odmowę w niedozwolonym przypadku
Brak danychOczekiwać jawnej informacji zamiast zgadywania
UżytecznośćCzy odbiorca wie, co dalej

Nie sprowadzaj wszystkiego do jednej oceny. Wysoka średnia może ukryć błąd krytyczny, a ujawnienie cudzych danych nie staje się akceptowalne dlatego, że reszta odpowiedzi była ładnie napisana.

Zbiór przypadków i porównanie wersji

LangSmith rozróżnia ocenę offline, na przygotowanych danych, od oceny online, na ruchu produkcyjnym (Evaluation, zbiory danych). Zbiór zacznij od przypadków zwykłych i trudnych, nie tylko tych z demonstracji. Inaczej poprawisz wynik prezentacji, a nie odporność aplikacji.

Przykład dla asystenta zamówień: cztery sztuczne sprawy. Każda ma oczekiwany typ zachowania, nie jedną wzorcową frazę.

PrzypadekWarunek zaliczeniaNiedopuszczalny wynik
Poprawny numerStatus i data z właściwego rekorduDopisany termin
Numer nieznanyProśba o identyfikator lub informacja o brakuWymyślony status
Cudze zamówienieOdmowa bez szczegółówDane innego klienta
Sprzeczne źródłaWskazanie niepewności i eskalacjaWybrana losowo data

Przed zmianą instrukcji zachowaj wynik bazowy, potem uruchom nową wersję na tym samym zbiorze. Zapisz model, wersję instrukcji, dane i ustawienia. Zmiana kilku rzeczy naraz uniemożliwia wskazanie przyczyny. Przy generowaniu zmiennym powtarzaj istotne przypadki.

Automatyczny oceniający też się myli. Regułą sprawdzisz format JSON, ale ocenę złożonej odpowiedzi przez model porównaj z oceną osoby znającej zadanie. Oceniający, który nagradza pewny ton mimo błędnych faktów, popchnie cię w złą stronę.

Dane w śladach

Ślad może zawierać pytanie, fragmenty dokumentów i odpowiedzi narzędzi, czyli więcej, niż widzi użytkownik. Przed włączeniem rejestrowania ustal, czego potrzebujesz do diagnozy, i ogranicz resztę. Sprawdź dostęp, retencję i eksport. Do testów używaj danych syntetycznych. Jeśli ważne jest samodzielne utrzymanie otwartego narzędzia, porównaj Langfuse z wybranym wariantem LangSmith.

W poniedziałek wybierz jedną błędną odpowiedź. Odtwórz źródło, wywołania i wynik, a potem dodaj ją do zestawu kontrolnego. Zobaczysz, czy ten sam błąd wróci po następnej zmianie. Dla procesów z agentami przydatny jest też LangGraph, który porządkuje ich przebieg.

Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Naucz się wdrażać takie narzędzia u klienta

Kurs Forward Deployed AI Engineer w Akademii: jak przejść od biblioteki do działającego systemu w firmie.