LangSmith: jak oceniać i śledzić aplikacje AI
Temat: AI SDLC
Demonstracja asystenta wyglądała świetnie. Po zmianie instrukcji część odpowiedzi się pogorszyła i nikt nie wie, która. LangSmith to platforma do śledzenia, testowania i oceniania aplikacji opartych na modelach językowych: pokazuje, co aplikacja zrobiła krok po kroku, i pozwala porównać wersje na tym samym zbiorze przypadków. Nie powie jednak, czym jest poprawna odpowiedź. To musi wynikać z zadania biznesowego. Ładny ślad nie jest dowodem, że klient dostał właściwy wynik.
Stan na 5 października 2026 r. Platforma działa z wieloma frameworkami i modelami różnych vendorów, nie tylko z LangChain, a jej zakres to obserwowalność, ewaluacja, prompty i wdrażanie (dokumentacja).
Miejsce LangSmith obok bibliotek LangChain, LangGraph i Deep Agents opisuje poradnik o ekosystemie LangChain. Gdzie ewaluacja i obserwowalność wchodzą w cały cykl wytwarzania z AI, pokazuje poradnik AI SDLC dla firm.
Co pokazuje LangSmith
Ślad wykonania pozwala odtworzyć przebieg jednego żądania: etapy, wywołania i miejsce błędu, w zakresie danych, które aplikacja rejestruje. Krok bez instrumentacji zostaje luką (Observability).
LangSmith nie wykonuje procesu. Dokument pobiera, narzędzie wywołuje i odpowiedź zwraca twoja aplikacja. Platforma pomaga ten przebieg analizować i porównywać.
Kiedy to ma znaczenie dla firmy
Aplikacja AI nie jest „przetestowana raz i gotowa”. Model się zmienia, dane się zmieniają, instrukcje też. Bez stałego śledzenia i ewaluacji nikt nie wie, kiedy aplikacja zaczęła się mylić. Agenci AI mylą się z wielką pewnością siebie, więc sam ton odpowiedzi niczego nie dowodzi.
Dla zarządu liczą się trzy pytania. Kto zapisał, co znaczy poprawna odpowiedź? Kto widzi ślady i jakie dane w nich są? Ile kosztuje obserwacja? Szerszy obraz, jak projektować, testować i rozwijać aplikacje AI, jest w filarze AI SDLC.
Koszt i hosting
Według strony cennika LangChain na 5 października 2026 r. (kwoty w USD, strona nie wskazuje regionu): plan Developer kosztuje 0 USD i obejmuje 1 miejsce oraz do 5 000 podstawowych śladów miesięcznie. Plan Plus to 39 USD za miejsce miesięcznie z 10 000 śladów w cenie; każdy dodatkowy ślad to 0,005 LSU, a 1 LSU kosztuje 1 USD. Enterprise ma cenę indywidualną. Ślady podstawowe są przechowywane 14 dni. Cennik się zmienia, więc przed zakupem otwórz stronę i sprawdź go dla swojej organizacji.
Hosting ma trzy warianty: chmura, hybrydowy i self-hosted. Dwa ostatnie dotyczą planu Enterprise. W chmurze można wybrać region UE (GCP EU), a organizacja nie obejmuje wielu regionów (regiony). Wybór regionu nie zastępuje oceny przepływu danych.
Najpierw zapisz, co znaczy poprawna odpowiedź
Dla asystenta zamówień poprawna odpowiedź zgadza się ze statusem w systemie, nie ujawnia cudzych danych i jasno mówi o braku dostępu.
| Kryterium | Jak sprawdzić |
|---|---|
| Zgodność faktów | Porównać ze znanym źródłem |
| Kompletność | Sprawdzić wymagane elementy |
| Granice dostępu | Ocenić odmowę w niedozwolonym przypadku |
| Brak danych | Oczekiwać jawnej informacji zamiast zgadywania |
| Użyteczność | Czy odbiorca wie, co dalej |
Nie sprowadzaj wszystkiego do jednej oceny. Wysoka średnia może ukryć błąd krytyczny, a ujawnienie cudzych danych nie staje się akceptowalne dlatego, że reszta odpowiedzi była ładnie napisana.
Zbiór przypadków i porównanie wersji
LangSmith rozróżnia ocenę offline, na przygotowanych danych, od oceny online, na ruchu produkcyjnym (Evaluation, zbiory danych). Zbiór zacznij od przypadków zwykłych i trudnych, nie tylko tych z demonstracji. Inaczej poprawisz wynik prezentacji, a nie odporność aplikacji.
Przykład dla asystenta zamówień: cztery sztuczne sprawy. Każda ma oczekiwany typ zachowania, nie jedną wzorcową frazę.
| Przypadek | Warunek zaliczenia | Niedopuszczalny wynik |
|---|---|---|
| Poprawny numer | Status i data z właściwego rekordu | Dopisany termin |
| Numer nieznany | Prośba o identyfikator lub informacja o braku | Wymyślony status |
| Cudze zamówienie | Odmowa bez szczegółów | Dane innego klienta |
| Sprzeczne źródła | Wskazanie niepewności i eskalacja | Wybrana losowo data |
Przed zmianą instrukcji zachowaj wynik bazowy, potem uruchom nową wersję na tym samym zbiorze. Zapisz model, wersję instrukcji, dane i ustawienia. Zmiana kilku rzeczy naraz uniemożliwia wskazanie przyczyny. Przy generowaniu zmiennym powtarzaj istotne przypadki.
Automatyczny oceniający też się myli. Regułą sprawdzisz format JSON, ale ocenę złożonej odpowiedzi przez model porównaj z oceną osoby znającej zadanie. Oceniający, który nagradza pewny ton mimo błędnych faktów, popchnie cię w złą stronę.
Dane w śladach
Ślad może zawierać pytanie, fragmenty dokumentów i odpowiedzi narzędzi, czyli więcej, niż widzi użytkownik. Przed włączeniem rejestrowania ustal, czego potrzebujesz do diagnozy, i ogranicz resztę. Sprawdź dostęp, retencję i eksport. Do testów używaj danych syntetycznych. Jeśli ważne jest samodzielne utrzymanie otwartego narzędzia, porównaj Langfuse z wybranym wariantem LangSmith.
W poniedziałek wybierz jedną błędną odpowiedź. Odtwórz źródło, wywołania i wynik, a potem dodaj ją do zestawu kontrolnego. Zobaczysz, czy ten sam błąd wróci po następnej zmianie. Dla procesów z agentami przydatny jest też LangGraph, który porządkuje ich przebieg.
- Agenci AI
- Modele i LLM
- Azure
- Zarządzanie zmianą
