Langfuse w suwerennym AI OS

Temat: Open Source AI

Langfuse to otwarta platforma śledzenia i ewaluacji aplikacji LLM: zapisuje ślady (trace) wywołań agenta, prompty z wersjami, koszt i wyniki testów, a rdzeń można uruchomić we własnej infrastrukturze. Ten wpis odpowiada na pytanie, kiedy Langfuse ma sens w suwerennym AI OS i co sprawdzić przed decyzją.

Czym jest obserwowalność AI, jakie sygnały zbierać i jak wybrać narzędzie, wyjaśnia poradnik o obserwowalności AI.

Stan projektu na 6.10.2026

  • Wersja: najnowsze wydanie to v4.53.0 z 6.10.2026; linia v4 wystartowała 29.07.2026. Wydania wychodzą często, więc numer sprawdzaj przy instalacji.
  • Właściciel: ClickHouse przejął Langfuse (ogłoszenie z 16.01.2026). Twórcy zapowiedzieli, że projekt zostaje otwarty i możliwy do samodzielnego hostowania, bez planowanych zmian licencji.
  • Licencja: według pliku LICENSE kod poza katalogami ee jest na licencji MIT, a katalogi ee mają osobną licencję.
  • Funkcje z kluczem enterprise: w wersji samodzielnie hostowanej klucz licencji jest potrzebny m.in. do ról na poziomie projektu, polityk retencji danych, logów audytowych i maskowania danych po stronie serwera (lista funkcji).

Czym jest i do czego służy?

Langfuse zbiera ślad każdej sprawy: wywołania modelu, kroki agenta, użyte narzędzia, opóźnienie i koszt. Przyjmuje też ślady w standardzie OpenTelemetry, więc nie wiąże instrumentacji z jednym narzędziem. Druga część to ewaluacja: według dokumentacji są zestawy przypadków (Datasets), eksperymenty porównujące zmianę promptu, modelu albo kodu, ocena przez model (LLM-as-a-Judge), kolejki ręcznej oceny i integracja z CI/CD, która może zablokować wdrożenie przy regresji.

W praktyce trzeba oddzielić rolę tej technologii od całej platformy: Langfuse pokazuje, co agent zrobił i jak wypadła wersja, a tożsamość, polityka danych i reakcja na incydent nadal wymagają własnego projektu.

Dlaczego warto rozważyć ją w suwerennym AI OS?

Self-hosting może zatrzymać wrażliwe ślady we własnym środowisku. Suwerenność oceniamy przez możliwość uruchomienia, kontrolę danych i uprawnień, przenośność formatu oraz plan zmiany vendora. Jeśli wybierzesz usługę zarządzaną Langfuse, jawnie wskaż granicę kontroli: otwarty kod i API nie czynią usługi chmurowej częścią Twojej infrastruktury.

Ślady zawierają prompty i odpowiedzi, a więc często dane osobowe. Przed uruchomieniem produkcyjnym ustal redakcję pól po stronie aplikacji, okres przechowywania i dostęp operatorów. Uwaga na licencję: retencja i maskowanie po stronie serwera to w wersji samodzielnie hostowanej funkcje z kluczem enterprise, więc w wersji MIT trzeba je rozwiązać inaczej, np. maskując dane przed wysłaniem śladu.

Jak wykorzystać ją przy kodowaniu z AI?

W AI SDLC agent kodujący może przygotować konfigurację, adapter i test integracyjny, lecz człowiek powinien sprawdzić uprawnienia, koszty oraz skutki błędu. Punktem odbioru jest działający scenariusz: ślad sprawy widoczny od wejścia do wyniku i zestaw testowy uruchamiany przy każdej zmianie. Agent nie powinien sam zatwierdzać swojej zmiany ani otrzymywać szerszych uprawnień niż wymaga zadanie — nawet jeśli wynik eksperymentu, który sam przygotował, wygląda świetnie. Przed wdrożeniem warto zachować ślad: wymaganie, wersję zależności, wynik testu i osobę akceptującą.

Jak użyć porównania wersji w decyzji biznesowej, opisuje wpis o teście zmiany agenta przed sezonem: narzędzie liczy wynik, a próg uruchomienia ustala właściciel procesu.

Alternatywy i ograniczenia

Możliwe alternatywy: LangSmith, MLflow, Arize Phoenix. Każda ma inny model licencji i hostingu, więc porównuj warunki wybranych funkcji, nie samą etykietę „open source”. Wybór powinien wynikać z pomiaru na własnych danych, zgodności z obecnym zespołem i możliwości wycofania rozwiązania. Sama liczba gwiazdek repozytorium lub obietnica marketingowa nie zastępuje próby.

Co sprawdzić przed decyzją?

Zbuduj małą próbę na jednym procesie: ślady jednej kategorii spraw i zestaw przypadków typowych, trudnych i wcześniej błędnych, przygotowany z właścicielem procesu. Zmierz opóźnienie, koszt, jakość wyniku i zachowanie po błędzie. Sprawdź, czy inny członek zespołu potrafi odtworzyć wynik na podstawie zapisanej konfiguracji, i czy funkcje, których potrzebujesz (retencja, role, audyt), są w wersji MIT, czy wymagają klucza enterprise. Zapisz kryterium, po którym rozwiązanie będzie można wymienić.

Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Ślady i testy agenta, które da się odtworzyć

Forward Deployed AI Engineer to kurs w Akademii dla inżyniera, który buduje aplikacje i agentów na modelach AI w systemach firmy: zbiera ślady, buduje zestawy testowe z właścicielem procesu i prowadzi odbiór zmiany. Kurs jest w przygotowaniu — zapisz się na listę oczekujących.