Langfuse w suwerennym AI OS
Temat: Open Source AI
Langfuse to otwarta platforma śledzenia i ewaluacji aplikacji LLM: zapisuje ślady (trace) wywołań agenta, prompty z wersjami, koszt i wyniki testów, a rdzeń można uruchomić we własnej infrastrukturze. Ten wpis odpowiada na pytanie, kiedy Langfuse ma sens w suwerennym AI OS i co sprawdzić przed decyzją.
Czym jest obserwowalność AI, jakie sygnały zbierać i jak wybrać narzędzie, wyjaśnia poradnik o obserwowalności AI.
Stan projektu na 6.10.2026
- Wersja: najnowsze wydanie to v4.53.0 z 6.10.2026; linia v4 wystartowała 29.07.2026. Wydania wychodzą często, więc numer sprawdzaj przy instalacji.
- Właściciel: ClickHouse przejął Langfuse (ogłoszenie z 16.01.2026). Twórcy zapowiedzieli, że projekt zostaje otwarty i możliwy do samodzielnego hostowania, bez planowanych zmian licencji.
- Licencja: według pliku LICENSE kod poza katalogami
eejest na licencji MIT, a katalogieemają osobną licencję. - Funkcje z kluczem enterprise: w wersji samodzielnie hostowanej klucz licencji jest potrzebny m.in. do ról na poziomie projektu, polityk retencji danych, logów audytowych i maskowania danych po stronie serwera (lista funkcji).
Czym jest i do czego służy?
Langfuse zbiera ślad każdej sprawy: wywołania modelu, kroki agenta, użyte narzędzia, opóźnienie i koszt. Przyjmuje też ślady w standardzie OpenTelemetry, więc nie wiąże instrumentacji z jednym narzędziem. Druga część to ewaluacja: według dokumentacji są zestawy przypadków (Datasets), eksperymenty porównujące zmianę promptu, modelu albo kodu, ocena przez model (LLM-as-a-Judge), kolejki ręcznej oceny i integracja z CI/CD, która może zablokować wdrożenie przy regresji.
W praktyce trzeba oddzielić rolę tej technologii od całej platformy: Langfuse pokazuje, co agent zrobił i jak wypadła wersja, a tożsamość, polityka danych i reakcja na incydent nadal wymagają własnego projektu.
Dlaczego warto rozważyć ją w suwerennym AI OS?
Self-hosting może zatrzymać wrażliwe ślady we własnym środowisku. Suwerenność oceniamy przez możliwość uruchomienia, kontrolę danych i uprawnień, przenośność formatu oraz plan zmiany vendora. Jeśli wybierzesz usługę zarządzaną Langfuse, jawnie wskaż granicę kontroli: otwarty kod i API nie czynią usługi chmurowej częścią Twojej infrastruktury.
Ślady zawierają prompty i odpowiedzi, a więc często dane osobowe. Przed uruchomieniem produkcyjnym ustal redakcję pól po stronie aplikacji, okres przechowywania i dostęp operatorów. Uwaga na licencję: retencja i maskowanie po stronie serwera to w wersji samodzielnie hostowanej funkcje z kluczem enterprise, więc w wersji MIT trzeba je rozwiązać inaczej, np. maskując dane przed wysłaniem śladu.
Jak wykorzystać ją przy kodowaniu z AI?
W AI SDLC agent kodujący może przygotować konfigurację, adapter i test integracyjny, lecz człowiek powinien sprawdzić uprawnienia, koszty oraz skutki błędu. Punktem odbioru jest działający scenariusz: ślad sprawy widoczny od wejścia do wyniku i zestaw testowy uruchamiany przy każdej zmianie. Agent nie powinien sam zatwierdzać swojej zmiany ani otrzymywać szerszych uprawnień niż wymaga zadanie — nawet jeśli wynik eksperymentu, który sam przygotował, wygląda świetnie. Przed wdrożeniem warto zachować ślad: wymaganie, wersję zależności, wynik testu i osobę akceptującą.
Jak użyć porównania wersji w decyzji biznesowej, opisuje wpis o teście zmiany agenta przed sezonem: narzędzie liczy wynik, a próg uruchomienia ustala właściciel procesu.
Alternatywy i ograniczenia
Możliwe alternatywy: LangSmith, MLflow, Arize Phoenix. Każda ma inny model licencji i hostingu, więc porównuj warunki wybranych funkcji, nie samą etykietę „open source”. Wybór powinien wynikać z pomiaru na własnych danych, zgodności z obecnym zespołem i możliwości wycofania rozwiązania. Sama liczba gwiazdek repozytorium lub obietnica marketingowa nie zastępuje próby.
Co sprawdzić przed decyzją?
Zbuduj małą próbę na jednym procesie: ślady jednej kategorii spraw i zestaw przypadków typowych, trudnych i wcześniej błędnych, przygotowany z właścicielem procesu. Zmierz opóźnienie, koszt, jakość wyniku i zachowanie po błędzie. Sprawdź, czy inny członek zespołu potrafi odtworzyć wynik na podstawie zapisanej konfiguracji, i czy funkcje, których potrzebujesz (retencja, role, audyt), są w wersji MIT, czy wymagają klucza enterprise. Zapisz kryterium, po którym rozwiązanie będzie można wymienić.
- Agenci AI
