Apache Paimon: jedna tabela dla strumienia i raportu — jak biznes analizuje dane w locie bez podziału na batch i real-time

Temat: Open Source AI

Paimon rozwiązuje problem, którego formaty tabel pierwszej generacji nie miały w założeniach: tabelę, do której strumień z Apache Flink pisze bez przerwy, a raport czyta w tej samej chwili, bez osobnej warstwy „na teraz” i osobnej „na wczoraj”. Robi to drzewem LSM po kluczu głównym, silnikami scalania, które składają rekord z kilku źródeł w samym formacie, i dziennikiem zmian, który zasila kolejne etapy przetwarzania. Dla firmy produkcyjnej czy handlowej oznacza to jeden stan zamówienia, zapasu albo maszyny, który jest tym samym stanem dla operatora, handlowca i zarządu — tyle że widzianym z różnych raportów.

Ten profil pokazuje architekturę Paimona od środka, jego miejsce obok Flinka, Spark i silników MPP oraz warunki, pod którymi ma sens. Dlaczego w ogóle potrzebny jest format tabeli nad plikami Parquet, wyjaśnia poradnik o formatach plików i tabel; jak Paimon wypada na tle Delta Lake, Iceberga i Hudi — tekst o Paimonie po „wielkiej trójce”.

Co dziś nie działa

— Zlecenie 4471 jest gotowe do wysyłki? — MES mówi, że ostatnia operacja zamknięta o 11:40. — A WMS? — WMS jeszcze go nie widzi. ERP widzi, ale ze statusem „w produkcji”, bo synchronizacja idzie o 13:00. (Klient na linii. Planista otwiera trzy ekrany i jedną kartkę przypiętą do monitora.)

Stan jednego zlecenia produkcyjnego powstaje w kilku systemach naraz: MES zamyka operacje, ERP prowadzi status handlowy i materiały, WMS wie, co leży na regale. Każdy z nich ma rację o swoim fragmencie i żaden nie ma pełnego obrazu. Firmy sklejają ten obraz na trzy sposoby: nocnym ładowaniem do hurtowni (spójnie, ale za późno), osobnym dashboardem (szybko, ale po swojemu) albo człowiekiem, który dzwoni. Każdy z tych sposobów ma koszt, a dwa pierwsze dają dwie różne liczby.

To zadanie — złożyć jeden rekord z fragmentów, które przychodzą z różnych systemów w różnym czasie, i mieć go gotowego w chwili pytania — jest dokładnie tym, pod co zaprojektowano tabele z kluczem głównym w Paimonie.

Architektura: od zdarzenia do migawki

Aktualne wydanie to Paimon 2.0.0 z 7 sierpnia 2026, wydane razem z biblioteką PyPaimon (sprawdzono 21.10.2026). Tabela Paimon leży w magazynie obiektowym albo na HDFS i składa się z czterech warstw.

Migawki i manifesty. Jak w pozostałych formatach, stan tabeli w danej chwili opisuje migawka (snapshot), która wskazuje manifesty, a te — pliki danych. Zatwierdzenie nowej migawki jest atomowe; czytelnik widzi albo poprzednią, albo nową. Stare migawki wygasają według ustawień retencji; znacznik (tag) przypina wybraną migawkę i jej pliki na dłużej — na przykład stan na koniec miesiąca dla księgowości — a gałęzie (branches) pozwalają prowadzić równoległą wersję tabeli.

Partycje i kubełki. Dane dzielą się na partycje (np. po dacie albo zakładzie), a każda partycja na kubełki (buckets) według klucza. Kubełek jest jednostką równoległości zapisu i odczytu — liczba kubełków to decyzja projektowa, która wyznacza, ilu pisarzy może pracować naraz.

Drzewo LSM w kubełku. W tabeli z kluczem głównym każdy kubełek jest drzewem LSM: nowe rekordy trafiają do posortowanych plików na poziomie zero, scalanie łączy je w większe pliki na niższych poziomach, a odczyt składa wersje rekordu z kilku poziomów. Gdy rekordy przychodzą w złej kolejności, pole sekwencji (sequence field) rozstrzyga, która wersja jest nowsza — dokumentacja zaleca je przy źródłach, które nie gwarantują porządku.

Tabele dopisywane. Tabela bez klucza głównego (append table) przyjmuje tylko nowe wiersze i obsługuje wsadowe DELETE, UPDATE i MERGE INTO — to odpowiednik zwykłej tabeli faktów, dla dzienników zdarzeń, które nikt nie zmienia.

WarstwaCo trzymaKto decyduje
Migawki, znaczniki, gałęziewersje tabeli, stany przypięte na dłużejwłaściciel tabeli: retencja, które stany przypinamy
Partycjepodział po czasie, zakładzie, kanalearchitekt: pod wzorzec zapytań
Kubełkirównoległość zapisu i odczytuarchitekt: pod wolumen i liczbę pisarzy
Drzewo LSMwersje rekordu po kluczu, scalanieformat: automatycznie, z kosztem obliczeń

Silniki scalania i dziennik zmian: logika biznesowa w formacie

Najbardziej odróżniającą cechą Paimona jest to, że sposób składania rekordu o tym samym kluczu jest właściwością tabeli. Dokumentacja opisuje cztery silniki scalania (merge engines):

Silnik scalaniaCo robi z drugą wersją rekorduPrzykład z firmy
deduplicate (domyślny)zostawia ostatnią wersję; DELETE usuwa rekordaktualny status zlecenia z MES
partial-updateuzupełnia tylko te pola, które przyszły; grupy sekwencji pilnują porządku per źródłostan zlecenia składany z MES (operacje), ERP (status handlowy) i WMS (lokalizacja)
aggregationagreguje pola funkcją: sum, max, min, last_value, listagg, bool_or, szkice HLL i inneliczba sztuk wyprodukowanych na zlecenie, suma minut przestoju maszyny
first-rowzachowuje pierwszą wersję, ignoruje kolejnemoment pierwszego zgłoszenia reklamacji

Bez Paimona tę logikę piszecie w zadaniu Spark albo Flink i utrzymujecie jako kod. Z Paimonem jest konfiguracją tabeli, którą widzi każdy, kto ją czyta — także agent AI, który ma zrozumieć, skąd wzięła się liczba.

Drugi mechanizm to producent dziennika zmian (changelog producer). Tabela może emitować strumień zmian dla konsumentów niżej: input przekazuje zmiany wprost ze strumienia wejściowego (gdy źródło samo niesie pełne zmiany, jak CDC), lookup wylicza zmiany przy zapisie przez sprawdzenie poprzedniej wersji, full-compaction emituje je przy pełnym scalaniu. Dzięki temu tabela agregatów dla zarządu nie musi czytać całej tabeli stanów — czyta tylko zmiany.

Trzeci element to lookup join we Flinku: strumień zdarzeń wzbogaca się o dane z tabeli Paimon (np. zlecenie o dane klienta i produktu) z lokalną kopią tabeli w zadaniu, odświeżaną według ustawień. Tabela Paimon jest więc jednocześnie celem strumienia i słownikiem dla innych strumieni.

Schemat pionowy. Na górze trzy źródła: MES (operacje zamknięte, ilość dobra i braki), ERP (status handlowy, termin, materiały), WMS (lokalizacja, ilość na regale). Strzałki prowadzą przez Kafkę i Flink do jednej tabeli Paimon „stan_zlecenia” z kluczem głównym numer zlecenia i silnikiem scalania partial-update, gdzie każde źródło uzupełnia swoje pola. Z tabeli wychodzą trzy odczyty: ekran operatora i planisty, raport dla zarządu przez dziennik zmian do tabeli agregatów oraz agent planowania, który czyta zmiany i przygotowuje propozycje. Na dole pasek: co zostaje przy człowieku — zmiana kolejki zleceń, zatwierdzenie wyjątku, retencja i znaczniki.
Stan zlecenia z trzech systemów w jednej tabeli Paimon: każde źródło uzupełnia swoje pola, a ten sam rekord czyta operator, zarząd i agent. Przykład dydaktyczny, nie wdrożenie klienta.

Przykład dydaktyczny: producent seryjny i stan zlecenia

To przykład ilustracyjny, nie studium klienta — firma i wielkości są umowne, mechanizm odpowiada dokumentacji. Załóżmy producenta seryjnego zatrudniającego około 250 osób, z MES na hali, ERP w biurze i WMS w magazynie wyrobów gotowych. Planista, kierownik zmiany i dyrektor operacyjny chcą jednej odpowiedzi na pytanie „na czym stoi zlecenie 4471” — teraz, nie o 6:00 rano.

Stan przed. Trzy systemy, synchronizacja ERP↔MES co godzinę, WMS raportuje do ERP na koniec zmiany. Hurtownia ładowana nocą. Dashboard „produkcja live” z osobnej bazy, który nie zna korekt z ERP. Planista spędza część dnia na dzwonieniu i porównywaniu ekranów.

Co robi system. MES, ERP i WMS publikują zdarzenia do Kafki (przez CDC albo integrację). Zadanie Flink zapisuje je do tabeli Paimon stan_zlecenia z kluczem głównym równym numerowi zlecenia i silnikiem partial-update: MES uzupełnia pola o operacjach i ilościach, ERP — status handlowy i termin, WMS — lokalizację i ilość na regale. Grupy sekwencji pilnują, żeby starsze zdarzenie z MES nie nadpisało nowszego. Producent dziennika zmian lookup emituje zmiany każdego zlecenia do tabeli agregatów realizacja_planu_dzien, z silnikiem aggregation sumującym sztuki i braki po zakładzie i dniu — z niej czyta raport dla zarządu. Agent planowania czyta ten sam dziennik zmian i gdy zlecenie zbliża się do terminu, a WMS nie widzi wyrobu, przygotowuje planiście propozycję: „przesunąć 4471 przed 4480, bo materiał na 4480 ma opóźnienie u dostawcy”. Znacznik tabeli na koniec każdego miesiąca przypina stan do rozliczeń z księgowością.

Co zostaje przy człowieku. Decyzję o zmianie kolejki zleceń podejmuje planista, nie agent. Wyjątek od terminu dla klienta zatwierdza kierownik sprzedaży. Właściciel tabeli stan_zlecenia ustala, które pola z którego systemu są wiążące, retencję migawek i które stany przypinamy znacznikami.

Czym to zmierzyć. Opóźnienie od zdarzenia w MES do widoczności w tabeli i w raporcie (cel: sekundy do minut). Liczba równolegle utrzymywanych warstw stanu — cel: jedna, bez osobnego dashboardu. Koszt zadań Flink i scalania na terabajt jako znana, stała pozycja w rachunku. Czas, jaki planista spędza na „sprawdzaniu, gdzie jest zlecenie” — jeśli potraficie go zmierzyć przed i po, to jest Wasza miara. Z perspektywy całkowitego kosztu posiadania (TCO) zestawiacie: hurtownia + osobny dashboard + godziny ludzi na uzgadnianie kontra Kafka + Flink + Paimon + jeden właściciel tabeli.

Gdzie Paimon zaszkodzi

Bez Flinka to połowa formatu. Spark zapisuje i czyta tabele Paimon wsadowo, ale lookup join, producent dziennika zmian i zapis strumieniowy z pełnym zestawem funkcji to Flink. Jeśli zespół go nie zna, do kosztu formatu dochodzi koszt nauki silnika albo partnera. Czym Flink jest i kiedy warto go wprowadzić, opisuje profil Apache Flink.

Klucz główny, którego nie ma. Jeśli numer zlecenia w MES, ERP i WMS to trzy różne identyfikatory bez tablicy przejścia, partial-update nie ma czego składać. Najpierw cyfrowy model firmy i uzgodnienie klucza, potem format.

Stały koszt scalania. Drzewo LSM scala bez przerwy; to moc obliczeniowa, którą trzeba zasilać i monitorować. Tabela, której scalanie nie nadąża, zwalnia przy odczycie — i nikt nie zobaczy tego w migawce, tylko w czasie zapytania.

Mniejszy ekosystem. Matryca silników wymienia Flink, Spark, Hive, Trino, Presto, StarRocks i Doris. Platformy vendorów nie czytają Paimona natywnie według jego dokumentacji; jeśli raporty mają powstawać w Power BI przez Fabric albo w Snowflake, zaprojektujcie ścieżkę odczytu wcześniej.

Real-time jako cel. Stan zlecenia w minutach ma sens dla planisty, który o nim decyduje. Dla zarządu, który czyta realizację planu raz w tygodniu, wystarczy tabela agregatów odświeżana rzadziej — i taniej.

Po czym poznać wartość

Metryki próżności: liczba zdarzeń na sekundę, liczba tabel, liczba zadań Flink. Mierniki wyniku:

  • Opóźnienie zdarzenie → raport dla obiektów, o które ludzie dzwonią.
  • Liczba warstw stanu utrzymywanych równolegle (hurtownia, dashboard, arkusz) — cel: jedna tabela.
  • Koszt scalania i Flinka na terabajt — znany, stały, raportowany.
  • Liczba kopii stanu „na teraz” poza tabelą: arkusze, kartki, bazy pomocnicze.
  • Czas ludzi na uzgadnianie stanu między systemami — przed i po.

Na te liczby wpływa też jakość zdarzeń u źródła, zgoda działów co do klucza i to, czy ktoś jest właścicielem tabeli stanu. Paimon daje mechanizm; proces nadal prowadzi człowiek.

Pierwszy krok

Jeden obiekt stanu, który zmienia się często i ma uzgodniony klucz — zlecenie produkcyjne albo zapas jednego indeksu. Jedna tabela z kluczem głównym i silnikiem partial-update, zasilana z dwóch systemów przez Flink. Jeden raport czytany co minutę i jeden człowiek, który dotąd dzwonił. Po dwóch tygodniach porównajcie tę tabelę z dotychczasową warstwą „real-time” i hurtownią. Jeśli planista przestał dzwonić — wiecie, co dalej.

Najważniejsze w skrócie

  • Paimon to format tabeli zbudowany pod strumień: tabele z kluczem głównym na drzewie LSM w kubełkach, z migawkami, znacznikami i gałęziami nad nimi.
  • Silniki scalania (deduplicate, partial-update, aggregation, first-row) składają rekord z wielu źródeł w samym formacie; producent dziennika zmian zasila kolejne etapy tylko zmianami.
  • Flink jest praktycznym warunkiem zapisu strumieniowego i lookup join; Spark, Hive, Trino, Presto, StarRocks i Doris czytają.
  • Przewaga dotyczy obiektów z kluczem, które zmieniają się często i o które ludzie pytają „teraz”; dla dzienników zdarzeń i raportów tygodniowych wystarczą tabele dopisywane albo starsze formaty.
  • Cena: stały koszt scalania, konieczność uzgodnionego klucza, mniejszy ekosystem silników i brak natywnego odczytu w platformach vendorów.
Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Nie wiecie, w jakim formacie leżą dane, na których ma pracować AI?

Prezentacja dla zarządu: nazwiemy dane, ich właścicieli i miejsce, w którym powinny leżeć — razem z decyzją o formacie plików i tabel, zanim kupicie platformę albo zatrudnicie zespół. Niezależnie od vendora i partnera.

FAQ

Najczęstsze pytania

Paimon czy Kafka plus Iceberg?

Kafka plus Iceberg to dobry układ, gdy zdarzenia głównie się dopisuje, a stan składa się w zapytaniu. Paimon ma przewagę, gdy ten sam rekord zmienia się wielokrotnie i stan ma być gotowy w tabeli, a nie liczony przy każdym odczycie. Kafka zostaje w obu układach jako transport zdarzeń.

Czy Paimon da się używać bez Flinka?

Do zapisu wsadowego i odczytu — tak, przez Spark; Hive, Trino, Presto, StarRocks i Doris czytają tabele Paimon. Zapis strumieniowy z pełnym zestawem funkcji, w tym lookup join i producent dziennika zmian, jest w praktyce domeną Flinka. Jeśli Flink nie jest i nie będzie w Waszej firmie, większość przewagi Paimona znika.

Czy Paimon czyta Microsoft Fabric albo Snowflake?

Dokumentacja Paimona nie wymienia natywnej obsługi w tych platformach (stan na 21.10.2026). Raport w Power BI albo Snowflake wymaga ścieżki przez silnik, który Paimon czyta, albo eksportu do formatu, który platforma zna. Sprawdźcie to na własnym stosie, zanim zdecydujecie.

Czym silnik scalania różni się od zwykłego MERGE w SQL?

MERGE to polecenie wykonywane przez silnik zapytań przy każdym uruchomieniu zadania. Silnik scalania w Paimonie to właściwość tabeli: format sam wie, jak złożyć dwie wersje rekordu o tym samym kluczu — zostawić ostatnią, uzupełnić brakujące pola, zsumować wartości albo zachować pierwszą — i robi to przy scalaniu plików, bez kodu w zadaniu.