Apache Hudi: gdy dane zmieniają się co minutę — CDC i masowe aktualizacje bez przepisywania jeziora

Temat: Open Source AI

Hudi powstał z jednego problemu: jak aktualizować pojedyncze rekordy w jeziorze danych tak szybko, jak zmieniają się w systemie źródłowym, bez przepisywania całych partycji. Odpowiedzią są indeks rekordów, oś czasu transakcji i dwa tryby tabel — Copy-on-Write dla czytania i Merge-on-Read dla pisania — z serwisami tabeli, które porządkują dane w tle. Dla firmy oznacza to, że zmiany z ERP przechwycone przez Debezium mogą lądować w tabeli analitycznej w minutach, a usunięcie danych klienta zgodnie z RODO jest operacją po kluczu, nie poszukiwaniem w plikach.

Ten profil pokazuje architekturę Hudi 1.x, w tym nieblokującą kontrolę współbieżności, i uczciwie mówi, kiedy ta maszyneria jest przerostem. Czym w ogóle jest format tabeli i dlaczego pliki Parquet same nie dają aktualizacji, wyjaśnia poradnik o formatach plików i tabel.

Co dziś nie działa

— Klient pyta, czy może jeszcze dziś zamówić za osiemdziesiąt tysięcy. Jaki ma limit? — W hurtowni widzę sto dwadzieścia wolne. — A w ERP? — ERP mówi czterdzieści. Rano zaksięgowali dwie faktury. (Hurtownia jest „z wczoraj”. Handlowiec obiecuje osiemdziesiąt. Dział kredytowy dowie się jutro.)

Dane transakcyjne w ERP i CRM zmieniają się bez przerwy: zamówienie zmienia status, faktura zostaje opłacona, limit maleje, adres klienta się poprawia. Klasyczne jezioro danych dostaje z tego nocny zrzut albo codzienny eksport. Jeżeli ktoś chce odświeżać częściej, musi przepisać całą partycję, bo pliki Parquet są niezmienne: żeby zmienić jeden wiersz w pliku z milionem wierszy, trzeba zapisać nowy plik z milionem wierszy. Przy tysiącach zmian na godzinę ten rachunek nie ma sensu — ani czasowo, ani finansowo.

Druga połowa problemu to „co się zmieniło od ostatniego razu”. Raport należności, który co godzinę przelicza całą historię faktur, bo nie umie wskazać tylko zmienionych rekordów, kosztuje tyle samo przy dziesięciu zmianach, co przy dziesięciu tysiącach. Hudi od początku traktował oba problemy — aktualizację po kluczu i przetwarzanie przyrostowe — jako jedno zadanie.

Architektura: oś czasu, indeks, dwa tryby tabel

Hudi nadaje każdemu rekordowi klucz (record key) i przypisuje go do partycji; rekordy o tym samym kluczu zawsze trafiają do tej samej grupy plików (file group). Nad tym działają trzy mechanizmy.

Oś czasu (timeline). Każda operacja na tabeli — commit, deltacommit, kompaktowanie, klastrowanie, czyszczenie, przywrócenie — jest zdarzeniem na osi czasu z trzema stanami: zażądane, w toku, zakończone. Oś czasu jest tym, czym dla Delta Lake jest log, a dla Iceberga drzewo manifestów: jedynym źródłem prawdy o tym, które pliki składają się na tabelę. W wydaniach 1.x aktywna oś czasu leży w katalogu .hoodie/timeline, a jej historia jest archiwizowana w strukturze LSM (Parquet z manifestami), żeby długie tabele nie dusiły się własną historią. Operacje porządkowane są po czasie zakończenia, co ma znaczenie przy wielu pisarzach.

Indeks rekordów. Żeby aktualizować po kluczu, trzeba szybko wiedzieć, w którym pliku leży stara wersja. Hudi trzyma w tabeli metadanych kilka indeksów naraz: filtr Blooma na plik, indeks rekordów (record-level index, globalny lub partycjonowany), a od wydania 1.0.0 także indeksy wtórne (secondary), indeksy wyrażeń (expression) i statystyki partycji. Po stronie pisarza dostępne są też strategie SIMPLE (domyślna), BUCKET, HBASE i FLINK_STATE. W praktyce dla tabel z CDC indeks rekordów jest tym, co odróżnia „minuty” od „godzin”.

Dwa tryby tabel. Copy-on-Write (CoW) przepisuje plik bazowy Parquet przy każdej zmianie grupy plików; nie ma plików dziennika, odczyt jest prosty. Merge-on-Read (MoR) dopisuje zmiany do plików dziennika obok pliku bazowego; odczyt migawkowy scala je w locie, a kompaktowanie co jakiś czas tworzy nowy plik bazowy. MoR ma mniejsze opóźnienie zapisu, CoW szybszy odczyt. Oba tryby obsługują trzy rodzaje zapytań: migawkowe (snapshot), przyrostowe (incremental — ostatni stan albo CDC z obrazem przed i po) oraz, dla MoR, zoptymalizowane pod odczyt (read-optimized), które czytają tylko pliki bazowe.

Infografika w dwóch kolumnach. Copy-on-Write: zmiana rekordu przepisuje cały plik bazowy; odczyt czyta gotowe pliki; opóźnienie zapisu większe, odczyt prosty; dobre, gdy tabela jest częściej czytana niż zmieniana. Merge-on-Read: zmiana trafia do pliku dziennika obok pliku bazowego; odczyt składa oba w locie albo czyta tylko pliki bazowe; kompaktowanie w tle tworzy nowe pliki bazowe; opóźnienie zapisu małe, koszt przeniesiony na kompaktowanie; dobre dla CDC i ciągłych zmian. Pod kolumnami wspólna oś czasu Hudi z zapisem, kompaktowaniem i czyszczeniem oraz pytanie decyzyjne: jak często rekord zmienia się między odczytami.
Copy-on-Write czy Merge-on-Read: decyduje stosunek zmian do odczytów, nie moda. Ocena autora na podstawie dokumentacji Apache Hudi.

Co Hudi robi inaczej niż Delta i Iceberg

Aktualne wydanie to Hudi 1.2.1 z 25 września 2026 (wersja tabeli 9); 1.2.0 z maja 2026 dodało typy VECTOR, VARIANT i BLOB oraz Flink Source V2, a 1.0.0 z grudnia 2024 przebudowało oś czasu i indeksy (sprawdzono 21.10.2026).

CechaCo daje w praktyce
Upsert i usunięcie po kluczu z indeksem rekordówzmiana jednego klienta nie przepisuje partycji; usunięcie RODO jest operacją po kluczu
Zapytania przyrostowe i CDC z tabeliraport należności przelicza tylko to, co zmieniło się od ostatniego uruchomienia
Precombine i deduplikacja przy zapisiedwa zdarzenia o tym samym kluczu w jednej paczce — wygrywa to z wyższym znacznikiem, bez kodu w zadaniu
Nieblokująca kontrola współbieżności (NBCC)kilka pisarzy do jednej tabeli MoR bez blokad na danych; blokada tylko na metadane osi czasu; wymaga indeksu kubełkowego i na dziś nie działa z klastrowaniem
Serwisy tabeli: kompaktowanie, klastrowanie, czyszczenie, indeksowanieporządek w tle, ale z kosztem i właścicielem
Hudi Streamergotowy ingest z Kafki, Debezium, JDBC, Pulsar, Kinesis, zdarzeń S3/GCS, w trybie ciągłym, z rejestrem schematów

Delta Lake i Iceberg dogoniły Hudi w aktualizacjach dzięki wektorom usunięć i MERGE, ale wciąż traktują zmianę rekordu jak wyjątek od reguły „pliki się dopisuje”. Hudi traktuje ją jak codzienność — i płaci za to większą liczbą ruchomych części.

Przykład dydaktyczny: dystrybutor B2B i limit kredytowy „na teraz”

To przykład ilustracyjny, nie studium klienta — firma i liczby są umowne, mechanizm jest prawdziwy. Załóżmy dystrybutora B2B zatrudniającego około 150 osób, z ERP jako księgą zamówień, faktur i płatności, oraz z CRM, w którym handlowcy widzą klientów. Zarząd chce dwóch rzeczy: raportu należności i limitów kredytowych aktualnego do kilku minut oraz agenta AI, który ostrzeże handlowca, zanim obieca towar klientowi po limicie.

Stan przed. Hurtownia ładowana nocą z pełnego eksportu ERP. Raport należności przelicza co rano całą historię faktur. Limit „na teraz” handlowcy sprawdzają w ERP ręcznie albo w arkuszu, który ktoś prowadzi obok. Żądania usunięcia danych klienta trafiają do IT jako zadanie na kilka dni, bo trzeba odnaleźć wiersze w plikach z kilku lat.

Co robi system. Debezium czyta dziennik zmian baz ERP i CRM i publikuje zdarzenia do Kafki. Hudi Streamer w trybie ciągłym zapisuje je do tabel Merge-on-Read: faktury, platnosci, zamowienia, klienci, z kluczem rekordu równym identyfikatorowi z ERP i precombine po znaczniku czasu zmiany. Indeks rekordów wskazuje, który plik dziennika dostaje zmianę; kompaktowanie co ustalony czas składa dziennik w pliki bazowe. Raport należności czyta zapytaniem przyrostowym tylko faktury i płatności zmienione od ostatniego przebiegu i aktualizuje saldo klienta. Agent limitów czyta ten sam przyrost i kładzie handlowcowi na biurku ostrzeżenie: „klient X — wykorzystanie limitu po dzisiejszych fakturach”. Żądanie RODO to DELETE po kluczu klienta w tabelach z danymi osobowymi; czyszczenie (cleaning) po okresie retencji usuwa stare wersje plików, więc rekord znika także z historii.

Co zostaje przy człowieku. Decyzję o podniesieniu limitu albo o wyjątku dla stałego klienta podejmuje dział kredytowy, nie agent. Właściciel tabeli klienci ustala retencję wersji i podpisuje się pod tym, że po czyszczeniu dane usunięte nie są odtwarzalne. Wybór między CoW i MoR dla każdej tabeli to decyzja architekta, zapisana z uzasadnieniem.

Czym to zmierzyć. Opóźnienie od zmiany w ERP do widoczności w tabeli (cel: minuty, nie noc). Koszt przeliczenia raportu należności: przyrost zamiast pełnego przebiegu — porównajcie czas i rachunek za obliczenia przed i po. Czas realizacji żądania usunięcia od zgłoszenia do potwierdzenia. Koszt serwisów tabeli (kompaktowanie, czyszczenie) na terabajt — to stała cena MoR i ma być znana. Z perspektywy całkowitego kosztu posiadania (TCO) porównujecie: nocny pełny eksport i ręczny arkusz limitów kontra Debezium, Kafka, Hudi Streamer i serwisy tabeli — plus wartość decyzji kredytowej podjętej na danych z dzisiaj, a nie z wczoraj.

Gdzie Hudi zaszkodzi

Więcej ruchomych części. Indeksy, dwa tryby tabel, serwisy tabeli, Hudi Streamer — każdy element ma konfigurację i tryb awarii. Hudi bez właściciela tabeli i bez monitoringu kompaktowania po kilku miesiącach ma tabele MoR z dziennikiem, którego nikt nie składa, i odczytem, który z każdym tygodniem jest wolniejszy.

Rzadkie zmiany nie potrzebują Hudi. Jeśli dane z ERP wystarczy odświeżać raz dziennie, a aktualizacji jest kilkaset, MERGE w Delta Lake albo Icebergu z wektorami usunięć załatwia sprawę mniejszym nakładem. Hudi opłaca się wtedy, gdy zmian jest dużo i mają docierać szybko.

Wsparcie w platformach vendorów. Snowflake, Fabric, BigQuery czytają natywnie Delta i Iceberg; Hudi w tych platformach wymaga Apache XTable, a XTable nie obsługuje dziś tabel MoR. Jeśli raporty mają powstawać w takiej platformie, zaprojektujcie ścieżkę odczytu, zanim wybierzecie Hudi — albo wybierzcie co innego. Porównanie trzech formatów według tych samych kryteriów znajdziecie w tekście Delta Lake, Apache Iceberg czy Apache Hudi?.

Klucz i tryb decydują o wszystkim. Zły klucz rekordu (np. taki, który zmienia się w ERP) albo zły wybór trybu to przebudowa tabeli, nie zmiana parametru.

Po czym poznać wartość

Metryki próżności: liczba tabel Hudi, liczba zdarzeń z Debezium, rozmiar jeziora. Mierniki wyniku:

  • Opóźnienie ERP → tabela dla kluczowych obiektów (faktura, płatność, limit).
  • Koszt przeliczeń: udział zapytań przyrostowych w stosunku do pełnych przebiegów i rachunek za obliczenia przed i po.
  • Czas realizacji żądania usunięcia od zgłoszenia do potwierdzenia, że rekord zniknął również z historii.
  • Koszt serwisów tabeli na terabajt — stały, znany, raportowany.
  • Liczba decyzji kredytowych podjętych na danych starszych niż godzina — jeśli potraficie ją zmierzyć, to jest Wasza prawdziwa miara.

Na te liczby wpływa też jakość danych w ERP, dyscyplina kompaktowania i to, czy dział kredytowy w ogóle chce dostawać ostrzeżenia. Format tabeli nie naprawi procesu, którego nikt nie prowadzi.

Pierwszy krok

Weźcie jedną tabelę z ERP, o którą ludzie dzwonią do IT: faktury albo limity. Uruchomcie Debezium na tej jednej tabeli źródłowej, Hudi Streamer w trybie ciągłym do tabeli Merge-on-Read, jeden raport przyrostowy. Zmierzcie opóźnienie i koszt przez dwa tygodnie. Jeśli dział kredytowy zacznie patrzeć w ten raport zamiast w arkusz — macie uzasadnienie dla kolejnych tabel. Jak czytać zmiany z baz, opisuje profil Debezium.

Najważniejsze w skrócie

  • Hudi rozwiązuje dwa problemy jednocześnie: aktualizację rekordu po kluczu bez przepisywania partycji i przetwarzanie „tylko tego, co się zmieniło”.
  • Trzy mechanizmy: oś czasu transakcji (z historią w LSM), indeksy rekordów w tabeli metadanych i dwa tryby tabel — Copy-on-Write pod odczyt, Merge-on-Read pod zapis.
  • Hudi Streamer daje gotowy ingest z Kafki i Debezium; NBCC pozwala kilku pisarzom pracować na jednej tabeli MoR bez blokad na danych.
  • Usunięcie zgodne z RODO to operacja po kluczu, ale dane znikają z historii dopiero po czyszczeniu starych wersji — retencję podpisuje właściciel tabeli.
  • Cena: więcej ruchomych części, słabsze natywne wsparcie w platformach vendorów, konieczność dobrego klucza i trybu. Przy rzadkich zmianach wystarczy MERGE w Delta albo Icebergu.
Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Nie wiecie, w jakim formacie leżą dane, na których ma pracować AI?

Prezentacja dla zarządu: nazwiemy dane, ich właścicieli i miejsce, w którym powinny leżeć — razem z decyzją o formacie plików i tabel, zanim kupicie platformę albo zatrudnicie zespół. Niezależnie od vendora i partnera.

FAQ

Najczęstsze pytania

Kiedy wybrać Copy-on-Write, a kiedy Merge-on-Read?

Copy-on-Write, gdy tabela jest częściej czytana niż zmieniana i zależy Wam na prostym, szybkim odczycie — każda zmiana przepisuje plik bazowy, więc odczyt nie ma nic do scalania. Merge-on-Read, gdy zmiany napływają bez przerwy, a opóźnienie zapisu ma być małe — zmiany trafiają do plików dziennika, a kompaktowanie składa je w pliki bazowe w tle. Tabele z CDC z systemów transakcyjnych zwykle zaczynają od Merge-on-Read.

Czy Hudi czyta Snowflake albo Microsoft Fabric?

Dokumentacja Hudi wymienia Spark, Flink, Trino i Presto; w wydaniu 1.2.1 konektor Trino został przeniesiony do repozytorium projektu. Natywnego odczytu w Snowflake ani Fabric dokumentacja Hudi nie wymienia (stan na 21.10.2026). Drogą do tych platform jest Apache XTable, który tłumaczy metadane Hudi na Iceberg lub Delta bez kopiowania danych — ale z ograniczeniami dla tabel Merge-on-Read.

Czy Hudi albo Paimon?

Oba są zbudowane pod częste aktualizacje. Hudi jest starszy, ma pełniejszy zestaw serwisów tabeli i Hudi Streamer jako gotowe narzędzie ingestu z Kafki i Debezium; pracuje ze Spark i Flink. Paimon wyrósł z Flinka, opiera się na drzewie LSM i ma logikę składania rekordu wbudowaną w format. Jeśli Wasz zespół pracuje w Spark i ma CDC z ERP, Hudi jest bliżej; jeśli Flink jest już w firmie i liczy się stan składany z wielu źródeł, przyjrzyjcie się Paimonowi.

Czy do Hudi potrzebny jest Spark?

Nie wyłącznie, ale Spark jest silnikiem z najszerszym zestawem funkcji — zapis, serwisy tabeli, Hudi Streamer. Flink zapisuje i czyta tabele Hudi; Trino i Presto czytają. Wydanie 1.2.0 dodało Flink Source V2, a 1.2.1 przeniosło konektor Trino do projektu (sprawdzono 21.10.2026).