Delta Lake, Apache Iceberg czy Apache Hudi? Trzy plany tego samego budynku

Temat: Open Source AI

Trzy formaty tabel dają dziś ten sam zestaw obietnic — transakcje, podróż w czasie, ewolucję schematu, aktualizacje i usunięcia — więc wybór między nimi rzadko zależy od listy funkcji, a prawie zawsze od tego, które silniki i platformy mają je czytać i kto ma prowadzić katalog. Delta Lake jest domyślnym formatem Databricks i Microsoft Fabric. Apache Iceberg stał się wspólnym językiem Snowflake, AWS, Google Cloud i silników otwartych, z katalogiem REST jako punktem styku. Apache Hudi od początku budowano wokół aktualizacji rekordów i przetwarzania przyrostowego, więc najlepiej czuje się tam, gdzie dane zmieniają się bez przerwy. Ten tekst porównuje trzy architektury według tych samych kryteriów — bez ogłaszania zwycięzcy, bo zwycięzcą jest ten format, którego Wasze silniki nie będą musiały obchodzić.

Dla kogo: dla architekta platformy danych, dyrektora IT i zarządu, który ma podjąć decyzję o platformie i słyszy od zespołu trzy nazwy. Po lekturze będziecie umieli ocenić, czy proponowany format pasuje do Waszych silników, katalogu i wzorca zmian danych. Czym w ogóle jest format tabeli (table format) i jak ma się do plików Parquet, wyjaśnia poradnik główny o formatach plików i tabel — tu zakładamy, że to już wiecie.

Co dziś nie działa

— Potrzebuję marży po klientach z zeszłego kwartału. — Z której kopii? Zespół raportowy ma swoją w Fabric, analitycy w Snowflake, a dział AI trzyma trzecią, bo ich silnik czyta tylko Iceberg. — A która jest prawdziwa? — Każda. Dla swojego zespołu. (Trzy kopie tych samych faktur, trzy harmonogramy ładowania, trzy daty ostatniej aktualizacji. Jedna firma.)

Kopie danych nie powstają ze złej woli. Powstają, bo każdy zespół kupił silnik, który najlepiej czytał jeden format, a potem skopiował dane, żeby móc pracować. Po roku firma płaci trzy razy za składowanie, trzy razy za ładowanie i raz — najdrożej — za spór na zarządzie, która liczba jest prawdziwa. Format tabeli miał to rozwiązać: jeden zestaw plików, jedna lista „co jest tabelą”, wiele silników. Rozwiązuje, pod warunkiem że silniki czytają ten sam format albo że ktoś zadbał o tłumaczenie między nimi.

Trzy architektury metadanych na jednym rysunku

Wszystkie trzy formaty trzymają dane w niezmiennych plikach Parquet i dopisują nad nimi metadane. Różnią się tym, gdzie leży prawda o tabeli i jak się ją zmienia.

Delta Lake prowadzi log transakcji. W katalogu _delta_log/ leżą ponumerowane pliki JSON — jeden na transakcję — z akcjami add (nowy plik danych), remove (plik przestaje należeć do tabeli), metaData (schemat i partycje), protocol (wymagana wersja czytelnika i pisarza) oraz commitInfo. Co pewien czas powstaje punkt kontrolny (checkpoint) w Parquet, żeby czytelnik nie musiał odtwarzać historii od pierwszego pliku. Zmiana tabeli to zapis kolejnego pliku logu; dwa procesy piszące naraz rozwiązuje optymistyczna kontrola współbieżności — drugi sprawdza, czy pierwszy nie zmienił tych samych plików, i w razie konfliktu próbuje ponownie. Szczegóły są w protokole Delta Lake. Aktualne wydanie to 4.4.0 z sierpnia 2026 (sprawdzono 21.10.2026, lista wydań).

Apache Iceberg buduje drzewo. Plik metadanych tabeli wskazuje aktualną migawkę (snapshot); migawka wskazuje listę manifestów; każdy manifest — zapisany w Avro — wylicza pliki danych i pliki usunięć razem ze statystykami kolumn. Zmiana tabeli to zapisanie nowego drzewa i atomowa podmiana wskaźnika w katalogu na nowy plik metadanych. Katalog jest więc jedynym miejscem, w którym cokolwiek się zmienia — i jedynym, które musi gwarantować atomowość. Stąd rola specyfikacji katalogu REST: każdy silnik rozmawia z katalogiem tym samym językiem. Specyfikacja tabeli w wersji 3 jest przyjęta (spec), aktualne wydanie biblioteki to 1.12.0 z września 2026 (sprawdzono 21.10.2026, katalog wydań ASF).

Apache Hudi prowadzi oś czasu (timeline). Każda akcja — commit, deltacommit, kompaktowanie, klastrowanie, czyszczenie, przywrócenie — ma na niej swój wpis i przechodzi przez stany REQUESTED, INFLIGHT, COMPLETED. Obok osi czasu Hudi utrzymuje tabelę metadanych z indeksami, w tym indeksem rekordów, który mówi, w jakim pliku leży rekord o danym kluczu. To ten indeks pozwala aktualizować pojedyncze wiersze bez skanowania całej tabeli. Hudi ma dwa typy tabel: Copy-on-Write (CoW), gdzie aktualizacja przepisuje plik bazowy, i Merge-on-Read (MoR), gdzie zmiany dopisuje się do plików dziennika, a kompaktowanie scala je później w nowe pliki bazowe (typy tabel, oś czasu). Aktualne wydanie to 1.2.1 z września 2026 (sprawdzono 21.10.2026, katalog wydań ASF).

Delta LakeApache IcebergApache Hudi
Gdzie leży prawda o tabeliponumerowany log JSON _delta_log/ + punkty kontrolneplik metadanych → migawka → manifesty; wskaźnik w kataloguoś czasu akcji + tabela metadanych z indeksami
Jak zatwierdza się zmianęzapis kolejnego pliku loguatomowa podmiana wskaźnika w kataloguwpis na osi czasu przechodzi do COMPLETED
Współbieżnośćoptymistyczna kontrola konfliktówoptymistyczna, oparta na katalogujeden pisarz domyślnie; OCC z blokadami; nieblokująca kontrola (NBCC) dla MoR w 1.x
Jednostka aktualizacjiplik (z wektorami usunięć — wiersz)plik (z plikami usunięć i wektorami — wiersz)rekord po kluczu dzięki indeksowi
Zarządzanie projektemLinux Foundation (projekt delta-io)Apache Software FoundationApache Software Foundation
Trzy pionowe schematy obok tych samych plików Parquet. Delta Lake: log transakcji z ponumerowanymi plikami JSON i punktami kontrolnymi, zmiana to kolejny wpis w logu. Apache Iceberg: drzewo od wskaźnika w katalogu przez plik metadanych, migawkę i manifesty do plików danych, zmiana to podmiana wskaźnika. Apache Hudi: oś czasu akcji i indeks rekordów nad plikami bazowymi i dziennikami, zmiana to wpis na osi czasu, a aktualizacja trafia do konkretnego rekordu po kluczu. Pod każdym schematem jedno zdanie: co z tego wynika dla firmy.
Gdzie leży prawda o tabeli: log (Delta Lake), drzewo ze wskaźnikiem w katalogu (Apache Iceberg), oś czasu z indeksem rekordów (Apache Hudi). Te same pliki Parquet, trzy plany budynku. Opracowanie własne na podstawie specyfikacji projektów.

Dla zarządu z tego rysunku wynika jedna rzecz: w Icebergu katalog jest częścią architektury, nie dodatkiem. Kto prowadzi katalog, ten prowadzi tabele. W Delcie katalog jest potrzebny do nazw i uprawnień, ale prawda o tabeli leży w logu obok danych. W Hudi prawda leży na osi czasu, a przewaga formatu pojawia się dopiero wtedy, gdy macie klucz rekordu i aktualizacje po tym kluczu.

Wspólne kryteria: ta sama macierz dla trzech formatów

Porównanie ma sens tylko wtedy, gdy każdemu formatowi zadajemy te same pytania. Poniżej dziewięć kryteriów, które wracają w każdym projekcie. Stan funkcji według dokumentacji projektów na 21.10.2026 — przed decyzją sprawdźcie na własnych wersjach silników.

KryteriumDelta LakeApache IcebergApache Hudi
Transakcje ACIDtak, przez logtak, przez atomową podmianę w katalogutak, przez oś czasu
Usunięcia bez przepisywania plikówwektory usunięć (deletion vectors) od wersji 2.3pliki usunięć (pozycyjne, równościowe); w spec v3 wektory usunięć w plikach Puffinaktualizacja i usunięcie po kluczu; w MoR do dziennika, kompaktowanie później
Ewolucja schematudodawanie, zmiana nazw przez mapowanie kolumn, rozszerzanie typów (GA w 4.0)po identyfikatorach kolumn: dodawanie, usuwanie, zmiana nazw, kolejności, promocje typówdodawanie, zmiana typów w zakresie zgodnym z Avro/Parquet
Partycjonowaniepartycje katalogowe albo liquid clustering (od 3.1) bez sztywnych partycjiukryte partycjonowanie (hidden partitioning) przez transformacje; ewolucja partycji bez przepisywaniapartycje + kubełki; klastrowanie jako serwis tabeli
Podróż w czasiewersja albo znacznik czasu z logu; retencja logu domyślnie 30 dnidowolna zachowana migawka; gałęzie i znacznikizapytanie na punkt osi czasu; savepoint
Strumienie i CDCChange Data Feed (od 2.0); jedna tabela dla strumienia i paczki w Spark Structured Streamingodczyt przyrostowy między migawkami; zapis z Flink i Sparkzapytania przyrostowe i CDC z obrazem przed/po; Hudi Streamer z Kafki i Debezium
KatalogiUnity Catalog, OneLake, Hive Metastore, Gluekatalog REST (Apache Polaris, Lakekeeper, Snowflake, Databricks, AWS, Google), Hive, Glue, JDBCHive Metastore, Glue; synchronizacja do katalogów
Silniki (zapis / odczyt)Spark natywnie; inne przez Delta Kernel (Java, Rust) — matryca zgodności do sprawdzeniaSpark, Flink, Trino, Hive, DuckDB, PyIceberg; Snowflake, BigQuery, Athena, Fabric po stronie platformSpark, Flink natywnie; Trino, Presto, Hive do odczytu
Tłumaczenie na inne formatyUniForm: metadane Iceberg (i Hudi w podglądzie) generowane obok logucel tłumaczenia dla UniForm i XTable; źródło w XTableźródło i cel w XTable

Trzy wnioski z tej macierzy, zanim przejdziemy do decyzji. Po pierwsze, na poziomie funkcji różnice są mniejsze, niż sugerują konferencyjne slajdy — każdy format ma transakcje, usunięcia i podróż w czasie. Po drugie, różnice wracają w wersjach: „obsługuje Iceberg” może oznaczać specyfikację v1 bez wektorów usunięć, a „obsługuje Delta” może oznaczać protokół czytelnika 1 bez funkcji tabeli, które włączyliście. Po trzecie, kolumna „katalogi” decyduje o więcej niż kolumna „transakcje”.

Kiedy który format

Trzy profile decyzji. Nie są rozłączne i nie są ostateczne — z powodu tłumaczenia metadanych, o którym piszemy w tekście o Apache XTable i Delta UniForm.

Profil A: firma w ekosystemie Microsoft albo Databricks → Delta Lake. Jeśli Wasze dane już płyną do OneLake w Microsoft Fabric albo do Databricks, Delta jest formatem, w którym te platformy zapisują tabele (OneLake). Wybór innego formatu oznaczałby pracę przeciw platformie. Delta daje Wam tu najpełniejszy zestaw funkcji od pierwszego dnia (liquid clustering, Change Data Feed, wektory usunięć), a UniForm pozwala udostępnić te same tabele czytelnikom Iceberg.

Profil B: wiele silników, kilka chmur, Snowflake albo własny stos, nacisk na niezależność → Apache Iceberg. Jeśli raporty robi Trino albo Snowflake, modele trenuje Spark, strumienie pisze Flink, a zarząd pyta o plan wyjścia — Iceberg jest formatem, na który zgadza się najwięcej rywali: Snowflake, AWS S3 Tables, Google BigQuery, Databricks (zarządzane tabele Iceberg w Unity Catalog), Microsoft Fabric (przez OneLake). Warunek: wybieracie i utrzymujecie katalog REST (Apache Polaris jest od lutego 2026 projektem najwyższego poziomu Apache, ogłoszenie).

Profil C: ciągłe aktualizacje z CDC, deduplikacja po kluczu, dane zmieniające się w minutach → Apache Hudi. Jeśli głównym źródłem są zmiany z ERP i CRM przechwytywane przez Debezium, a tabela analityczna ma odzwierciedlać stan rekordu, nie dopisywać zdarzenia, Hudi ma do tego indeks rekordów, tabele MoR i Hudi Streamer. Cena: więcej ruchomych części i mniejsze wsparcie natywne u vendorów platform — sprawdźcie, czy Wasze silniki czytają Hudi bezpośrednio, czy przez XTable.

PytanieJeśli odpowiedź brzmi……to wskazuje na
Gdzie już leżą dane?OneLake / DatabricksDelta Lake
Ile silników ma czytać te same tabele?trzy i więcej, w tym spoza jednego vendoraApache Iceberg
Jak zmieniają się dane?aktualizacje pojedynczych rekordów co minutęApache Hudi
Kto prowadzi katalog?platforma vendoraDelta (Fabric, Databricks) albo Iceberg (Snowflake, AWS, Google)
Kto prowadzi katalog?my, na własnym stosieApache Iceberg + Polaris/Lakekeeper
Czy zarząd pyta o plan wyjścia?tak, w pierwszym zdaniuIceberg jako format docelowy; Delta z UniForm jako droga do niego

Gdzie ta decyzja zaszkodzi, jeśli podjąć ją za szybko

Format nie równa się katalog. Można mieć dane w otwartym Icebergu i katalog, do którego ma dostęp tylko jedna platforma. Wtedy „otwartość” kończy się na plikach: uprawnienia, nazwy tabel, wersje i wydawanie poświadczeń do danych zostają u vendora. Przy ocenie oferty pytajcie nie „czy to Iceberg”, lecz „czy katalog ma otwarty interfejs REST i czy inny silnik może się do niego podłączyć bez Waszej platformy”.

Wersje specyfikacji. Iceberg ma trzy przyjęte wersje specyfikacji, Delta ma funkcje tabeli z własnymi wymaganiami co do wersji czytelnika i pisarza (wersjonowanie Delta), Hudi ma wersję tabeli (w 1.2 — dziewiątą). Włączenie nowszej funkcji może zamknąć odczyt starszemu silnikowi. Zanim włączycie wektory usunięć albo liquid clustering, sprawdźcie, czy czyta je każdy silnik z listy — także ten, którego używa raz w miesiącu dział finansów.

Zadania serwisowe to stały koszt. Kompaktowanie małych plików, czyszczenie starych wersji (VACUUM w Delcie, wygaszanie migawek w Icebergu, cleaner w Hudi), przepisywanie manifestów — każdy format ich potrzebuje i żaden nie uruchomi ich za Was poza usługą zarządzaną. Bez właściciela tabeli lakehouse po roku kosztuje więcej niż hurtownia, przed którą uciekał.

Rynek się rusza. W czerwcu 2024 Databricks ogłosił przejęcie Tabular, firmy założonej przez twórców Icebergu, z deklarowanym celem zgodności Delta i Iceberg przez UniForm (komunikat). AWS wprowadził S3 Tables z wbudowanym Icebergiem, Snowflake oparł Open Catalog na Apache Polaris, Microsoft wirtualizuje metadane Delta i Iceberg w OneLake. To są fakty z dokumentacji; co z nich wyniknie za dwa lata, nikt uczciwie nie powie. Dlatego decyzję o formacie podejmujcie na podstawie tego, co Wasze silniki czytają dziś, a nie tego, co vendorzy obiecują na przyszły rok.

Przykład dydaktyczny: grupa po przejęciu z trzema silnikami

To przykład ilustracyjny, nie studium klienta — ma pokazać mechanizm decyzji, nie wynik wdrożenia. Załóżmy firmę handlowo-produkcyjną, około 250 osób po przejęciu mniejszej spółki. Spółka matka ma Microsoft 365 i Fabric, przejęta spółka — zespół analityczny na Snowflake, a nowy zespół AI pracuje na Spark i Trino na własnym stosie. Każdy zespół ma kopię tabeli faktur, zamówień i klientów.

Stan przed. Trzy kopie, trzy harmonogramy ładowania, trzy wersje definicji „aktywny klient”. Raport dla zarządu powstaje w Excelu z trzech eksportów. Żądanie usunięcia danych klienta zgodnie z RODO wymaga trzech zgłoszeń do trzech zespołów.

Decyzja według macierzy. Dane już leżą w OneLake, więc formatem zapisu zostaje Delta Lake — praca przeciw platformie nie ma sensu. Ponieważ Snowflake i Trino mają czytać te same tabele, włączany jest UniForm, który generuje metadane Iceberg obok logu Delta; Snowflake czyta tabele przez katalog, Trino przez katalog REST. Hudi nie wchodzi w grę: dane zmieniają się paczkami z ERP raz na godzinę, nie rekord po rekordzie co minutę.

Co robi system. Jedna kopia plików Parquet w OneLake. Log Delta jako prawda o tabeli, metadane Iceberg jako widok tylko do czytania dla pozostałych silników. Usunięcie klienta to jedno polecenie DELETE w tabeli Delta, a po VACUUM rekord znika również z historii; widok Iceberg odzwierciedla zmianę po kolejnej synchronizacji metadanych.

Co zostaje przy człowieku. Właściciel tabeli decyduje o retencji historii (ile dni podróży w czasie), o tym, kto zatwierdza zmianę schematu, i o tym, kiedy uruchamia się kompaktowanie. Dyrektor finansowy zatwierdza jedną definicję „aktywnego klienta” — żaden format nie zrobi tego za niego.

Czym zmierzyć. Liczba kopii tabeli (cel: jedna), liczba procesów ładowania, które można wyłączyć, czas od żądania RODO do potwierdzenia usunięcia, czas podłączenia nowego silnika do istniejących tabel, koszt składowania przed i po. Liczby wpiszecie sami — tu liczy się kierunek.

Po czym poznać wartość

Mierniki wyniku, które zarząd zobaczy w rachunku, a nie w prezentacji:

  • Liczba kopii tych samych danych między silnikami i zespołami. Format tabeli działa, gdy spada do jednej.
  • Czas dodania nowego silnika do istniejących tabel — od decyzji do pierwszego poprawnego zapytania. Mierzy otwartość katalogu, nie formatu.
  • Koszt zadań serwisowych na terabajt miesięcznie: kompaktowanie, czyszczenie, przepisywanie metadanych. Jeśli rośnie szybciej niż dane, tabela nie ma właściciela.
  • Czas realizacji usunięcia zgodnie z RODO — od zgłoszenia do potwierdzenia, że rekord zniknął również z historii i z widoków w innych formatach.
  • Odsetek zapytań, które pomijają partycje albo pliki dzięki statystykom — pokazuje, czy projekt partycji i klastrowania pracuje.

Mierniki próżności: liczba tabel, liczba terabajtów, liczba funkcji formatu włączonych w konfiguracji. Żadna z nich nie zmienia marży.

Pierwszy krok

W poniedziałek rano spiszcie na jednej kartce trzy listy: silniki, które mają czytać tabele; silniki, które mają do nich pisać; i jedno nazwisko — kto prowadzi katalog. Dopiero z tą kartką wybierzcie format. Potem jedna tabela, dwa silniki (jeden pisze, drugi czyta), próba zmiany schematu i odczytu wersji z wczoraj. Jeśli ten test przechodzi na Waszych wersjach silników, macie format. Jeśli nie — wiecie to po tygodniu, nie po roku.

Najważniejsze w skrócie

  • Delta Lake, Apache Iceberg i Apache Hudi trzymają dane w tych samych plikach Parquet; różnią się tym, gdzie leży prawda o tabeli: log, drzewo ze wskaźnikiem w katalogu, oś czasu z indeksem rekordów.
  • Na poziomie funkcji różnice są małe; wracają w wersjach specyfikacji, w katalogach i w tym, które silniki piszą, a które tylko czytają.
  • Delta pasuje do ekosystemu Microsoft/Databricks, Iceberg do wielu silników i planu wyjścia, Hudi do ciągłych aktualizacji po kluczu.
  • Format nie równa się katalog. Pytajcie o otwarty interfejs REST katalogu, nie tylko o nazwę formatu.
  • Zadania serwisowe to stały koszt w każdym z trzech formatów; bez właściciela tabeli żaden format nie obniży kosztów.
Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Nie wiecie, w jakim formacie leżą dane, na których ma pracować AI?

Prezentacja dla zarządu: nazwiemy dane, ich właścicieli i miejsce, w którym powinny leżeć — razem z decyzją o formacie plików i tabel, zanim kupicie platformę albo zatrudnicie zespół. Niezależnie od vendora i partnera.

FAQ

Najczęstsze pytania

Czy można zmienić format tabeli po roku?

Można, bo dane w każdym z trzech formatów leżą w plikach Parquet, a zmienia się tylko warstwa metadanych. Narzędzia takie jak Apache XTable i Delta UniForm potrafią nawet utrzymywać metadane dwóch formatów nad tymi samymi plikami. Nie przenoszą się jednak automatycznie uprawnienia, katalog, zadania serwisowe i funkcje, których drugi format nie zna. Zmiana jest projektem, nie kliknięciem.

Czy Microsoft Fabric czyta Apache Iceberg?

Tak. Według dokumentacji OneLake przechowuje tabele w formacie Delta Parquet i Iceberg oraz wirtualizuje metadane między nimi, a skróty OneLake pozwalają podłączyć tabele Iceberg leżące poza Fabric. Zakres i opóźnienie tej wirtualizacji trzeba sprawdzić w aktualnej dokumentacji, bo zmieniają się z wydaniami.

Czy Iceberg albo Delta Lake zastępują hurtownię danych?

Przejmują jej rolę tam, gdzie na tych samych danych pracuje kilka silników i danych jest dużo. Nie zastępują samej usługi hurtowni: silnika zapytań, optymalizatora, uprawnień i rozliczenia. Format tabeli to plan budynku; hurtownia albo lakehouse jako usługa to budynek razem z administracją.

Co z formatem ORC?

ORC jest formatem pliku, nie tabeli — konkurentem Parquet, nie Delta czy Iceberg. Iceberg obsługuje ORC jako format plików danych, Delta Lake i Hudi w praktyce opierają się na Parquet. W nowych projektach lakehouse Parquet jest domyślnym wyborem, bo czytają go wszystkie silniki.