Koniec wojny formatów? Jak XTable i Delta UniForm pozwalają zapisać raz, a czytać jako Delta, Iceberg i Hudi

Temat: Open Source AI

Dane w trzech formatach tabel to trzy komplety metadanych nad tymi samymi plikami Parquet — i właśnie dlatego da się je tłumaczyć bez kopiowania danych. Apache XTable (dawniej OneTable) czyta metadane jednego formatu i dopisuje obok metadane drugiego, więc tabela zapisana jako Delta pojawia się jako Iceberg dla Snowflake i jako Hudi dla silnika, który woli Hudi. Delta UniForm robi to samo od środka Delta Lake: przy każdym zatwierdzeniu generuje metadane Iceberg (i Hudi), żeby platformy czytające Iceberg widziały tabelę natywnie. Dla firmy oznacza to jedną kopię danych i wybór silnika według zadania, a nie według formatu. Ten tekst wyjaśnia, co faktycznie jest tłumaczone, czego nie da się przetłumaczyć i gdzie „jedna kopia” nadal wymaga jednego właściciela. Różnicę między formatem pliku a formatem tabeli, na której stoi cała ta mechanika, porządkuje poradnik o formatach plików i tabel.

Piszę dla dwóch osób. Dla architekta w firmie, która ma Microsoft Fabric albo Databricks i jednocześnie spółkę zależną, dział analityczny albo partnera na Snowflake lub BigQuery. I dla dyrektora IT, który płaci dziś za dwie kopie tych samych danych i chce wiedzieć, czy unifikacja metadanych rozwiązuje jego problem, czy tylko przenosi go do katalogu.

Co dziś nie działa

— Zespół controllingu w spółce zależnej chce liczyć marżę na naszych danych. Oni mają Snowflake. — Nasz lakehouse jest w Delta. Snowflake woli Iceberg. — To skopiujmy im tabelę raz w nocy. (Po pół roku są dwie tabele marży, dwa harmonogramy kopiowania i dwie liczby na posiedzeniu zarządu. Obie z pieczątką „źródło: lakehouse”.)

Kopiowanie tabeli między platformami wygląda na decyzję techniczną, ale jest decyzją o prawdzie. Każda kopia ma własne opóźnienie, własny proces, który może nie zadziałać, i własnego administratora, który o tym nie wie. Różnica w jednej liczbie nie wynika z błędu — wynika z tego, że dwie platformy zobaczyły tabelę o różnych godzinach. Do tego dochodzi koszt składowania dwóch egzemplarzy danych, koszt procesu kopiującego i, co najtrudniejsze do policzenia, koszt godziny, w której dwa zespoły ustalają, która wersja jest właściwa.

Przez lata jedyną odpowiedzią było „wybierzcie jeden format i zmuście wszystkich do jego używania”. Tyle że platformy nie pytają Waszej firmy o zdanie: Databricks i Fabric zapisują w Delta, Snowflake, AWS i Google Cloud rozmawiają w Iceberg, a zespół, który od lat przetwarza zmiany z ERP, trzyma dane w Hudi. Unifikacja metadanych jest próbą zakończenia tej wojny bez zwycięzcy.

Dlaczego to w ogóle możliwe

Trzy formaty tabel różnią się planem budynku, ale używają tych samych cegieł. Pliki danych w Delta Lake, Apache Iceberg i Apache Hudi to w zdecydowanej większości pliki Parquet, a każdy z formatów traktuje je jako niezmienne (immutable): raz zapisany plik nikt nie edytuje, zmiana tabeli to nowe pliki plus nowa wersja metadanych. Format tabeli odpowiada tylko na pytania: które pliki tworzą tabelę w tej chwili, jaki ma schemat, jak jest podzielona, jakie statystyki niesie każdy plik i jaka była jej historia.

Skoro pliki są wspólne, a różni się tylko sposób opisania ich listy, tłumaczenie polega na przepisaniu tej listy do innego drzewa metadanych:

Co przepisuje tłumaczZ czego w DeltaNa co w IcebergNa co w Hudi
Lista aktualnych plikówakcje add i remove w _delta_log/manifesty i lista manifestów wskazywane z migawkioś czasu (timeline) i grupy plików
Schemat tabeliakcja metaDataschemat w pliku metadanych tabeli z identyfikatorami kolumnschemat w commicie na osi czasu
Partycjekolumny partycjonujące w metaDataspecyfikacja partycji z transformacjamiścieżki partycji i klucze
Statystyki plikówstatystyki w akcji addstatystyki kolumn w manifestachstatystyki w metadanych i indeksach
Historia wersjinumerowane commity JSONmigawkiinstanty na osi czasu

Rysunek jest prosty: jedna półka z plikami Parquet, nad nią trzy różne spisy inwentarza. Każdy spis mówi to samo innym językiem. Tłumacz czyta jeden spis i pisze drugi; półki nie dotyka. To dlatego cała operacja nie kopiuje danych i nie zwiększa rachunku za składowanie o drugi terabajt — dopisuje kilka megabajtów metadanych.

Są dwa sposoby, żeby ten tłumacz pracował: z zewnątrz tabeli (Apache XTable) albo od środka formatu zapisu (Delta UniForm).

Apache XTable: tłumacz, którego uruchamiacie sami

Apache XTable jest projektem w inkubacji Apache Software Foundation od lutego 2024 roku. Aktualne wydanie to 0.4.0-incubating z sierpnia 2026 (sprawdzono 21.10.2026, lista wydań). Projekt opisuje się jako narzędzie do „bezstratnej” konwersji metadanych między Hudi, Delta i Iceberg „bez kopiowania ani przenoszenia plików danych”.

Model pracy jest prosty. W konfiguracji wskazujecie format źródłowy (sourceFormat) i jeden lub więcej formatów docelowych (targetFormats) oraz ścieżkę tabeli. XTable czyta metadane źródła i zapisuje obok, w tym samym katalogu, metadane docelowe. Z instrukcji projektu wynikają dwa tryby synchronizacji: pełna (FULL), która buduje od nowa listę wszystkich plików, oraz przyrostowa (INCREMENTAL), która dopisuje tylko to, co zmieniło się od poprzedniego uruchomienia. Uruchamiacie to jako zadanie — ręcznie, w harmonogramie albo po każdym zapisie — a wynik rejestrujecie w katalogu, którego używa silnik czytający.

Wydanie 0.4.0 dodało między innymi cel oparty na Delta Kernel, źródła Paimon i surowego Parquet oraz środowisko uruchomieniowe dla Spark. Z dokumentacji wynikają też ograniczenia, które decydują o tym, czy XTable pasuje do Waszego stosu: tabele Merge-on-Read w Hudi i Iceberg nie są obsługiwane, podobnie jak wektory usunięć (deletion vectors) w Delta. Innymi słowy, XTable najlepiej radzi sobie z tabelami, które zmieniają się przez dopisywanie i przepisywanie plików, a gorzej z takimi, gdzie usunięcia i aktualizacje są oznaczane „na boku”.

Blog Microsoft Fabric podaje, że OneLake korzysta z Apache XTable, żeby udostępniać tabele Delta jako Iceberg i odwrotnie. Jeśli używacie Fabric, nie uruchamiacie XTable sami — dokumentacja OneLake opisuje to jako wirtualizację metadanych z własnymi ograniczeniami (między innymi limit liczby commitów i opóźnienie od kilku sekund do kilku minut; sprawdzono 21.10.2026).

Delta UniForm: tłumacz wbudowany w format zapisu

Delta UniForm (Universal Format) jest funkcją samego Delta Lake. Po włączeniu na tabeli Delta generuje po każdym zatwierdzeniu metadane Iceberg — a w trybie podglądowym także Hudi — i zapisuje je obok logu Delta. Nie ma osobnego zadania do uruchamiania: tłumaczenie jest asynchroniczną częścią zapisu.

Z dokumentacji (sprawdzono 21.10.2026) wynikają warunki i granice:

  • tabela musi używać mapowania kolumn (column mapping) i mieć protokół czytelnika co najmniej 2 oraz pisarza co najmniej 7, z włączoną właściwością delta.enableIcebergCompatV2;
  • Iceberg przez UniForm jest dostępny od Delta 3.1, Hudi od Delta 3.2;
  • strona Iceberg i Hudi jest tylko do odczytu — zapis nadal odbywa się wyłącznie przez Delta;
  • wektory usunięć nie są przenoszone do widoku Iceberg; dokumentacja Databricks rozróżnia odczyt jako Iceberg v2 (bez wektorów) i v3 (z wektorami) oraz opisuje polecenie REORG … UPGRADE UNIFORM, które fizycznie usuwa wektory z plików;
  • typ VOID jest nieobsługiwany, a dziennik zmian (Change Data Feed) nie jest widoczny od strony Iceberg;
  • Delta 4.3.0 z czerwca 2026 dodała atomową przyrostową konwersję metadanych Iceberg (lista wydań).

Jak czytają to inne platformy: BigQuery sięga po wersjonowany plik metadanych Iceberg wskazany ścieżką, Databricks udostępnia tabele UniForm przez punkt końcowy Iceberg REST w Unity Catalog, a Snowflake może zarejestrować tabelę Iceberg przez integrację z katalogiem zewnętrznym (dokumentacja Snowflake). Szczegóły pełnego profilu Delta Lake, w tym rolę protokołu i funkcji tabeli, opisuje profil Delta Lake.

KryteriumApache XTableDelta UniForm
Gdzie żyjeosobne narzędzie uruchamiane obok tabelifunkcja wbudowana w Delta Lake
Kto uruchamiaWy: zadanie ręczne, harmonogram, hook po zapisie; w Fabric — platformapisarz Delta, asynchronicznie po zatwierdzeniu
Format zapisudowolny z trzech (Hudi, Delta, Iceberg); od 0.4.0 także Paimon i Parquet jako źródłatylko Delta
Formaty odczytupozostałe z trzechIceberg; Hudi w podglądzie
Trybypełny i przyrostowyprzyrostowy po każdym commicie
Ograniczenia z dokumentacjibrak obsługi Merge-on-Read w Hudi/Iceberg i wektorów usunięć w Deltawymagane mapowanie kolumn i protokół 2/7; brak wektorów usunięć w Iceberg v2, brak CDF i typu VOID
Status0.4.0-incubating, inkubacja ASFczęść Delta Lake od 3.1 (Iceberg) i 3.2 (Hudi)
Dobre dopasowaniewiele formatów zapisu w firmie, własny stos, Fabric (pod spodem)Databricks lub własny Spark z Delta jako jedynym formatem zapisu
Schemat w pionie: na dole jedna półka z plikami Parquet, nad nią trzy komplety metadanych — log Delta, drzewo Iceberg, oś czasu Hudi — wszystkie wskazujące te same pliki. Z boku dwa tłumacze: Apache XTable jako osobne zadanie uruchamiane przez firmę, czytające jeden komplet i piszące pozostałe; Delta UniForm jako funkcja wbudowana w Delta, generująca metadane Iceberg i Hudi po każdym zatwierdzeniu. Na górze trzy silniki czytające: Snowflake i BigQuery przez Iceberg, Fabric i Databricks przez Delta, silnik Hudi przez Hudi. Ramka na dole: co się nie tłumaczy — uprawnienia, katalog, funkcje nieznane drugiemu formatowi, zapis z drugiej strony.
Jedne pliki Parquet, trzy komplety metadanych. Tłumaczy się spis inwentarza, nie półkę — dlatego nie rośnie rachunek za składowanie. Nie tłumaczą się uprawnienia ani katalog. Schemat autora na podstawie dokumentacji XTable i Delta UniForm.

Kontekst rynkowy: dlaczego to się dzieje teraz

Kilka faktów, bez prognoz. W czerwcu 2024 roku Databricks ogłosił przejęcie Tabular, firmy założonej przez twórców Apache Iceberg, deklarując jako cel krótkoterminowy zgodność Delta i Iceberg przez UniForm. W grudniu 2024 AWS udostępnił Amazon S3 Tables z wbudowanym Icebergiem. Snowflake prowadzi Open Catalog jako zarządzaną wersję Apache Polaris, który w lutym 2026 został projektem najwyższego poziomu ASF. Confluent oferuje Tableflow, który materializuje tematy Kafki jako tabele Iceberg lub Delta w katalogach Glue, Unity, Polaris i Open Catalog. Google udostępnia zarządzane tabele Iceberg w BigQuery i katalog REST Iceberg w usłudze Lakehouse.

Wspólny mianownik: żaden z dużych vendorów nie ogłosił, że porzuca swój format. Zamiast tego każdy uczy się czytać format sąsiada, a otwarta specyfikacja katalogu REST Iceberg staje się punktem styku. Dla Waszej firmy to dobra wiadomość — oraz powód, żeby nie podejmować decyzji o formacie na podstawie tego, kto wygrywa w danym kwartale. Jak czytać ten krajobraz na poziomie wyboru formatu, opisuje porównanie Delta Lake, Iceberg i Hudi.

Gdzie „jedna kopia” zaszkodzi

Unifikacja metadanych rozwiązuje jeden problem — kopiowanie danych między formatami — i nie dotyka czterech innych. Warto je nazwać, zanim ktoś na zarządzie usłyszy „mamy już jedną kopię”.

Tłumaczy się metadane, nie uprawnienia. XTable i UniForm przepisują listę plików, schemat i partycje. Nie przepisują tego, kto ma prawo czytać tabelę, kto jest jej właścicielem i jakie reguły maskowania obowiązują. Katalog po stronie Snowflake trzeba skonfigurować osobno od katalogu po stronie Fabric, a dwa katalogi to dwie listy uprawnień do uzgodnienia. Firma, która kupiła unifikację, żeby „mieć jedną prawdę”, bez uzgodnienia uprawnień ma jedną prawdę dostępną różnym osobom w różnych miejscach.

„Natywnie” nie znaczy „w tej samej sekundzie”. UniForm generuje metadane asynchronicznie po zatwierdzeniu, XTable po uruchomieniu zadania, a wirtualizacja w OneLake ma udokumentowane opóźnienie. Raport w Snowflake może przez chwilę widzieć tabelę o jeden commit starszą niż notatnik w Databricks. Dla raportu dziennego to bez znaczenia; dla procesu, który na podstawie tej tabeli blokuje limit kredytowy klienta, znaczenie ma.

Jeden format pozostaje formatem zapisu. To tam decyduje się, kto jest właścicielem tabeli, kto uruchamia kompaktowanie i czyszczenie, kto odpowiada za usunięcie danych pod RODO. Drugi widok jest lustrem. Jeśli ktoś w spółce zależnej zapisze „swoją” wersję w Iceberg obok, powstają dwa logi transakcji nad jednymi plikami — i wojna formatów wraca pod nową nazwą.

Funkcje, których drugi format nie zna, nie przetłumaczą się. Wektory usunięć, dziennik zmian, niektóre typy danych — listy ograniczeń w dokumentacji XTable i UniForm są dłuższe niż jedno zdanie i zmieniają się z wersjami. Przed włączeniem trzeba przeczytać je dla Waszej wersji Delta, Iceberg i silników, a nie dla wersji z prezentacji vendora.

Przykład dydaktyczny: grupa z Fabric i spółką zależną na Snowflake

To przykład ilustracyjny, nie opis wdrożenia u klienta. Wyobraźcie sobie grupę handlowo-produkcyjną zatrudniającą około 200 osób, która trzyma dane z ERP, WMS i sklepu w lakehouse na Microsoft Fabric, a jej spółka zależna — przejęta dwa lata wcześniej — ma zespół analityczny pracujący w Snowflake.

Stan przed. Co noc zadanie kopiuje pięć tabel (sprzedaż, zapasy, cennik, klienci, marża) z OneLake do magazynu Snowflake. Załóżmy, że kopia opóźnia dane o jeden dzień, a dwa razy w kwartale zadanie nie kończy się przed poranną prezentacją. Grupa płaci za składowanie dwóch egzemplarzy tych samych tabel i utrzymuje osobny proces kopiujący z osobnym właścicielem. Gdy controlling obu spółek liczy marżę, liczby różnią się o korekty dopisane po północy — i spotkanie zaczyna się od ustalania, kto ma rację.

Co robi system po zmianie. Tabele pozostają zapisywane w Delta w OneLake. Przez wirtualizację metadanych w Fabric (pod spodem XTable) spółka zależna rejestruje te same tabele jako Iceberg w swoim katalogu i czyta je w Snowflake bez kopii. Alternatywa dla grupy na Databricks wyglądałaby identycznie z UniForm włączonym na tabelach Delta i punktem końcowym Iceberg REST w Unity Catalog. Zadanie kopiujące zostaje wyłączone. Obie spółki czytają tę samą listę plików, z opóźnieniem liczonym w minutach, nie w dobach.

Co zostaje przy człowieku. Właściciel każdej z pięciu tabel jest po stronie formatu zapisu i to on zatwierdza zmianę schematu, retencję historii i realizację żądań usunięcia danych. Dyrektor finansowy grupy decyduje, która definicja marży jest definicją grupy — unifikacja metadanych nie uzgodni za niego, czy bonus roczny wchodzi do marży klienta. Administratorzy obu katalogów uzgadniają listę uprawnień: kto w spółce zależnej widzi cennik, a kto tylko marżę zagregowaną.

Czym to zmierzyć. Liczba kopii każdej tabeli (cel: jedna), koszt składowania zduplikowanych danych (znika w miesiącu po wyłączeniu kopii), opóźnienie od zapisu w Fabric do widoczności w Snowflake (mierzone, nie deklarowane), liczba zadań ETL „kopiujących między formatami”, które udało się wyłączyć, oraz — mniej wygodnie — liczba spotkań, które zaczynają się od uzgadniania wersji danych.

Po czym poznać wartość

Metryki próżności są tu wyjątkowo kuszące: „obsługujemy trzy formaty”, „mamy interoperacyjność”. Żadna z nich nie zmienia rachunku. Mierzcie to, co zmienia:

MiaraDlaczego ma znaczenie
Liczba kopii tej samej tabeli w grupiekażda kopia to osobna prawda i osobny koszt
Koszt składowania zduplikowanych danych na miesiącjedyna oszczędność, którą zobaczycie na fakturze wprost
Zmierzone opóźnienie zapis → widoczność w drugim silnikudecyduje, które procesy mogą korzystać z widoku
Liczba wyłączonych zadań kopiującychmniej procesów, mniej właścicieli, mniej nocnych awarii
Czas realizacji żądania usunięcia danych do zniknięcia z obu widokówmierzy, czy RODO jest spełnione w praktyce, nie w poleceniu SQL

Uczciwie: na żadną z tych liczb nie wpływa sam XTable ani UniForm. Wpływa to, czy ktoś wyłączył stare kopie, uzgodnił uprawnienia i jest właścicielem formatu zapisu.

Pierwszy krok

W poniedziałek wybierzcie jedną tabelę, którą dziś kopiujecie między platformami — najlepiej tę, o którą zdarzyło się spierać na zarządzie. Sprawdźcie jej format zapisu i wersję Delta albo Iceberg, przeczytajcie listę ograniczeń UniForm lub XTable dla tej wersji, włączcie unifikację na tej jednej tabeli i porównajcie wyniki zapytania z obu stron przez tydzień. Dopiero gdy liczby się zgadzają, a opóźnienie jest zmierzone, wyłączcie kopię. Jeśli przy tej okazji okaże się, że tabela nie ma właściciela — to jest Wasz prawdziwy pierwszy problem, a formaty są drugim.

Najważniejsze w skrócie

  • Delta Lake, Iceberg i Hudi różnią się metadanymi, nie plikami. Dlatego tabelę da się przetłumaczyć bez kopiowania danych.
  • Apache XTable (0.4.0-incubating) to osobny tłumacz, który uruchamiacie sami; Delta UniForm to tłumacz wbudowany w Delta, działający po każdym zatwierdzeniu. Fabric OneLake korzysta z XTable pod spodem.
  • Tłumaczy się lista plików, schemat, partycje i statystyki. Nie tłumaczą się uprawnienia, katalog, dziennik zmian ani funkcje nieznane drugiemu formatowi.
  • Drugi format jest widokiem tylko do odczytu. Właściciel tabeli, zadania serwisowe i usunięcia pod RODO zostają po stronie formatu zapisu.
  • Mierzcie liczbę kopii, koszt składowania, zmierzone opóźnienie i czas usunięcia danych — nie liczbę „obsługiwanych formatów”.
Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Nie wiecie, w jakim formacie leżą dane, na których ma pracować AI?

Prezentacja dla zarządu: nazwiemy dane, ich właścicieli i miejsce, w którym powinny leżeć — razem z decyzją o formacie plików i tabel, zanim kupicie platformę albo zatrudnicie zespół. Niezależnie od vendora i partnera.

FAQ

Najczęstsze pytania

Czy po włączeniu UniForm albo XTable mogę pisać do tabeli z obu stron?

Nie. W obu rozwiązaniach jeden format pozostaje formatem zapisu, a drugi jest widokiem tylko do odczytu. UniForm generuje metadane Iceberg i Hudi po każdym zatwierdzeniu w Delta; XTable przepisuje metadane z formatu źródłowego do docelowych. Zapis z dwóch stron do tych samych plików oznaczałby dwa niezależne logi transakcji nad jednymi danymi — tego żadne z narzędzi nie obiecuje.

Czy unifikacja metadanych zastępuje katalog i uprawnienia?

Nie. Tłumaczone są listy plików, schemat, partycje i statystyki — nie uprawnienia, nie właściciele, nie reguły dostępu. Katalog (Unity Catalog, Apache Polaris, OneLake, Glue) nadal decyduje, kto widzi którą tabelę, i trzeba go skonfigurować po obu stronach.

Czy Microsoft Fabric czyta Iceberg bez XTable?

Z dokumentacji OneLake wynika, że Fabric wirtualizuje metadane między Delta i Iceberg i pozwala tworzyć skróty do tabel Iceberg; blog Microsoft podaje, że OneLake korzysta z Apache XTable pod spodem. Dla użytkownika Fabric to funkcja platformy, a nie osobne narzędzie do uruchamiania — z ograniczeniami liczby commitów i opóźnieniem opisanymi w dokumentacji.

Co się dzieje z usunięciem danych pod RODO, gdy tabela ma dwa komplety metadanych?

Usunięcie wykonujecie w formacie zapisu. Jeśli użyto wektorów usunięć (deletion vectors), drugi widok może ich nie czytać — UniForm wymaga albo odczytu Iceberg v3, albo fizycznego usunięcia wektorów poleceniem REORG. Dopóki stare pliki nie zostaną usunięte zadaniem czyszczącym, rekord może być widoczny w podróży w czasie po obu stronach. Termin spełnienia żądania liczy się do momentu usunięcia plików, nie do zatwierdzenia polecenia DELETE.