Parquet czy Avro? Kolumna, kiedy czytacie; wiersz, kiedy piszecie

Temat: Open Source AI

Parquet i Avro nie konkurują ze sobą — odpowiadają na dwa różne pytania i w dobrze zaprojektowanej firmie zwykle występują razem. Avro przenosi zdarzenie z systemu magazynowego do Kafki tak, żeby nikt po drodze nie zgubił pola; Parquet układa milion takich zdarzeń tak, żeby raport marży przeczytał z nich dwie kolumny i zapłacił za dwie kolumny. Spór „który lepszy” wraca w zespołach danych co kilka miesięcy i prawie zawsze kończy się tą samą odpowiedzią: to zależy od tego, czy dane w tej chwili płyną, czy leżą.

Ten tekst pokazuje, jak rozpoznać ten moment, co się dzieje z kosztem i wydajnością po obu stronach i gdzie najczęściej psuje się przejście z jednego formatu do drugiego. Piszemy go dla architekta integracji, inżyniera danych i menedżera, który odpowiada za raportowanie w firmie z ERP, WMS i sklepem internetowym — i który właśnie zaczyna gromadzić zdarzenia zamiast nocnych eksportów. Pojęcia formatu pliku (data format) i formatu tabeli (table format), na których tu stoimy, porządkuje poradnik o formatach plików i tabel.

Co dziś nie działa

— Raport sprzedaży nie zgadza się z WMS-em o czterdzieści palet. — Bo w piątek sklep dodał pole „rabat_procent” do eksportu i nasz import przesunął kolumny. — Przesunął kolumny? — CSV nie wie, która kolumna jest która. Liczy po przecinkach. (Pole dodał stażysta. Raport czytał zarząd. Przecinki nie czytały nikogo.)

Większość firm między 50 a 300 osób wymienia dane między systemami w ten sam sposób: ERP eksportuje CSV o 2:00, skrypt importuje go do hurtowni o 4:00, raport odświeża się o 6:00. Ten układ ma dwie słabości, które nie są winą ludzi. Po pierwsze, CSV nie niesie schematu: kolejność kolumn, typ liczby i znaczenie pustego pola są umową ustną między dwoma skryptami. Po drugie, każdy raport czyta cały plik, nawet jeśli potrzebuje dwóch kolumn z trzydziestu — a w chmurze płaci się za przeczytane bajty.

Avro i Parquet rozwiązują te dwa problemy — ale każdy inny. Dlatego zanim porównacie je ze sobą, trzeba zapytać, który problem w tej chwili kosztuje więcej.

Dwa układy bajtów, dwa rachunki

Wyobraźcie sobie jedno zdarzenie: „wydanie z magazynu” z trzydziestoma polami — numer zlecenia, indeks, ilość, lokalizacja, operator, czas, przewoźnik i tak dalej. Dziennie takich zdarzeń powstaje w średniej firmie kilkadziesiąt tysięcy.

Układ wierszowy (Avro) zapisuje każde zdarzenie w całości, pole za polem, jedno po drugim. Zapis jednego rekordu to dopisanie kilkudziesięciu bajtów na koniec bloku. Odczyt jednego rekordu to przeczytanie tych kilkudziesięciu bajtów. Jeśli zadanie brzmi „weź to zdarzenie i przekaż dalej”, nie da się tego zrobić taniej. Specyfikacja Avro opisuje kodowanie binarne bez znaczników pól: pisarz i czytelnik znają schemat, więc w danych nie ma nazw kolumn — tylko wartości.

Układ kolumnowy (Parquet) zapisuje osobno wszystkie numery zleceń, osobno wszystkie ilości, osobno wszystkich operatorów. Zapis pojedynczego zdarzenia nie ma sensu — Parquet zbiera tysiące rekordów w grupę wierszy (row group), a dopiero potem układa je kolumna po kolumnie. Za to odczyt „suma ilości po przewoźniku za wrzesień” dotyka dwóch kolumn z trzydziestu, a dzięki statystykom minimum i maksimum zapisanym przy każdej grupie wierszy silnik omija grupy, w których września nie ma. Dokumentacja Parquet opisuje tę strukturę: plik → grupy wierszy → kawałki kolumn (column chunks) → strony (pages), ze stopką metadanych na końcu.

Kompresja działa na korzyść układu kolumnowego z prostego powodu: wartości w jednej kolumnie są do siebie podobne. Kolumna „przewoźnik” ma pięć różnych wartości na milion wierszy — kodowanie słownikowe (RLE_DICTIONARY) zapisuje pięć nazw i milion małych numerków. Avro też kompresuje (deflate, snappy, zstandard na bloki), ale kompresuje rekordy, w których obok siebie leżą data, tekst i liczba — różne typy, mało powtórzeń.

PytanieAvro (wierszowy)Parquet (kolumnowy)
Zapis jednego zdarzeniatani: dopisanie kilku dziesiątek bajtównieopłacalny: plik powstaje z tysięcy rekordów naraz
Odczyt całego rekordutani: bajty leżą obok siebiedroższy: trzeba złożyć wiersz z wielu kolumn
Odczyt dwóch kolumn z miliona wierszydrogi: czyta się wszystkie trzydzieści póltani: czyta się dwie kolumny i pomija grupy po statystykach
Kompresjana bloki rekordów, umiarkowanasłownikowa i RLE po kolumnach, wysoka dla powtarzalnych wartości
Gdzie leży schematJSON w nagłówku pliku albo w rejestrze schematóww stopce pliku
Kodeki (wg dokumentacji)null, deflate wymagane; snappy, zstandard, bzip2, xz opcjonalneSNAPPY, GZIP, ZSTD, BROTLI, LZ4_RAW (LZ4 w ramce Hadoop przestarzałe)

Nie podajemy tu procentów oszczędności, bo zależą od Waszych danych: liczby unikalnych wartości, długości tekstów, sposobu sortowania. Mechanizm jest jednak ten sam u każdego — i dlatego warto go zmierzyć na własnej tabeli, zanim ktoś pokaże slajd z obietnicą.

Schemat: kto go pilnuje

W pierwszej scence problemem nie był rozmiar pliku, tylko to, że nikt nie wiedział, co znaczy nowa kolumna. Tu drogi obu formatów rozchodzą się najwyraźniej.

Avro traktuje schemat jako umowę. Schemat jest dokumentem JSON: nazwy pól, typy, wartości domyślne. Specyfikacja definiuje reguły rozwiązywania schematu czytelnika i pisarza (reader/writer schema resolution): pola dopasowuje się po nazwie; pole, które pisarz zapisał, a czytelnik go nie zna, jest pomijane; pole, którego czytelnik oczekuje, a pisarz nie zapisał, dostaje wartość domyślną — albo odczyt kończy się błędem, jeśli domyślnej nie ma. Dopuszczone są promocje typów: int na long, long na double, string na bytes i odwrotnie. Gdy rekordy lecą pojedynczo przez Kafkę, schemat nie podróżuje z każdym z nich — podróżuje jego identyfikator. Rejestr schematów (schema registry) trzyma wszystkie wersje i, co ważniejsze, odrzuca zmianę, która łamie zgodność. Według dokumentacji Confluent każdy komunikat zaczyna się bajtem magicznym i czterobajtowym identyfikatorem schematu, a dopiero potem leżą dane Avro. Avro ma też kodowanie pojedynczego obiektu (single-object encoding) z odciskiem schematu w nagłówku — dla przypadków bez rejestru.

Parquet traktuje schemat jako opis pliku. W stopce każdego pliku jest jego schemat — ale to schemat tego jednego pliku. Jeśli w poniedziałek zapisaliście pliki z trzydziestoma kolumnami, a we wtorek z trzydziestoma jedną, Parquet sam z siebie nie wie, czy to ta sama tabela. Tę wiedzę wnosi format tabeli (Delta Lake, Iceberg) albo silnik, który łączy schematy przy odczycie. Dlatego ewolucja schematu w Parquet jest sprawą warstwy wyżej — co nie jest wadą, tylko podziałem ról.

ZmianaAvro z rejestrem (zgodność wstecz)Parquet w formacie tabeli
Dodanie poladozwolone, jeśli ma wartość domyślnądozwolone; starsze pliki czytane z wartością pustą
Usunięcie poladozwolone, jeśli czytelnik ma domyślnądozwolone na poziomie tabeli; pliki zostają
Zmiana typutylko promocje (int→long, float→double…)zależnie od formatu tabeli (np. rozszerzanie typów w Delta Lake)
Przemianowaniew Avro to usunięcie i dodanie; aliasy pomagająpo identyfikatorach kolumn w Iceberg; mapowanie kolumn w Delta

Wniosek dla menedżera: w Avro zmiana schematu jest decyzją między działami, egzekwowaną przez rejestr. W Parquet zmiana schematu jest decyzją właściciela tabeli, egzekwowaną przez format tabeli. W obu przypadkach ktoś musi być tym właścicielem — plik sam się nie obroni.

Przypadki użycia: kiedy który

Tabela decyzyjna z trzech pytań — gdzie dane są w tej chwili, kto je czyta i jak często.

SytuacjaFormatDlaczego
Zdarzenia z ERP, WMS, sklepu płyną przez Kafkę do innych systemówAvrozapis pojedynczych rekordów, schemat jako umowa między działami, odczyt całego zdarzenia
Integracja między dwiema aplikacjami (zamówienie → faktura)Avro (albo Protobuf)rekord w całości, zgodność wersji, mały rozmiar komunikatu
Przechwytywanie zmian (Change Data Capture, CDC) z bazy ERPAvro w strumieniuDebezium i Kafka Connect zapisują zmiany jako rekordy ze schematem
Raporty, BI, analiza marży, agregacjeParquetkilka kolumn z milionów wierszy, statystyki, kompresja słownikowa
Uczenie modeli, zbiory treningowe, cechyParquetodczyt wybranych kolumn, duże paczki, zgodność z Arrow, pandas, Polars
Archiwum historii transakcjiParquet w formacie tabelitanie składowanie, rzadki odczyt analityczny, podróż w czasie dzięki tabeli
Dziennik zdarzeń dopisywany i czytany w całościAvro albo Parquet z dużymi plikamizależy od tego, czy częściej czytacie pojedyncze zdarzenia, czy agregaty

Gdzie spotkacie który format u vendorów: Microsoft Fabric przechowuje tabele w OneLake w formacie Delta Parquet (według dokumentacji OneLake); Databricks buduje na Delta Lake, czyli na Parquet; Snowflake czyta tabele Apache Iceberg, których pliki danych to w praktyce Parquet. Avro spotkacie po stronie strumienia: w Kafce, Kafka Connect, Debezium, Flinku — i, co ciekawe, w samym Icebergu, który zapisuje swoje manifesty (listy plików) właśnie w Avro, bo manifest czyta się w całości, rekord po rekordzie.

Macierz decyzji w dwóch krokach. Krok 1: czy dane w tej chwili płyną (zdarzenie po zdarzeniu) czy leżą (paczki do raportów)? Płyną — Avro: zapis pojedynczych zdarzeń, schemat jako umowa w rejestrze, Kafka, Debezium, integracje. Leżą — Parquet: odczyt wybranych kolumn, statystyki, kompresja słownikowa, BI, modele, archiwum. Krok 2: typowy układ to oba naraz — zdarzenia w Avro w Kafce, przetwarzanie w Flink lub Spark, zapis do tabeli w formacie tabeli na Parquet. Trzy pułapki: Parquet w strumieniu daje małe pliki, Avro w raportach czyta całe rekordy, JSON bez schematu przenosi koszt do każdego raportu. Ocena autora.
Dwa pytania zamiast sporu: czy dane płyną, czy leżą — i gdzie postawić granicę między strumieniem a tabelą. Ocena autora, nie kryterium żadnego z projektów.

Gdzie zły wybór zaszkodzi

Cztery sytuacje, które widzieliśmy wystarczająco często, żeby je nazwać.

Parquet w strumieniu. Zadanie, które co minutę zapisuje kilkaset zdarzeń do pliku Parquet, po miesiącu zostawia dziesiątki tysięcy plików po kilkadziesiąt kilobajtów. Każdy ma własną stopkę, własne statystyki i własny koszt otwarcia. Zapytanie, które powinno trwać sekundy, trwa minuty, bo silnik otwiera pliki zamiast czytać dane. To problem małych plików (small files problem) i rozwiązuje go kompaktowanie — czyli zadanie serwisowe, które ktoś musi zaplanować i opłacić.

Avro w analityce. Raport marży na plikach Avro czyta wszystkie trzydzieści pól każdego rekordu, żeby wyciągnąć dwa. Nie ma statystyk do przycinania, nie ma słownika po kolumnach. Działa — tylko kosztuje tyle, co CSV, z tą różnicą, że ma schemat.

„Zmienimy schemat, nikt nie zauważy”. Zmiana niezgodna — usunięcie pola bez wartości domyślnej, zmiana typu z tekstu na liczbę — w Avro z rejestrem zostaje odrzucona przy rejestracji. Bez rejestru albo z polityką zgodności ustawioną na „brak” przechodzi i przewraca konsumentów w sobotę rano. Narzędzie daje możliwość pilnowania umowy; polityka musi ją włączyć.

JSON jako „kompromis”. JSON nie wymaga rejestru, nie wymaga typów, każdy go rozumie — i każdy rozumie go trochę inaczej. Brak schematu nie jest oszczędnością; jest pożyczką, którą spłaca każdy raport i każdy agent AI, który dostaje liczbę jako tekst.

Przejście Avro → Parquet: gdzie postawić granicę

Najczęstszy dobry układ wygląda tak: zdarzenia z systemów źródłowych trafiają do Kafki jako rekordy Avro ze schematem w rejestrze. Zadanie przetwarzające (Flink albo Spark) czyta je, oczyszcza, łączy i zapisuje do tabeli w formacie tabeli — Iceberg, Delta Lake albo Paimon — której pliki danych są w Parquet. Raporty, notatniki i agenci czytają tabelę.

Decyzja do podjęcia to opóźnienie, z jakim zdarzenia mają trafiać do tabeli. Co minutę oznacza małe pliki i częste kompaktowanie. Co godzinę oznacza większe pliki i tańszy odczyt — ale raport „na teraz” będzie miał godzinę opóźnienia. Odpowiedź nie leży w technologii; leży w pytaniu, która decyzja biznesowa naprawdę zmienia się w ciągu godziny. Zwykle jest ich mniej, niż sugeruje dashboard.

Jak Avro pracuje po stronie strumienia i jak zbudować rejestr schematów, który pilnuje umów między działami, rozwija profil Apache Avro. Jak zbudować plik Parquet, który skanuje się tanio, opisuje profil Apache Parquet.

Po czym poznać wartość

Odróżnijcie mierniki wyniku od mierników próżności.

Miernik wynikuMiernik próżności
Bajty skanowane przez typowy raport przed i po przejściu na ParquetLiczba plików w jeziorze danych
Czas odpowiedzi dziesięciu najczęstszych zapytań zarządu i agentówLiczba tematów w Kafce
Liczba incydentów „zmiana schematu przewróciła import” na kwartałLiczba zarejestrowanych schematów
Czas od zgłoszenia nowego pola do jego obecności w raporcieRozmiar klastra
Liczba kopii tych samych danych (eksporty, arkusze, kopie dla modelu)Terabajty w magazynie

I jedno zastrzeżenie: na żaden z tych mierników nie wpływa sam format. Wpływa jakość danych źródłowych, projekt partycji, dyscyplina kompaktowania i to, czy ktoś jest właścicielem schematu. Format jest warunkiem, nie przyczyną.

Pierwszy krok w poniedziałek

Weźcie jeden strumień zdarzeń i jeden raport, który z niego korzysta — najlepiej ten, który ostatnio pokazał dwie różne liczby.

  1. Spiszcie schemat zdarzenia w Avro z wartościami domyślnymi dla pól, które mogą być puste. Sam zapis schematu zwykle ujawnia dwa–trzy pola, których nikt nie umie zdefiniować.
  2. Zarejestrujcie go w rejestrze schematów z polityką zgodności „wstecz” i spróbujcie dodać pole bez wartości domyślnej. Rejestr powinien odmówić.
  3. Zapiszcie dzienną paczkę zdarzeń do Parquet, posortowaną po kolumnie, po której raport filtruje.
  4. Zmierzcie bajty skanowane i czas tego samego raportu na CSV i na Parquet. Zapiszcie liczby — to Wasz pierwszy rzeczywisty argument, lepszy niż jakikolwiek slajd.

Jeśli nie potraficie wskazać, kto jest właścicielem schematu zdarzenia i kto jest właścicielem tabeli raportowej, zacznijcie od tego — format nie zastąpi decyzji o odpowiedzialności.

Najważniejsze w skrócie

  • Avro i Parquet rozwiązują różne problemy: Avro — zapis i przekazanie pojedynczego zdarzenia z gwarancją schematu; Parquet — tani odczyt analityczny wybranych kolumn z milionów wierszy.
  • Układ wierszowy jest tani w zapisie, kolumnowy w odczycie. Kompresja kolumnowa wygrywa, bo wartości w jednej kolumnie są do siebie podobne.
  • W Avro schemat jest umową między działami pilnowaną przez rejestr. W Parquet ewolucję schematu prowadzi format tabeli.
  • Typowy układ: Avro w Kafce, Parquet w tabeli lakehouse. Decyzja do podjęcia to opóźnienie między jednym a drugim.
  • Pułapki: Parquet w strumieniu (małe pliki), Avro w raportach (pełne rekordy), JSON jako kompromis (koszt w każdym raporcie).
  • Mierzcie bajty na raport, czas zapytań i liczbę incydentów schematu — nie liczbę plików ani tematów.
Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Nie wiecie, w jakim formacie leżą dane, na których ma pracować AI?

Prezentacja dla zarządu: nazwiemy dane, ich właścicieli i miejsce, w którym powinny leżeć — razem z decyzją o formacie plików i tabel, zanim kupicie platformę albo zatrudnicie zespół. Niezależnie od vendora i partnera.

FAQ

Najczęstsze pytania

Czy JSON nie wystarczy zamiast Avro i Parquet?

Do prototypu tak. W produkcji JSON nie niesie schematu ani typów: liczba może przyjść jako tekst, pole może zniknąć bez ostrzeżenia, a każdy konsument musi sam zgadywać, co znaczy brak wartości. Avro wnosi schemat i reguły zgodności, Parquet wnosi typy, kompresję i statystyki. Koszt JSON-a nie jest widoczny w dniu wdrożenia — wraca w każdym raporcie, który trzeba poprawić.

Czy ORC zamiast Parquet?

ORC jest również kolumnowy i rozwiązuje ten sam problem. Parquet ma dziś szersze wsparcie w silnikach i formatach tabel (Delta Lake, Apache Iceberg, Apache Hudi i Apache Paimon domyślnie zapisują Parquet), więc jest bezpieczniejszym wyborem, jeśli nie macie już ekosystemu zbudowanego wokół ORC.

Czy Protobuf zamiast Avro w Kafce?

Tak, rejestr schematów Confluent obsługuje Avro, Protobuf i JSON Schema. Protobuf ma przewagę, gdy te same definicje służą też do komunikacji między usługami (gRPC). Avro ma prostsze reguły rozwiązywania schematu i jest szerzej wspierany w narzędziach danych: Kafka Connect, Debezium, Flink, Spark. Wybór zależy od tego, kto więcej czyta zdarzenia — programiści aplikacji czy zespół danych.

Czy Power BI albo Microsoft Fabric przeczyta Avro?

Fabric i Power BI pracują na tabelach w OneLake, zapisanych w formacie Delta Parquet. Zdarzenia Avro trzeba najpierw przetworzyć — na przykład przez Eventstream albo Spark — do tabeli Delta. To ten sam wzorzec, co w otwartym stosie: Avro w strumieniu, Parquet w tabeli, którą czyta raport.