Apache Parquet: dlaczego raport czyta dwie kolumny, a nie całą tabelę — i co to robi z fakturą za chmurę

Temat: Open Source AI

Parquet obniża koszt analityki w chmurze jednym ruchem: układa dane kolumnowo i zapisuje przy każdej grupie wierszy statystyki, dzięki czemu silnik czyta tylko kolumny, o które pyta, i tylko fragmenty, w których odpowiedź może być. Reszta pliku nie jest nawet pobierana — a w chmurze płaci się za pobrane bajty i czas pracy silnika. Dlatego Parquet jest domyślnym nośnikiem danych w Delta Lake, Apache Iceberg, Apache Hudi i Apache Paimon, czyta go każdy liczący się silnik, a najwięcej zyskują na nim raporty i modele, które pytają o kilka kolumn z milionów wierszy.

Ten profil rozkłada plik Parquet na części, pokazuje, które ustawienia naprawdę wpływają na koszt skanowania, i gdzie Parquet przestaje być dobrym wyborem. Piszemy go dla inżyniera danych, osoby odpowiedzialnej za koszty chmury i analityka BI, który chce rozumieć, za co płaci. Pojęcia formatu pliku (data format) i formatu tabeli (table format) porządkuje poradnik o formatach plików i tabel; miejsce Parquet w całym stosie od magazynu obiektowego po BI opisuje poradnik o lakehouse dla firm.

Co dziś nie działa

— Faktura za silnik zapytań urosła o połowę. Co się stało? — Dodaliśmy jeden dashboard dla handlowców. — Jeden dashboard? — Odświeża się co pięć minut i za każdym razem czyta całą historię sprzedaży z CSV. (Historia sprzedaży ma czterdzieści kolumn. Dashboard pokazuje trzy.)

Większość firm, które zaczynają analitykę w chmurze, przenosi tam dane w tej postaci, w jakiej je miała: eksporty CSV, kopie tabel z bazy, czasem JSON z systemów internetowych. Działa — do pierwszej faktury, która rośnie szybciej niż liczba raportów. Przyczyna jest prosta: format wierszowy zmusza silnik do przeczytania całego rekordu, żeby wyjąć z niego jedną wartość. Czterdzieści kolumn, czytane dla trzech, to trzynaście razy więcej bajtów, niż potrzeba. W chmurze te bajty mają cennik.

Architektura wewnętrzna: jak zbudowany jest plik

Dokumentacja Parquet opisuje plik jako hierarchię z trzech poziomów, zakończoną stopką.

Grupa wierszy (row group). Plik dzieli się poziomo na grupy wierszy — zwykle od kilkudziesięciu do kilkuset megabajtów każda. Grupa to jednostka, którą silnik może pominąć w całości, jeśli statystyki mówią, że szukanej wartości tam nie ma.

Kawałek kolumny (column chunk). W każdej grupie wierszy dane jednej kolumny leżą razem, obok siebie. To jest serce układu kolumnowego: zapytanie o kolumnę kwota czyta kawałki kolumny kwota i nie dotyka pozostałych trzydziestu dziewięciu.

Strona (page). Kawałek kolumny składa się ze stron — najmniejszych jednostek kodowania i kompresji. Strona słownikowa (dictionary page) trzyma listę unikalnych wartości, strony danych trzymają odwołania do słownika.

Stopka (footer). Na końcu pliku leżą metadane: schemat, położenie każdej grupy i kolumny, statystyki (minimum, maksimum, liczba wartości pustych), a także wskaźniki do indeksu stron i filtrów Blooma. Plik kończy się czterobajtową długością stopki i magicznym ciągiem PAR1. Silnik czyta najpierw stopkę, a dopiero potem decyduje, które fragmenty pobrać.

PoziomCo zawieraCo pozwala pominąć
Plikgrupy wierszy + stopkacały plik, jeśli statystyki w stopce wykluczają wartość
Grupa wierszykawałek każdej kolumnycałą grupę po statystykach min/max
Kawałek kolumnystrony jednej kolumnykolumny, o które zapytanie nie pyta
Stronazakodowane wartościpojedyncze strony po indeksie stron

Kodowania i kompresja

Parquet oszczędza bajty w dwóch krokach. Najpierw kodowanie (encoding) wykorzystuje powtarzalność w kolumnie: kodowanie słownikowe (RLE_DICTIONARY) zapisuje każdą unikalną wartość raz i zastępuje ją numerem; kodowanie długości serii (RLE) i upakowanie bitowe skracają ciągi powtórzeń i małe liczby; kodowania delta (DELTA_BINARY_PACKED dla liczb całkowitych, DELTA_BYTE_ARRAY dla tekstów ze wspólnymi prefiksami) zapisują różnice zamiast wartości; BYTE_STREAM_SPLIT pomaga przy liczbach zmiennoprzecinkowych. Lista kodowań jest w dokumentacji. Dopiero potem kodek kompresji ściska całą stronę: według dokumentacji kodeków dostępne są między innymi SNAPPY, GZIP, ZSTD, BROTLI i LZ4_RAW (starsze LZ4 w ramce Hadoop jest przestarzałe). Snappy jest szybki, ZSTD daje mniejsze pliki za cenę procesora.

Statystyki, indeks stron, filtry Blooma

Trzy mechanizmy pozwalają silnikowi nie czytać tego, czego nie potrzebuje:

  • Statystyki min/max/null przy każdym kawałku kolumny — jeśli zapytanie filtruje data = '2026-09', a w grupie wierszy daty są od stycznia do marca, grupa jest pomijana.
  • Indeks stron (page index): ColumnIndex ze statystykami na stronę i OffsetIndex z położeniem stron — pozwala pominąć strony wewnątrz grupy.
  • Filtry Blooma (bloom filter): dla kolumn o wielu unikalnych wartościach (numer zamówienia, identyfikator klienta), gdzie min/max nic nie mówi, filtr odpowiada „tej wartości tu na pewno nie ma” bez czytania danych.

Wszystkie trzy działają najlepiej, gdy dane są posortowane po kolumnie, po której najczęściej filtrujecie. Posortowana kolumna data daje wąskie zakresy min/max; nieposortowana daje w każdej grupie zakres „od stycznia do grudnia” — i nic nie zostaje pominięte. To jest ustawienie, które wpływa na koszt bardziej niż wybór kodeka, a jest decyzją właściciela tabeli, nie formatu.

Typy logiczne i rozwój specyfikacji

Specyfikacja formatu rozwija się nadal: wersja 2.11 (marzec 2025) wprowadziła typ VARIANT dla danych półstrukturalnych oraz typy GEOMETRY i GEOGRAPHY, 2.12 sfinalizowała VARIANT i jego rozbijanie na kolumny (shredding), a 2.14 z września 2026 dodała typ logiczny FILE i kodowanie ALP w wersji zapoznawczej (stan według bloga projektu i listy wydań, sprawdzono 21.10.2026). Dla firmy znaczy to jedno: jeśli planujecie trzymać w Parquet dane z JSON-ów (VARIANT) albo współrzędne (GEOMETRY), sprawdźcie, czy Wasz silnik czyta już te typy — specyfikacja wyprzedza implementacje.

Unikalne cechy — tabela

CechaCo dajeWarunek
Przycinanie kolumn (projection pushdown)odczyt tylko potrzebnych kolumnzapytanie wymienia kolumny, nie SELECT *
Przycinanie po statystykach (predicate pushdown)pomijanie grup i strondane posortowane po kolumnie filtru
Kompresja słownikowamałe pliki dla kolumn o małej liczbie wartościkolumny kategorii, statusów, nazw
Zgodność silnikówSpark, Trino, DuckDB, Polars, pandas/Arrow, Snowflake, BigQuery, Fabricbrak — Parquet czytają wszystkie
Zagnieżdżone strukturylisty i mapy w jednej kolumnieświadomy projekt schematu
Niezmienność plikupodstawa transakcji w formatach tabelzmiana = nowy plik + nowe metadane

Ostatni wiersz tłumaczy, dlaczego Parquet nie jest bazą danych i nie próbuje być: raz zapisany plik nikt nie edytuje. Dzięki temu Delta Lake, Iceberg, Hudi i Paimon mogą zbudować nad plikami transakcje — wiedzą, że plik, który wczoraj opisały, dziś wygląda tak samo.

Przykład dydaktyczny: raport marży po kanałach

To przykład ilustracyjny, nie studium klienta — pokazuje mechanizm na typowej firmie, nie opisuje konkretnego wdrożenia.

Firma handlowa, około 120 osób, sprzedaje przez sklep własny, marketplace i hurt. Historia transakcji z trzech kanałów to kilkadziesiąt milionów wierszy po czterdzieści kolumn, składowana jako nocne eksporty CSV w magazynie obiektowym. Raport marży po kanałach i grupach produktów, który zarząd czyta co tydzień, a handlowcy odświeżają co kilka minut, filtruje po dacie i kanale, a sumuje przychód i koszt — cztery kolumny z czterdziestu.

Stan przed. Każde odświeżenie czyta wszystkie pliki CSV za wybrany okres w całości: czterdzieści kolumn, żadnych statystyk, żadnego pomijania. Koszt rośnie liniowo z liczbą odświeżeń i z długością historii.

Co robi system po zmianie. Dane trafiają do tabeli w formacie tabeli, której pliki są w Parquet, posortowane po dacie i kanale, z kompresją ZSTD i filtrem Blooma na identyfikatorze produktu. Silnik czyta stopki, pomija grupy wierszy spoza zakresu dat, pobiera cztery kolumny zamiast czterdziestu i korzysta ze słownika dla kolumny kanał, która ma trzy wartości.

Co zostaje przy człowieku. Decyzja, po czym sortować (data i kanał, bo po tym filtruje raport), ile historii trzymać w „gorącej” warstwie, kto jest właścicielem tabeli i kto uruchamia kompaktowanie, gdy nocne ładowania zostawią małe pliki. Format daje narzędzia; projekt tabeli jest pracą ludzi.

Czym to zmierzyć. Załóżmy, że dziś jedno odświeżenie raportu skanuje całą historię za kwartał. Po zmianie mierzycie bajty skanowane na odświeżenie (silniki podają tę liczbę w planie zapytania), czas odpowiedzi, miesięczny koszt silnika przypisany do raportu i liczbę kopii historii sprzedaży w firmie. Mechanizm mówi, że bajty spadną w stopniu zbliżonym do stosunku czytanych kolumn do wszystkich i do odsetka pomijanych grup — ale konkretny wynik zależy od Waszych danych, więc zmierzcie go sami, zanim wpiszecie do prezentacji. Źródłem modelu kosztów jest cennik Waszej platformy, nie ten tekst.

Mapa kosztu odczytu: skąd bierze się oszczędność Parquet. Cztery warstwy pomijania: 1) przycinanie kolumn — raport czyta 4 z 40 kolumn; 2) statystyki min/max — pomijane grupy wierszy spoza zakresu dat, warunek: dane posortowane po kolumnie filtru; 3) indeks stron i filtry Blooma — pomijane strony i wartości, których nie ma; 4) kodowanie słownikowe i kompresja ZSTD lub Snappy — mniej bajtów na to, co zostało. Rachunek w chmurze: płacicie za pobrane bajty i czas silnika. Dwie decyzje właściciela tabeli: po czym sortować i kto kompaktuje małe pliki. Ocena autora.
Skąd bierze się oszczędność: cztery warstwy pomijania bajtów i dwie decyzje, które należą do właściciela tabeli, nie do formatu. Mechanizm według dokumentacji Parquet; układ i wnioski — ocena autora.

Gdzie Parquet przestaje być dobrym wyborem

Zapis pojedynczych rekordów. Strumień, który co minutę dopisuje kilkaset zdarzeń do nowego pliku, tworzy problem małych plików: tysiące plików po kilkadziesiąt kilobajtów, każdy z własną stopką. Silnik otwiera pliki zamiast czytać dane. Rozwiązanie to kompaktowanie przez format tabeli — albo Avro w strumieniu i Parquet dopiero w tabeli, jak opisujemy w porównaniu Parquet i Avro.

Odczyt całych rekordów po kluczu. „Pokaż mi zamówienie numer 48213” to zadanie dla bazy danych albo dla formatu wierszowego. Parquet musi złożyć wiersz z czterdziestu kolumn — da się, ale to nie jest jego mocna strona.

Brak transakcji. Dwa procesy piszące jednocześnie do tego samego katalogu plików Parquet nie mają żadnej ochrony. Potrzebny jest format tabeli — Parquet sam w sobie nie wie, czy jest częścią tabeli.

Parametry do dobrania. Rozmiar grupy wierszy, rozmiar strony, próg słownika, kodek — domyślne wartości są rozsądne, ale nie są dopasowane do Waszych danych. Tabela z milionem unikalnych identyfikatorów i tabela z pięcioma statusami powinny być zapisane inaczej.

Po czym poznać wartość

Miernik wynikuMiernik próżności
Bajty skanowane na jedno odświeżenie raportuTerabajty w magazynie
Czas odpowiedzi dziesięciu najczęstszych zapytańLiczba plików Parquet
Miesięczny koszt silnika przypisany do raportuStopień kompresji w procentach
Liczba kopii tych samych danych (eksporty, arkusze)Liczba kolumn w tabeli

Uczciwie: na koszt wpływa też to, jak napisane są zapytania (SELECT * niweczy przycinanie kolumn), jak zaprojektowane partycje i czy ktoś pilnuje kompaktowania. Parquet daje możliwość oszczędności; zapytanie i projekt tabeli decydują, czy z niej skorzystacie.

Pierwszy krok w poniedziałek

  1. Wybierzcie jeden raport, którego koszt lub czas odświeżenia najbardziej Was boli.
  2. Odczytajcie w planie zapytania, ile bajtów skanuje dziś. Zapiszcie.
  3. Zapiszcie dane tego raportu do Parquet posortowane po kolumnie, po której raport filtruje, z kodekiem ZSTD.
  4. Zmierzcie ponownie bajty i czas. Porównajcie. To jest Wasz pierwszy argument oparty na własnych danych.

Jeśli zapytanie raportu zaczyna się od SELECT *, poprawcie je najpierw — żaden format nie pomoże zapytaniu, które prosi o wszystko.

Co sprawdzić przed decyzją

  • Wersję biblioteki, którą piszecie i czytacie pliki (parquet-java 1.18.x, Arrow), i wersję specyfikacji, którą obsługuje (wydania parquet-java, sprawdzono 21.10.2026).
  • Które typy logiczne (VARIANT, GEOMETRY) czyta już Wasz silnik, jeśli ich potrzebujecie.
  • Domyślny kodek i rozmiar grupy wierszy w Waszym narzędziu zapisu.
  • Rozmiar plików po kompaktowaniu i kto odpowiada za jego uruchamianie.
  • Z jakim formatem tabeli Parquet ma pracować — Apache Iceberg, Delta Lake, Apache Hudi czy Apache Paimon; każdy z nich ma w tej serii własny profil.

Najważniejsze w skrócie

  • Parquet układa dane kolumnowo w hierarchii plik → grupa wierszy → kawałek kolumny → strona, ze stopką metadanych na końcu.
  • Oszczędność bierze się z czterech warstw pomijania: przycinanie kolumn, statystyki min/max, indeks stron i filtry Blooma, kodowanie słownikowe i kompresja.
  • Sortowanie po kolumnie filtru wpływa na koszt bardziej niż wybór kodeka — i jest decyzją właściciela tabeli.
  • Parquet nie daje transakcji ani zapisu pojedynczych rekordów; tabelę robi z niego format tabeli, strumień obsługuje Avro.
  • Mierzcie bajty na raport i koszt silnika, nie terabajty i liczbę plików.
Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Nie wiecie, w jakim formacie leżą dane, na których ma pracować AI?

Prezentacja dla zarządu: nazwiemy dane, ich właścicieli i miejsce, w którym powinny leżeć — razem z decyzją o formacie plików i tabel, zanim kupicie platformę albo zatrudnicie zespół. Niezależnie od vendora i partnera.

FAQ

Najczęstsze pytania

Parquet czy ORC?

Oba są kolumnowe i rozwiązują ten sam problem. Parquet ma dziś szersze wsparcie: jest domyślnym formatem plików w Delta Lake, Apache Iceberg, Apache Hudi i Apache Paimon oraz w bibliotekach Arrow, pandas i Polars. ORC ma sens, gdy Wasz ekosystem (np. Hive) już na nim stoi.

Czy Excel albo Power BI otworzy plik Parquet?

Power BI czyta Parquet przez konektory i przez tabele w OneLake w Microsoft Fabric. Excel bezpośrednio nie — Parquet jest formatem dla silników, nie dla arkusza. Jeśli dane mają trafić do arkusza, eksport powstaje z zapytania do tabeli, a nie z otwarcia pliku.

Jaki kodek kompresji wybrać?

Snappy jest szybki w zapisie i odczycie przy umiarkowanej kompresji; ZSTD daje mniejsze pliki przy większym koszcie procesora; GZIP jest powszechny, ale wolniejszy. Dla danych czytanych często i składowanych długo ZSTD bywa dobrym kompromisem. Zmierzcie na własnej tabeli — wynik zależy od danych.

Czy Parquet to baza danych?

Nie. Parquet to format pojedynczego pliku: nie ma transakcji, indeksów po kluczu ani wiedzy o innych plikach. Tabelę z plików Parquet robi format tabeli (Delta Lake, Iceberg, Hudi, Paimon), a zapytania wykonuje silnik (Spark, Trino, DuckDB). Parquet jest cegłą, nie budynkiem.