--- title: "DataFusion Comet w suwerennym AI OS" url: "https://majchrzycki.com/blog/datafusion-comet-spark" description: "Natywny akcelerator wybranych operacji Apache Spark oparty na DataFusion. Zastosowanie, alternatywy, ograniczenia i próba dla AI OS oraz AI SDLC." --- # DataFusion Comet w suwerennym AI OS 25 czerwca 2026· Aktualizacja: 28 września 2026·2 min czytania·Krzysztof Majchrzycki Temat: [Open Source AI](https://majchrzycki.com/blog/filar/open-source-ai) **Natywny akcelerator wybranych operacji Apache Spark oparty na DataFusion.** Przyspiesza istniejące zadania Spark bez przepisywania logiki biznesowej. Ten tekst ocenia konkretną rolę komponentu w systemie AI-native. „Najlepszy” oznacza tu dobry wybór przy określonych wymaganiach, nie zwycięzcę w każdej firmie. Szeroką architekturę opisuje [filar Open Source AI](https://majchrzycki.com/blog/filar/open-source-ai). Źródłem opisu projektu jest [dokumentacja lub repozytorium twórców](https://github.com/apache/datafusion-comet). Stan funkcji i licencji należy potwierdzić dla wybranej wersji. ## Czym jest i do czego służy? Natywny akcelerator wybranych operacji Apache Spark oparty na DataFusion. Przyspiesza istniejące zadania Spark bez przepisywania logiki biznesowej. W praktyce trzeba oddzielić rolę tej technologii od całej platformy: komponent rozwiązuje określony problem, a tożsamość, polityka danych i obserwowalność nadal wymagają własnego projektu. ## Dlaczego warto rozważyć ją w suwerennym AI OS? Może obniżyć czas batchowego przygotowania danych AI. Suwerenność oceniamy przez możliwość uruchomienia, kontrolę danych i uprawnień, przenośność formatu oraz plan zmiany dostawcy. Jeśli rozwiązanie jest usługą zarządzaną, należy jawnie wskazać granicę kontroli; otwarty klient czy API nie czynią całej usługi open source. ## Jak wykorzystać ją przy kodowaniu z AI? W AI SDLC agent kodujący może przygotować konfigurację, adapter i test integracyjny, lecz człowiek powinien sprawdzić uprawnienia, koszty oraz skutki błędu. Punktem odbioru jest działający scenariusz: przyspiesza istniejące zadania spark bez przepisywania logiki biznesowej. Agent nie powinien sam zatwierdzać swojej zmiany ani otrzymywać szerszych uprawnień niż wymaga zadanie. Przed wdrożeniem warto zachować ślad: wymaganie, wersję zależności, wynik testu i osobę akceptującą. ## Alternatywy i ograniczenia Możliwe alternatywy: Photon, natywny Spark SQL, Gluten. Zysk zależy od operatorów i danych; potrzebny jest test poprawności i benchmark. Wybór powinien wynikać z pomiaru na własnych danych, zgodności z obecnym zespołem i możliwości wycofania rozwiązania. Sama liczba gwiazdek repozytorium lub obietnica marketingowa nie zastępuje próby. ## Co sprawdzić przed decyzją? Zbuduj małą próbę realizującą ten przypadek: przyspiesza istniejące zadania Spark bez przepisywania logiki biznesowej. Zmierz opóźnienie, koszt, jakość wyniku i zachowanie po błędzie. Sprawdź też, czy inny członek zespołu potrafi odtworzyć wynik na podstawie zapisanej konfiguracji. Powiązane składniki architektury to [Apache Iceberg](https://majchrzycki.com/blog/apache-iceberg-fundament-ai-os) oraz [Temporal](https://majchrzycki.com/blog/temporal-trwaly-workflow-agentow). Zapisz kryterium, po którym rozwiązanie będzie można wymienić. - Agenci AI ## Uporządkuj pierwszy krok z AI Bezpłatny poradnik pomaga wybrać proces, pytania diagnostyczne i kolejność działań. [Pobierz poradnik](https://majchrzycki.com/darmowy-poradnik-transformacji-ai-dla-firmy) Strony poradnika transformacji AI: rysunki i opisy cyfrowego modelu firmy ## Czytaj dalej - [Apache DataFusion w suwerennym AI OS](https://majchrzycki.com/blog/apache-datafusion-ai-os) - [Daft w suwerennym AI OS](https://majchrzycki.com/blog/daft-ai-os) - [Trino w suwerennym AI OS](https://majchrzycki.com/blog/trino-federacja-ai-os) - [Apache Spark w suwerennym AI OS](https://majchrzycki.com/blog/apache-spark-lakehouse-ai)