Warehouse w Fabric: kiedy wybrać hurtownię danych
Temat: Microsoft AI
Dwa raporty pokazują inną sprzedaż, choć oba korzystają z tych samych faktur. Jeden liczy dokumenty wystawione, drugi uwzględnia korekty i datę wykonania usługi. Warehouse w Microsoft Fabric pomaga zbudować uporządkowaną warstwę analityczną opartą na SQL. Wspólne liczby powstaną jednak dopiero wtedy, gdy uzgodnisz definicje, historię i odpowiedzialność za dane. Hurtownia nie podejmie tych decyzji za firmę.
Jeśli zatwierdzasz projekt raportowania, zacznij od jednej miary, która dziś wywołuje spór. Zapytaj, co dokładnie oznacza i kto potwierdzi wynik. Wybór technologii powinien ułatwić utrzymanie tej odpowiedzi, a nie zastąpić rozmowę kolejnym miejscem przechowywania tabel.
Do czego służy Warehouse
Fabric Warehouse jest relacyjną hurtownią danych rozwijaną przede wszystkim w T-SQL. Dane są przechowywane w otwartym formacie Delta w OneLake. Microsoft wskazuje zastosowania takie jak modele gwiazdy, tematyczne hurtownie działowe i uporządkowane dane dla analityki biznesowej. Opis Warehouse wymienia również obsługę transakcji obejmujących wiele tabel oraz integrację z Power BI.
To uzasadnia ocenę Warehouse, kiedy zespół chce przygotowywać i udostępniać dane za pomocą SQL. Nie oznacza automatycznie, że każdą bazę aplikacji albo zbiór plików należy przenieść do hurtowni. Najpierw określ zadanie: obsługa operacji firmy i analiza historii to różne potrzeby.
W modelowym projekcie firmy usługowej hurtownia może łączyć zamówienia, wykonane usługi i faktury. Odbiorca otrzymuje wtedy uzgodniony obraz procesu. Samo skopiowanie trzech tabel źródłowych nie wystarczy: potrzebne są klucze powiązań oraz zasady interpretacji braków i korekt.
Warehouse czy lakehouse
Według przewodnika decyzyjnego Microsoft ważne kryteria to styl pracy zespołu, rodzaj danych i potrzeba transakcji między tabelami. Warehouse pasuje do rozwoju w T-SQL, a lakehouse do pracy z użyciem Spark i szerszego zakresu danych. Oba podejścia mogą współistnieć w rozwiązaniu.
| Pytanie | Kiedy rozważyć Warehouse | Kiedy rozważyć lakehouse |
|---|---|---|
| Jak pracuje zespół? | Logika przygotowania danych powstaje głównie w T-SQL | Zespół wykorzystuje Spark i notebooki |
| Co przetwarzamy? | Uporządkowane dane relacyjne do analizy | Tabele oraz dane wymagające pracy na plikach |
| Jak zapisujemy wynik? | Potrzebne są operacje SQL i transakcje między tabelami | Przetwarzanie prowadzi głównie warstwa inżynierii danych |
| Co już istnieje? | Zespół utrzymuje modele raportowe w SQL | Gotowe tabele są przygotowywane w lakehouse |
Tabela wskazuje kandydatów do oceny, a nie rozstrzyga projektu bez testu. Jeżeli masz już dobrze przygotowane tabele w lakehouse, sprawdź, czy dodatkowa hurtownia wnosi potrzebną funkcję. Każda kolejna warstwa wymaga utrzymania i wyjaśnienia jej roli.
Rozróżniaj też Warehouse i SQL analytics endpoint lakehouse. Endpoint umożliwia odczyt danych przez T-SQL, ale nie służy do modyfikowania ich tak jak Warehouse. Podobny interfejs zapytań nie oznacza identycznego zakresu operacji. To rozróżnienie jest istotne przy planowaniu transformacji i przenoszeniu istniejącego kodu.
Najpierw znaczenie rekordu
Przed pierwszym ładowaniem zapisz, co oznacza pojedynczy wiersz. Faktura, pozycja faktury i płatność to różne poziomy szczegółowości. Nie łącz ich bez sprawdzenia relacji. Jeden dokument może mieć wiele pozycji i kilka wpłat, a niewłaściwe połączenie zwielokrotni kwotę.
Przykład syntetyczny: faktura na 1000 zł ma dwie pozycje. Jeżeli po połączeniu z pozycjami zsumujesz kwotę nagłówka występującą w każdym wierszu, otrzymasz 2000 zł. Baza może wykonać zapytanie prawidłowo, choć raport odpowie błędnie na pytanie o wartość faktur. Problem leży w modelu i definicji miary.
Dlatego przygotuj mały zestaw danych, który odbiorca potrafi policzyć ręcznie. Uwzględnij dokument wielopozycyjny, korektę oraz brak powiązania. Dopiero po uzgodnieniu tych przypadków rozszerzaj zakres na pełne archiwum.
Jaką historię chcesz zachować
Klient zmienia opiekuna w połowie roku. Czy sprzedaż sprzed zmiany ma pozostać przy poprzednim opiekunie, czy przejść do obecnego? Obie odpowiedzi mogą być użyteczne, ale dotyczą innych pytań. Hurtownia wymaga świadomego zaprojektowania historii, żeby raport nie zmieniał znaczenia bez wiedzy odbiorcy.
Podobnie ustal moment zamknięcia okresu i sposób prezentowania późniejszych korekt. Zapis „dane aktualne” nie wyjaśnia, czy porównujesz dzisiejszą wiedzę o przeszłości, czy stan zatwierdzony na koniec miesiąca. Definicja powinna być dostępna obok miary, a nie wyłącznie w pamięci wykonawcy.
| Decyzja projektowa | Co ustalić | Przykład próby |
|---|---|---|
| Szczegółowość | Znaczenie jednego rekordu | Dokument z kilkoma pozycjami |
| Historia | Interpretacja zmian atrybutów | Klient zmienia opiekuna |
| Korekty | Okres, do którego trafia zmiana | Korekta po zamknięciu miesiąca |
| Kompletność | Warunek udostępnienia wyniku | Brak danych z jednego oddziału |
| Odpowiedzialność | Osoba zatwierdzająca definicję | Rozbieżność między dwoma raportami |
To propozycja rozmowy przed wdrożeniem, nie zestaw automatycznych gwarancji produktu. Ustal odpowiedzi z ludźmi, którzy później podejmują decyzje na podstawie liczb.
Wydajność i koszt sprawdź na swoim obciążeniu
Do pilotażu wybierz reprezentatywne zapytania i okres obejmujący większy ruch. Zmierz czas przygotowania danych oraz czas odpowiedzi wtedy, gdy pracuje więcej odbiorców. Jedno szybkie zapytanie nie potwierdza, że cały raport będzie gotowy przed odprawą.
Nie zakładaj, że skalowanie nie kosztuje. W kalkulacji uwzględnij zasoby platformy, przechowywanie, integrację i utrzymanie. Osobno policz pracę przy uzgadnianiu definicji. Jeżeli koszt znika tylko z jednego arkusza, a pojawia się jako stałe ręczne poprawianie hurtowni, projekt wymaga ponownej oceny.
Dane dla AI podlegają tej samej zasadzie. Uporządkowana historia może być przydatnym wejściem do analizy lub modelowania, ale samo umieszczenie jej w Warehouse nie gwarantuje trafniejszych przewidywań. Potrzebna jest osobna ocena konkretnego zastosowania.
Co zrobić w poniedziałek
Wybierz jeden raport, jedną sporną miarę i osobę, która potwierdzi jej znaczenie. Przygotuj kilka przypadków z oczekiwanym wynikiem. Z tym materiałem porównaj Warehouse z obecnym sposobem przygotowania danych.
Następnie przejdź do poradnika o modelu hurtowni dla analityki i AI. Szerszy związek danych i odpowiedzialności przedstawia podejście do systemu firmy. Wybierz rozwiązanie, w którym liczby można uzgodnić, wyjaśnić i utrzymać po zakończeniu projektu.
- Dane i analityka
- Modele i LLM
- Azure
- Zarządzanie zmianą
