OneLake w Fabric: wspólne dane bez zbędnych kopii

Temat: Microsoft AI

Trzy działy pokazują trzy wersje sprzedaży, chociaż każdy deklaruje pracę na danych z tego samego systemu. OneLake w Microsoft Fabric może ograniczyć kopiowanie danych, ale zgodność raportów wymaga jeszcze wspólnej definicji miar, właściciela i reguł aktualizacji. Jeśli odpowiadasz za analitykę w firmie, zacznij od jednego zbioru wykorzystywanego przez kilka zespołów. Dopiero potem rozstrzygaj, czy potrzebujesz kolejnego eksportu.

Co rzeczywiście zapewnia OneLake

OneLake jest wspólnym jeziorem danych środowiska Microsoft Fabric. Każdy tenant Fabric zawiera jedną instancję OneLake. Wewnątrz organizujesz pracę za pomocą obszarów roboczych i elementów takich jak lakehouse czy warehouse. Wspólna przestrzeń może więc zachować podział odpowiedzialności między zespołami. Nie oznacza jednego folderu, do którego każdy ma pełen dostęp.

Według dokumentacji OneLake rozwiązanie korzysta z Azure Data Lake Storage i pozwala wykorzystywać dane przez różne silniki analityczne. Rozdziel jednak magazyn od obliczeń: OneLake przechowuje lub udostępnia dane, a konkretne zadania wykonują usługi Fabric. Samo umieszczenie plików w jeziorze nie trenuje modelu AI i nie uzgadnia definicji klienta.

Dla zarządu najważniejsza jest odpowiedź na pytanie: kto gwarantuje, że dany zbiór nadaje się do określonej decyzji? „Dane są w Fabric” opisuje lokalizację. „To zatwierdzone faktury, bez anulowanych dokumentów, z aktualizacją do godziny ósmej” opisuje przydatność.

Skrót czy osobna kopia

Skrót, czyli shortcut, wskazuje dane w innej lokalizacji. Może prowadzić do zasobu OneLake lub obsługiwanego magazynu zewnętrznego. Ułatwia ponowne użycie danych bez budowania osobnego eksportu dla każdego odbiorcy. Usunięcie samego skrótu nie usuwa jego celu. Usunięcie pliku przez skrót może natomiast usunąć plik źródłowy, jeśli użytkownik ma odpowiednie uprawnienia. To istotna różnica podczas porządkowania środowiska. Opis skrótów Microsoft wyjaśnia oba zachowania.

Poniższa tabela jest propozycją podejmowania decyzji projektowej. Nie stanowi automatycznej rekomendacji jednego mechanizmu dla wszystkich źródeł.

Potrzeba odbiorcyKierunek ocenyPytanie kontrolne
Czytanie aktualnego, wspólnego zbioruSkrót do zatwierdzonego źródłaCzy źródło ma stabilny schemat i właściciela?
Zachowanie stanu na zamknięcie miesiącaKontrolowana migawkaJak odtworzysz liczby zatwierdzone wcześniej?
Zmiana struktury i oczyszczenie danychOsobny wynik przetwarzaniaKto odpowiada za reguły transformacji?
Praca niezależna od dostępności źródłaOcena materializacji i odtwarzaniaJak długo dopuszczasz nieaktualne dane?

„Bez zbędnych kopii” nie oznacza zakazu tworzenia historii lub wyników obliczeń. Kopia ma uzasadnienie, jeżeli realizuje konkretny wymóg. Problem zaczyna się wtedy, gdy nikt nie wie, po co powstała i która wersja jest obowiązująca.

Dostęp sprawdź jako odbiorca

Przy skrótach trzeba rozróżnić dostęp z tożsamością użytkownika oraz dostęp delegowany. W tym drugim przypadku połączenie korzysta z pośrednich poświadczeń. Dokumentacja opisuje również wyjątki dla określonych trybów silników SQL i modeli Power BI, w których do celu przekazywana jest tożsamość właściciela elementu. Nie zakładaj więc, że każda ścieżka odczytu egzekwuje uprawnienia dokładnie tak samo. Zasady bezpieczeństwa skrótów należy sprawdzić dla wybranej konfiguracji.

Praktyczny odbiór wykonaj na kontach testowych odpowiadających rolom biznesowym. Kontroler finansowy powinien zobaczyć uzgodniony zakres, a pracownik bez uprawnień nie powinien odczytać danych objętych ograniczeniem. Sprawdź także ścieżkę używaną przez raport lub notebook. Udany test administratora nie potwierdza poprawności dostępu pozostałych osób.

Zapisz oczekiwany rezultat przed próbą. Dzięki temu nie uznasz przypadkowo szerokiego dostępu za wygodne udostępnienie. Dla każdego odstępstwa wskaż osobę zatwierdzającą poprawkę i termin ponownego sprawdzenia.

Mały pilotaż zamiast przenoszenia całego archiwum

Wybierz jeden zbiór, który już dziś trafia do kilku zespołów. Proponuję następujący arkusz odbioru; wartości progowe ustalasz z odbiorcami przed uruchomieniem.

ObszarDowód do zebraniaSygnał wymagający poprawki
ZnaczenieDefinicja rekordu i najważniejszych pólDziały inaczej liczą tę samą miarę
AktualnośćCzas danych źródłowych i czas odczytuRaport nie pokazuje momentu aktualizacji
KompletnośćUzgodnienie liczby dokumentów i sumBraki tłumaczone jedynie opóźnieniem
OdpowiedzialnośćWłaściciel i kontakt na czas awariiZgłoszenia krążą między zespołami
ZmianaPróba dodania lub zmiany polaOdbiorca dowiaduje się o zmianie z błędu raportu

Przykład syntetyczny: trzy działy utrzymują po jednej kopii zbioru o wielkości 100 GB. Łącznie to 300 GB tych kopii. Jeżeli dwa działy mogą korzystać z zatwierdzonego zbioru trzeciego, znika potrzeba utrzymywania 200 GB dodatkowych kopii. To rachunek objętości, a nie prognoza oszczędności na fakturze. Koszt zależy również od obliczeń, odczytów, transferu i sposobu przechowywania.

W pilotażu zmierz też pracę ludzi: ile czasu zajmuje znalezienie właściwego zbioru, uzgodnienie różnicy i odtworzenie wyniku. Jeśli liczba kopii spada, lecz rośnie czas wyjaśniania raportu, projekt nie rozwiązał głównego problemu. Zachowaj wyniki pomiaru sprzed zmiany, aby mieć uczciwe porównanie.

Dodatkowo przeprowadź próbę awarii na danych testowych. Ustal, co zobaczy odbiorca, kiedy źródło jest niedostępne, a co po zmianie nazwy kolumny. Komunikat powinien pozwalać odróżnić brak danych od rzeczywistego zera. To szczególnie ważne, gdy wynik trafia do automatycznej rekomendacji lub procesu AI: brak rekordu nie może po cichu stać się informacją, że klient nie kupuje.

Co zrobić w poniedziałek

Zbierz właściciela źródła i dwóch odbiorców tego samego zbioru. Na jednej stronie zapisz definicję danych, godzinę aktualizacji, zakres dostępu i sposób zgłaszania zmiany. Następnie sprawdź, czy skrót pozwala usunąć konkretny eksport bez utraty potrzebnej historii. Taki test daje podstawę do decyzji o dalszym wdrożeniu.

Jeżeli chcesz zrozumieć, jak zorganizować tabele i przetwarzanie wokół wspólnego magazynu, przejdź do materiału o lakehouse w Microsoft Fabric. Szerszy związek danych, odpowiedzialności i procesów opisuję w podejściu do systemu firmy. Zacznij od uzgodnionego zbioru, którego kolejne zespoły mogą użyć bez ponownego wyjaśniania jego znaczenia.

Przełóż temat na projekt w Twojej firmie

Zobacz zakres współpracy: od rozpoznania procesu i danych po projekt rozwiązania AI.