Jak odebrać integrację danych w Fabric Data Factory

Połączenie z bazą przeszło test, ale tydzień później raport pokazuje nieaktualną wartość zamówienia. Integrację w Data Factory trzeba odebrać na zmianach danych i awariach, nie tylko na udanym połączeniu. Test dostępu odpowiada na pytanie, czy system potrafi dotrzeć do źródła. Nie potwierdza, że wynik pozostanie kompletny po korekcie, usunięciu albo przerwie w pracy.

Jeżeli zarządzasz procesem, który korzysta z tych danych, poproś o demonstrację kilku zaplanowanych przypadków. Wykonawca powinien pokazać, co trafiło do celu, czego zabrakło i jak to rozpoznać. Właśnie te dowody pozwalają zatwierdzić integrację do codziennego użycia.

Jeżeli zamiast kryteriów odbioru szukasz wprowadzenia — czym Data Factory jest i kiedy go użyć — zacznij tutaj.

Zacznij od umowy o danych

Przed testem zapisz znaczenie rekordu, klucz identyfikujący go i zakres pobieranych informacji. Ustal, czy wynik ma przedstawiać bieżący stan, czy historię zmian. To różne wymagania: usunięte zamówienie może zniknąć z tabeli aktualnego stanu, ale nadal należeć do historii zdarzeń.

Dodaj termin gotowości i warunek kompletności. „Odświeżamy codziennie” nie wyjaśnia, czy dane muszą być dostępne o siódmej rano, ani co zrobić, gdy jeden oddział nie przesłał pliku. Odbiorca powinien wiedzieć, kiedy wynik nadaje się do decyzji.

Data Factory udostępnia mechanizmy przenoszenia, transformacji i koordynowania zadań. Dokumentacja produktu rozdziela te funkcje. Kryteria odbioru muszą więc dotyczyć zarówno pobrania, jak i późniejszych operacji, które mogą zmienić liczbę oraz znaczenie rekordów.

Sprawdź pełny cykl życia rekordu

Przygotuj dane testowe o znanym wyniku. Poniższa tabela jest propozycją prób biznesowych; sposób ich realizacji zależy od konektora i przyjętej architektury.

Próba	Zmiana w źródle	Co sprawdzić w celu
Dodanie	Nowy dokument z unikalnym kluczem	Pojawia się raz i we właściwym zakresie
Aktualizacja	Korekta wartości starego dokumentu	Wynik odpowiada uzgodnionej regule korekt
Usunięcie	Dokument znika lub dostaje znacznik usunięcia	Stan albo historia odzwierciedla to zgodnie z umową
Powtórzenie	Ponownie dostarczony ten sam zakres	Brak przypadkowego zwielokrotnienia
Opóźnienie	Starszy dokument przychodzi później	Nie zostaje pominięty przez filtr czasu

Nie zakładaj, że pole „ostatnia modyfikacja” rozwiązuje wszystkie przypadki. Sprawdź, kto i kiedy je aktualizuje oraz czy źródło zachowuje informację o usunięciach. Jeżeli nie ma takiej informacji, projekt musi mieć inny sposób uzgadniania stanu albo jawnie zaakceptowane ograniczenie.

Szczególną uwagę poświęć granicom okresów. Dokument zmieniony dokładnie na granicy dwóch pobrań nie powinien zniknąć między nimi. Zespół techniczny powinien wyjaśnić sposób wyznaczania zakresu i obsługi powtórzeń, a próba powinna potwierdzić wynik.

Liczba wierszy to dopiero początek

Przykład syntetyczny: źródło zawiera 500 faktur na łączną kwotę 200 000 PLN. Cel też zawiera 500 wierszy, ale suma wynosi 204 000 PLN. Jedna faktura na 1000 PLN została pominięta, a inna na 5000 PLN występuje dodatkowo. Liczba wierszy się zgadza, mimo że dane są błędne.

Dlatego uzgadniaj przynajmniej klucze i istotne wartości. Dla większego zbioru podziel kontrolę według okresu lub oddziału. Jedna zgodna suma globalna może ukryć przeciwne błędy w dwóch grupach. Odbiorca biznesowy powinien wskazać przekroje, w których różnica ma znaczenie.

Zapisuj wyniki kontroli razem z identyfikatorem dostawy. Sam zrzut ekranu raportu nie wystarczy, jeśli później nie będzie wiadomo, które dane i reguły go utworzyły. Protokół powinien pozwalać wrócić do konkretnego porównania.

Zaplanuj przerwę i wznowienie

Odbiór na danych testowych powinien obejmować kontrolowaną awarię, na przykład brak dostępu do źródła albo nieprawidłowy format jednego pola. Celem jest sprawdzenie zachowania procesu, a nie wywołanie problemu w produkcji. Właściciel utrzymania musi wiedzieć, kiedy może ponowić zadanie i jakie dane wymagają wcześniej sprawdzenia.

Monitorowanie uruchomień pipeline pozwala przeglądać historię, statusy i szczegóły, w tym identyfikator uruchomienia oraz błędy. Wykorzystaj te informacje do powiązania incydentu z konkretnym przebiegiem. Nie utożsamiaj jednak statusu technicznego z potwierdzeniem kompletności biznesowej.

Sytuacja	Decyzja do ustalenia przed startem	Dowód w próbie
Źródło niedostępne	Ile razy i kiedy ponawiać?	Kontrolowane zakończenie i zgłoszenie
Częściowy zapis	Co wolno wykonać ponownie?	Zgodny wynik po wznowieniu
Zmiana typu pola	Zatrzymać czy odizolować rekord?	Widoczny wyjątek z przyczyną
Brak oczekiwanej dostawy	Kiedy ogłosić niekompletność?	Odbiorca widzi brak aktualizacji
Błąd reguły	Jak przywrócić poprzedni wynik?	Udokumentowana procedura odtworzenia

Uzgodnij także, kto otrzymuje informację o błędzie i kto potwierdza jej obsługę. Powiadomienie wysłane na nieużywaną skrzynkę nie jest skutecznym utrzymaniem. Potrzebny jest zastępca oraz zasada eskalacji, jeżeli problem zagraża terminowi raportu.

Zmiana integracji jest osobnym zdarzeniem

Dodanie kolumny, zmiana poświadczeń lub poprawka transformacji może wpłynąć na wynik. Przechowuj opis zmian i powtarzaj próby istotne dla modyfikowanego fragmentu. Nie trzeba za każdym razem sprawdzać wszystkich możliwych scenariuszy, ale zakres ponownej kontroli powinien wynikać z ryzyka zmiany.

Jeżeli wykorzystujesz Dataflow Gen2, rozróżniaj zapis projektu i sprawdzenie jego działania na danych. Opis Dataflow Gen2 przedstawia publikowanie i monitorowanie odświeżeń. Żaden z tych etapów nie zwalnia odbiorcy z potwierdzenia, że nowa reguła daje właściwą interpretację biznesową.

Przed przekazaniem do utrzymania wskaż właściciela połączenia i procedurę zmiany dostępu. Zespół powinien umieć odnowić konfigurację bez poszukiwania osoby, która kiedyś przygotowała demonstrację. Dostępy ogranicz do zakresu potrzebnego integracji i sprawdź działanie w docelowym środowisku.

Co zrobić w poniedziałek

Wybierz jeden ważny przepływ i przygotuj pięć prób z pierwszej tabeli. Zapisz oczekiwany wynik, wykonawcę i osobę zatwierdzającą. Nie podpisuj odbioru wyłącznie na podstawie komunikatu o udanym połączeniu.

Jeśli problem leży w przygotowaniu tabel po pobraniu danych, przejdź do poradnika o Data Engineering w Fabric. Jeśli dopiero dobierasz mechanizm, zacznij od wprowadzenia: co to jest Data Factory i kiedy go użyć. Szerszą perspektywę odpowiedzialności przedstawia podejście do systemu firmy. Integracja jest gotowa do codziennej pracy wtedy, gdy potrafisz wyjaśnić jej wynik i obsłużyć przewidywalne odstępstwa.