RAG w Azure: dane, chunking i ewaluacja

Temat: Microsoft AI

Podstawowy RAG nie zwiększa precyzji automatycznie. Dostarcza modelowi znalezione fragmenty, a wynik jest tak dobry jak treść, podział dokumentów, retrieval i reguły odpowiedzi. Największą poprawę często daje uporządkowanie źródeł oraz zestawu testowego, a nie zmiana modelu.

Ten wpis to praktyczny projekt danych i testów dla RAG jako metody, niezależnie od narzędzia; Azure służy w nim za przykład. Jak działa sama usługa Azure AI Search, czym różni się klasyczny RAG od agentic retrieval i jaki jest ich status, opisuję w osobnym przewodniku o Azure AI Search. Kiedy RAG w ogóle jest właściwym wyborem, a kiedy lepiej sprawdzi się inne podejście, wyjaśnia poradnik o wykorzystaniu danych firmy w AI. Platformę do budowy aplikacji opisuje poradnik Microsoft Foundry, a środowisko chmury — poradnik o Microsoft Azure.

Zacznij od domeny i pytań

Azure Architecture Center zaleca w fazie przygotowania określenie domeny, analizę treści oraz zebranie reprezentatywnych dokumentów i pytań. Pytania muszą mieć odpowiedzi w korpusie. Dodaj przypadki bez odpowiedzi, aby sprawdzić odmowę.

DecyzjaZbyt prosta regułaLepszy test
chunkingstała liczba znakówkompletność jednostki znaczeniowej
embeddingnajnowszy modeltrafność na pytaniach domenowych
top-kim więcej, tym lepiejrecall kontra szum i koszt
hybrydawektor zawsze wystarczynazwy, numery, skróty i parafrazy

Przygotowanie treści

Usuń duplikaty, zachowaj tytuły, sekcje, wersje i daty. Podział nie powinien oddzielać warunku od wyjątku. Dokumenty tabelaryczne i skany wymagają osobnej kontroli ekstrakcji. Metadane pomagają filtrować po produkcie, kraju, dacie i uprawnieniu.

Wyszukiwanie hybrydowe jest dobrym punktem startu, bo łączy dopasowanie leksykalne z semantycznym. Semantic ranking może poprawić kolejność, ale przelicza tylko 50 najlepszych wyników wyszukiwania (semantic ranker), więc trzeba mierzyć wpływ. Dla każdej zmiany zachowaj wyniki przed i po oraz koszt. Nie stroń pipeline na kilku efektownych przykładach.

Jak mierzyć jakość odpowiedzi

W RAG ocenia się dwie rzeczy osobno: czy wyszukiwanie dostarczyło właściwy materiał i czy model zrobił z niego dobrą odpowiedź. Ta sekcja dotyczy drugiej części, niezależnie od tego, jakiej wyszukiwarki używasz.

MiaraPytanie kontrolneJak sprawdzić
ugruntowanie (groundedness)czy każde twierdzenie ma oparcie w dostarczonym kontekście?porównanie zdań odpowiedzi z fragmentami
kompletnośćczy odpowiedź nie pomija istotnej informacji z odpowiedzi wzorcowej?odpowiedź wzorcowa przygotowana przez eksperta
trafnośćczy odpowiedź odnosi się do zadanego pytania?ocena ręczna albo model oceniający
poprawność cytatuczy wskazany fragment naprawdę potwierdza tezę?przegląd cytatów przez człowieka
odmowaczy przy braku podstawy system mówi „nie wiem” albo eskaluje?pytania, na które korpus nie ma odpowiedzi

Ugruntowanie i kompletność łapią różne błędy. Pierwsza miara wykrywa zmyślanie, czyli treść spoza kontekstu. Druga wykrywa przemilczenie, czyli odpowiedź poprawną, ale niepełną. System, który na każde pytanie odpowiada „nie wiem”, ma wzorowe ugruntowanie i zerową kompletność, dlatego jedna miara nie wystarczy.

Zestaw pytań testowych buduj z realnej pracy, nie z wyobrażeń zespołu. Przy każdym pytaniu zapisz odpowiedź wzorcową, fragment źródła, który ją zawiera, i oczekiwane zachowanie: odpowiedź, prośbę o doprecyzowanie albo odmowę. Większość zestawu niech stanowią pytania codzienne. Dołóż do nich rzadkie i dwuznaczne, kilka bez odpowiedzi w dokumentach oraz kilka prób wydobycia informacji, do których pytający nie ma prawa.

Przykład z Azure: Microsoft Foundry ma gotowe ewaluatory Groundedness, Relevance i Response Completeness (ten ostatni w preview). Używają modelu w roli oceniającego i zwracają wynik w skali 1–5 z domyślnym progiem zaliczenia 3 (ewaluatory RAG w Microsoft Foundry). Zanim zaufasz progowi, porównaj na próbce werdykty modelu z werdyktami eksperta.

Wynik pomiaru od razu wskazuje, gdzie szukać przyczyny. Gdy ugruntowanie spada, choć właściwe fragmenty są w kontekście, popraw instrukcję odpowiedzi albo model. Gdy fragmentów brakuje, wracasz do źródeł i wyszukiwania. Gdy błędne jest samo źródło, poprawkę robi jego właściciel, a nie zespół od promptów.

Ryzyka metody: wyciek przez kontekst i polecenia w dokumentach

RAG dokłada do modelu nowe wejście: treść, której autorem nie jest ani użytkownik, ani zespół projektu. To zmienia profil ryzyka bez względu na narzędzie. Dwa zagrożenia są typowe właśnie dla tej metody.

Wyciek przez kontekst. Model może powtórzyć wszystko, co trafiło do kontekstu, także wbrew instrukcji. Dlatego granica uprawnień musi przebiegać przed pobraniem fragmentu, a nie w poleceniu dla modelu. Dotyczy to również metadanych: sam tytuł dokumentu potrafi zdradzić poufny projekt.

Polecenia ukryte w dokumentach. Plik może zawierać tekst udający instrukcję, na przykład „zignoruj wcześniejsze zasady”. Model czyta go razem z poleceniem systemowym, więc atakujący nie musi niczego wpisywać w okno czatu. Ochrona polega na oznaczeniu treści dokumentów jako danych, a nie poleceń, na dawaniu modelowi tylko narzędzi potrzebnych do zadania i na zatwierdzaniu przez człowieka każdego działania o skutku finansowym albo prawnym.

Na liście OWASP LLM Top 10 2026 metody RAG dotyczą wprost co najmniej cztery pozycje:

Kod OWASPJak wygląda w RAGTest odbiorczy
LLM01 Prompt Injectionpolecenie wstawione w treść indeksowanego dokumentudokument testowy z instrukcją dla modelu
LLM02 Sensitive Information Disclosurefragment spoza uprawnień pytającego trafia do odpowiedzijedno pytanie zadane z dwóch ról
LLM05 Data and Model Poisoningcelowo zmieniony dokument zatruwa indeksedycja dokumentu przez osobę spoza grona właścicieli
LLM09 Vector and Embedding Weaknesseswyszukiwanie wektorowe zwraca trafienia z cudzego zbioru danychpytanie, które znaczeniowo pasuje do cudzego zbioru

Każdemu źródłu przypisz właściciela, który odpowiada za aktualność treści i za to, kto może ją zmieniać. Indeks jest tak bezpieczny jak najsłabiej pilnowany folder, który do niego podłączono.

Koszt: tokeny kontekstu czy fine-tuning

W RAG płacisz przy każdym zapytaniu za to, co dołączasz do pytania. Każdy pobrany fragment to tokeny wejściowe, więc liczba fragmentów (top-k) i ich długość wpływają na koszt i opóźnienie tak samo jak wybór modelu. Model rzetelnie przeczyta dwadzieścia fragmentów dołączonych „na wszelki wypadek” i równie rzetelnie policzy każdy token.

Prosty rachunek dla jednego zapytania: tokeny instrukcji i pytania, plus liczba fragmentów razy ich średnia długość, plus tokeny odpowiedzi. Licz go osobno dla typów pytań, bo pytania wymagające kilku wyszukiwań i ponowienia po złej odpowiedzi kosztują wielokrotność średniej. Do tego dochodzi koszt stały: utrzymanie źródeł, indeksu i zestawu testów.

Fine-tuning przenosi część kosztu z zapytania na trening. Microsoft pisze, że model po fine-tuningu potrzebuje krótszych promptów, a więc mniej tokenów na żądanie. Trening i hosting własnego modelu to jednak dodatkowy koszt, a trening trzeba powtarzać po aktualizacji danych albo po wydaniu nowego modelu bazowego (fine-tuning w Microsoft Foundry).

SytuacjaTańsza ścieżkaDlaczego
wiedza zmienia się co tydzieńRAGaktualizujesz indeks, a nie trenujesz model
potrzebne cytaty i ślad źródłaRAGfragment źródła jest w kontekście odpowiedzi
stały format, styl albo schemat odpowiedzifine-tuningwzorzec trafia do modelu, prompt się skraca
długa instrukcja z wieloma przykładami w każdym zapytaniufine-tuning albo połączenie obuprzykłady przestają zajmować tokeny przy każdym wywołaniu

Pilotaż jako decyzja biznesowa

Pilotaż RAG nie sprawdza, czy technologia działa. Sprawdza, czy warto ją utrzymywać w konkretnym procesie. Dlatego zaczyna się od pytania biznesowego: która praca dziś najdłużej czeka na informację z dokumentów i ile ta zwłoka kosztuje firmę.

Przed startem ustal cztery rzeczy:

  • Proces i sponsora. Jeden proces, na przykład odpowiedzi działu obsługi na pytania o warunki umów, i osobę, która po pilotażu podejmie decyzję.
  • Stan wyjściowy. Zmierz dzisiejszy czas szukania odpowiedzi i liczbę pomyłek, zanim ktokolwiek zobaczy nowe narzędzie. Bez tego porównanie po pilotażu jest opinią.
  • Progi. Minimalne wyniki z tabeli miar powyżej, akceptowalny koszt zapytania i dopuszczalny odsetek odmów.
  • Datę decyzji. Pilotaż bez daty końca zamienia się w wieczny eksperyment.

Pilotaż kończy jedna z trzech decyzji: rozszerzyć rozwiązanie na kolejną domenę, wrócić do porządkowania źródeł albo ograniczyć je do wyszukiwarki dokumentów. Ostatnia opcja też jest dobrym wynikiem, jeśli ludziom wystarcza trafny dokument. Odzyskany czas licz jako oszczędność dopiero wtedy, gdy wiesz, na co zespół go przeznaczył.

Na Azure taki pilotaż to zwykle jeden indeks w Azure AI Search i model w Microsoft Foundry. Konfigurację samej usługi opisuje przewodnik podlinkowany na początku wpisu. Narzędzie można wymienić, a pytania, odpowiedzi wzorcowe i progi zostają w firmie.

Źródło metody: faza przygotowania RAG w Azure Architecture Center.

Cykl rozwoju rozwiązania

Inwentaryzacja źródeł

Zbuduj rejestr źródeł zanim utworzysz indeks lub dane treningowe. Dla każdego zapisz właściciela, odbiorców, częstotliwość zmian, klasyfikację, język, format i zasady usuwania. Nie indeksuj folderu tylko dlatego, że jest dostępny. Obecność wielu wersji tej samej procedury sprawia, że system może znaleźć dokument trafny semantycznie, lecz nieobowiązujący.

Ustal hierarchię źródeł. Gdy instrukcja, regulamin i wpis w bazie wiedzy sobie przeczą, pipeline potrzebuje reguły pierwszeństwa albo eskalacji. Metadane powinny zachować datę obowiązywania, jednostkę organizacyjną i uprawnienia. Sam tekst fragmentu zwykle nie wystarcza do bezpiecznej decyzji.

Kontrakt odpowiedzi

Zdefiniuj strukturę wyniku przed wyborem modelu. Określ, kiedy odpowiedź ma zawierać cytat, kiedy krótkie wyjaśnienie, kiedy pytanie doprecyzowujące, a kiedy odmowę. Rozdziel informację od rekomendacji i działania. Użytkownik powinien rozumieć, czy system odnalazł zapis, zinterpretował go czy zaproponował następny krok.

W procesie regulowanym pokaż datę i wersję źródła. W procesie operacyjnym podaj właściciela lub ścieżkę eskalacji. Nie ukrywaj niepewności za płynnym językiem. Jeśli dwa wiarygodne dokumenty są sprzeczne, system powinien wskazać konflikt, a nie arbitralnie wybrać wygodniejszy fragment.

Eksperymenty kontrolowane

Prowadź rejestr eksperymentów. Jedna zmiana może dotyczyć chunkingu, modelu embeddingów, parametrów wyszukiwania, rankera, promptu albo modelu generującego. Zmieniaj jeden główny element naraz. Zapisuj wersję danych oraz kodu, aby wynik dało się odtworzyć.

Ocenę automatyczną kalibruj ręcznym przeglądem. Model oceniający może być użyteczny do skalowania, ale ma własne preferencje i błędy. Ustal rubrykę: poprawność względem źródła, kompletność, istotność, jakość cytowania i zachowanie przy braku danych. Dla krytycznych przypadków ostateczny werdykt powinien należeć do eksperta domenowego.

Uruchomienie etapowe

Zacznij od trybu doradczego dla ograniczonej grupy. Użytkownik widzi źródła i zgłasza błąd. Następnie rozszerzaj zakres domeny, a nie tylko liczbę użytkowników. Każda nowa domena ma inne słownictwo, właścicieli, uprawnienia i konsekwencje błędu, dlatego wymaga własnego zestawu testowego.

Przed szerszym uruchomieniem przeprowadź test obciążenia i test wycofania. Sprawdź, jak system zachowuje się przy braku modelu, indeksu, jednego źródła i usługi uwierzytelniania. Użytkownik powinien otrzymać kontrolowany komunikat, a operacje alarm zawierający identyfikator ścieżki bez ujawniania poufnej treści.

Utrzymanie i zmiany

Modele, API i funkcje chmurowe mają cykl życia. Subskrybuj komunikaty o wycofaniu, zapisuj zależności i utrzymuj test zgodności dla następcy. Nazwa modelu nie jest trwałym kontraktem biznesowym. Aplikacja powinna potrafić porównać nową wersję na zamrożonym zestawie przed przełączeniem ruchu.

Treść także ma cykl życia. Usunięcie dokumentu źródłowego powinno skutkować usunięciem lub unieważnieniem fragmentów w indeksie. Aktualizacja wymaga kontroli, czy nie pozostały duplikaty. Okresowo pytaj właścicieli o potwierdzenie aktualności; brak odpowiedzi może oznaczać wyłączenie treści z zastosowań wysokiego ryzyka.

Analizuj błędy w stałej taksonomii: brak źródła, zły fragment, konflikt dokumentów, przekroczenie uprawnień, błędna synteza, nieskuteczna odmowa i problem operacyjny. Dla każdej kategorii wyznacz właściciela. Raport „model odpowiedział źle” nie prowadzi do korekty, ponieważ miesza kilka niezależnych mechanizmów.

Rachunek decyzji

Porównaj rozwiązanie nie z idealnym ekspertem, lecz z obecnym procesem. Zmierz czas znalezienia informacji, jakość wyniku, koszt korekty i ryzyko pominięcia. Uwzględnij przygotowanie źródeł, ewaluację, bezpieczeństwo i utrzymanie. Tani prototyp może wymagać drogiego procesu redakcyjnego, który jest jednak wartościowy także dla ludzi i innych systemów.

Ustal warunek zatrzymania eksperymentu. Jeśli po kilku iteracjach retrieval nie osiąga progu dla krytycznych pytań, ogranicz domenę albo popraw źródła. Jeśli koszt kontroli przewyższa korzyść, pozostaw wyszukiwanie bez generowania. Technologia powinna zmniejszać koszt poprawnej decyzji, a nie jedynie zwiększać liczbę wygenerowanych odpowiedzi.

Dokument decyzji architektonicznej

Na koniec pilotażu zapisz krótką decyzję architektoniczną. Powinna zawierać problem, rozważone warianty, wybrany zakres, dowody z ewaluacji, ograniczenia, koszt oraz warunek ponownego przeglądu. Dołącz identyfikatory zestawu testowego i konfiguracji, ale nie kopiuj do dokumentu poufnych danych.

Wypisz założenia, które mogą się zestarzeć: dostępność modelu, region, status funkcji, cennik, wolumen zapytań i tempo aktualizacji źródeł. Każde założenie otrzymuje właściciela oraz sygnał wyzwalający nową ocenę. Dzięki temu zmiana oferty vendora nie zaskakuje zespołu w produkcji.

Udokumentuj również wariant odrzucony. Wyjaśnij, dlaczego nie spełnił kryterium i co musiałoby się zmienić, aby wrócił do oceny. To zapobiega powtarzaniu tych samych eksperymentów oraz pozwala następnemu zespołowi odróżnić świadomy kompromis od przeoczenia.

Decyzję akceptują wspólnie właściciel biznesowy, danych, bezpieczeństwa i operacji. Architektura AI nie jest wyłącznie wyborem technicznym: ustala, kto może zobaczyć dane, kto odpowiada za aktualność i co dzieje się po błędzie. Brak przypisanej odpowiedzialności jest ważniejszym ryzykiem niż różnica kilku punktów w benchmarku.

Jeśli zwykły retrieval nie odpowiada na pytania przekrojowe, porównaj GraphRAG, OG-RAG oparty na ontologii i platformę OpenRAG. To odmienne sposoby rozbudowy systemu, więc każdy należy oceniać na tym samym zestawie pytań.

Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Zbuduj RAG, który odpowiada z właściwego fragmentu

Forward Deployed AI Engineer to kurs w Akademii dla inżyniera, który u klienta ustala pytania, źródła i testy, a potem buduje rozwiązanie na Azure AI Search i Microsoft Foundry. Uczę niezależnie od vendora i partnera.