RAFT: trening modelu dla domenowego RAG

Temat: Architektura systemów AI

RAFT, czyli Retrieval Augmented Fine-Tuning, jest recepturą treningową dla modelu pracującego z domenowym RAG. Nie jest zamiennikiem indeksu ani nazwą każdego połączenia RAG i fine-tuningu. Autorzy uczą model odpowiadać w warunkach „otwartej książki”, korzystać z właściwych dokumentów i ignorować dokumenty rozpraszające. Gdzie RAFT mieści się wśród innych sposobów podania modelowi wiedzy firmy, pokazuje poradnik dla biznesu o RAG i danych firmy. Gdzie taki trening uruchomić na Azure, opisuje poradnik Microsoft Foundry, a środowisko chmury — poradnik o Microsoft Azure.

Problem, który RAFT rozwiązuje

Zwykły RAG podaje modelowi kilka znalezionych fragmentów. Część z nich jest trafna, część tylko podobna. Model ogólny nie zna Twojej domeny, więc nie zawsze odróżnia „Procedurę reklamacji 2025” od „Procedury reklamacji 2023 (wycofanej)”. Oba fragmenty brzmią poważnie i oba mają tabelkę.

Zhang i in. porównują to do egzaminu z otwartą książką: student, który uczył się z podręcznikiem obok, wie, gdzie szukać i czego nie czytać (RAFT, arXiv 2403.10131). RAFT ćwiczy model właśnie w tym. Nie dodaje mu wiedzy na stałe; uczy go wybierać z tego, co dostał.

PodejścieCo zmieniaAktualizacja wiedzy
RAGkontekst pobrany przy zapytaniuaktualizacja indeksu
fine-tuningzachowanie parametrów modelunowy trening
RAFTzachowanie modelu wobec domenowego retrievaltrening plus nadal aktualny korpus

Jak powstaje przykład treningowy

Każdy przykład w RAFT składa się z czterech części (tamże):

  1. Pytanie z Twojej domeny, najlepiej w takim brzmieniu, jakiego używają pracownicy.
  2. Dokument trafny (w pracy: oracle document), który zawiera odpowiedź.
  3. Dokumenty rozpraszające (distractors): podobne tematycznie, ale bez odpowiedzi.
  4. Odpowiedź wzorcowa, która krok po kroku dochodzi do wniosku i cytuje dosłowny fragment dokumentu trafnego.

Jest jeszcze jeden zabieg. W części przykładów autorzy celowo usuwają dokument trafny i zostawiają same rozpraszające. Model uczy się wtedy, że odpowiedź nie zawsze leży w kontekście. Proporcję tych przykładów dobiera się eksperymentalnie dla danej domeny.

Najwięcej pracy wymagają dokumenty rozpraszające. Losowe fragmenty z innego działu są za łatwe; model odrzuci je bez wysiłku. Wartość mają te, które naprawdę mylą: poprzednia wersja procedury, dokument dla innego kraju, notatka, która omawia temat, ale nie rozstrzyga pytania. Dobrym źródłem są wyniki Twojego obecnego wyszukiwania dla tego samego pytania.

Cytat w odpowiedzi to część treningu

Odpowiedź wzorcowa nie kończy się na wyniku. Zawiera rozumowanie i dosłowny cytat ze źródła. Dzięki temu model uczy się wskazywać, na czym opiera wniosek, a Ty dostajesz coś do sprawdzenia: czy cytat istnieje w dokumencie i czy rzeczywiście wspiera tezę.

Przy ocenie eksperymentu sprawdzaj to automatycznie. Cytat, którego nie ma w dokumencie trafnym, jest błędem, nawet jeśli wniosek przypadkiem się zgadza.

Kto przygotuje dane

Pytania i odpowiedzi możesz wygenerować modelem, ale wtedy przegląd ekspercki jest obowiązkowy. Generator powiela własne błędy, a model uczony na nich przyjmie je za normę. Rozsądny podział pracy: model proponuje pytania i odpowiedzi, ekspert domenowy odrzuca i poprawia, a dokumenty rozpraszające bierzesz z realnych wyników wyszukiwania.

Odłóż część przykładów jako zestaw testowy i nie dotykaj go podczas treningu. Dodaj pytania z codziennej pracy, których nie było w danych treningowych. Dopiero one pokażą, czy model nauczył się metody, czy tylko zapamiętał przykłady.

Kiedy RAFT ma sens

RAFT to ostatni krok, nie pierwszy. Zanim go rozważysz, sprawdź trzy warunki.

WarunekJak sprawdzićJeśli nie jest spełniony
retrieval znajduje właściwy dokumentrecall@k na zestawie testowympopraw indeks, podział i ranking
błąd polega na wyborze złego fragmentuanaliza złych odpowiedziproblem leży gdzie indziej
domena jest wąska i stabilnalista tematów i tempo zmianRAFT trzeba będzie powtarzać za często

Jeśli retrieval nie dostarcza właściwego dokumentu, trening generatora tego nie naprawi; techniki wyszukiwania opisuje wpis o zaawansowanym i agentowym RAG. Jeśli nie wiesz jeszcze, czy potrzebujesz RAG, fine-tuningu czy obu, zacznij od matrycy wyboru RAG, fine-tuningu i RAFT.

Wyniki z publikacji dotyczą konkretnych zbiorów danych i modeli użytych przez autorów. Nie przenoszą się automatycznie na dokumenty Twojej firmy. Traktuj RAFT jako hipotezę do sprawdzenia, nie obietnicę.

RAFT w Microsoft Foundry

RAFT nie jest osobną usługą. To sposób przygotowania danych do zwykłego fine-tuningu. W Azure trenujesz model w Microsoft Foundry, a obowiązują te same zasady: trening powtarzasz po zmianie danych lub modelu bazowego, potrzebujesz danych wysokiej jakości, płacisz za trening i hosting douczonego modelu (fine-tuning w Microsoft Foundry).

Indeks zostaje. Model po RAFT nadal potrzebuje aktualnych dokumentów z wyszukiwania. Zmienia się tylko to, jak z nich korzysta.

Jak ocenić eksperyment

Porównaj trzy warianty na tym samym zestawie testowym i z tym samym wyszukiwaniem: model bazowy z RAG, model po zwykłym fine-tuningu z RAG oraz model po RAFT z RAG. Bez trzeciego wariantu nie wiesz, czy poprawę dała receptura RAFT, czy sam trening na danych z domeny.

Mierz cztery rzeczy: czy odpowiedź jest poprawna, czy cytat pochodzi z dokumentu trafnego, czy model odmawia, gdy dokumentu trafnego brak, i ile kosztuje zapytanie. Osobno przejrzyj pytania, w których dokumenty rozpraszające są najbardziej podobne do trafnego. Tam RAFT ma się wykazać.

Gdy pojawi się nowy model bazowy, powtórz porównanie. Może się okazać, że nowszy model bez treningu radzi sobie z rozpraszaczami równie dobrze, a wtedy najtańszy trening to ten, którego nie trzeba robić.

Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Przełóż temat na projekt w Twojej firmie

Zobacz zakres współpracy: od rozpoznania procesu i danych po projekt rozwiązania AI.