RAFT: trening modelu dla domenowego RAG
Temat: Architektura systemów AI
RAFT, czyli Retrieval Augmented Fine-Tuning, jest recepturą treningową dla modelu pracującego z domenowym RAG. Nie jest zamiennikiem indeksu ani nazwą każdego połączenia RAG i fine-tuningu. Autorzy uczą model odpowiadać w warunkach „otwartej książki”, korzystać z właściwych dokumentów i ignorować dokumenty rozpraszające. Gdzie RAFT mieści się wśród innych sposobów podania modelowi wiedzy firmy, pokazuje poradnik dla biznesu o RAG i danych firmy. Gdzie taki trening uruchomić na Azure, opisuje poradnik Microsoft Foundry, a środowisko chmury — poradnik o Microsoft Azure.
Problem, który RAFT rozwiązuje
Zwykły RAG podaje modelowi kilka znalezionych fragmentów. Część z nich jest trafna, część tylko podobna. Model ogólny nie zna Twojej domeny, więc nie zawsze odróżnia „Procedurę reklamacji 2025” od „Procedury reklamacji 2023 (wycofanej)”. Oba fragmenty brzmią poważnie i oba mają tabelkę.
Zhang i in. porównują to do egzaminu z otwartą książką: student, który uczył się z podręcznikiem obok, wie, gdzie szukać i czego nie czytać (RAFT, arXiv 2403.10131). RAFT ćwiczy model właśnie w tym. Nie dodaje mu wiedzy na stałe; uczy go wybierać z tego, co dostał.
| Podejście | Co zmienia | Aktualizacja wiedzy |
|---|---|---|
| RAG | kontekst pobrany przy zapytaniu | aktualizacja indeksu |
| fine-tuning | zachowanie parametrów modelu | nowy trening |
| RAFT | zachowanie modelu wobec domenowego retrieval | trening plus nadal aktualny korpus |
Jak powstaje przykład treningowy
Każdy przykład w RAFT składa się z czterech części (tamże):
- Pytanie z Twojej domeny, najlepiej w takim brzmieniu, jakiego używają pracownicy.
- Dokument trafny (w pracy: oracle document), który zawiera odpowiedź.
- Dokumenty rozpraszające (distractors): podobne tematycznie, ale bez odpowiedzi.
- Odpowiedź wzorcowa, która krok po kroku dochodzi do wniosku i cytuje dosłowny fragment dokumentu trafnego.
Jest jeszcze jeden zabieg. W części przykładów autorzy celowo usuwają dokument trafny i zostawiają same rozpraszające. Model uczy się wtedy, że odpowiedź nie zawsze leży w kontekście. Proporcję tych przykładów dobiera się eksperymentalnie dla danej domeny.
Najwięcej pracy wymagają dokumenty rozpraszające. Losowe fragmenty z innego działu są za łatwe; model odrzuci je bez wysiłku. Wartość mają te, które naprawdę mylą: poprzednia wersja procedury, dokument dla innego kraju, notatka, która omawia temat, ale nie rozstrzyga pytania. Dobrym źródłem są wyniki Twojego obecnego wyszukiwania dla tego samego pytania.
Cytat w odpowiedzi to część treningu
Odpowiedź wzorcowa nie kończy się na wyniku. Zawiera rozumowanie i dosłowny cytat ze źródła. Dzięki temu model uczy się wskazywać, na czym opiera wniosek, a Ty dostajesz coś do sprawdzenia: czy cytat istnieje w dokumencie i czy rzeczywiście wspiera tezę.
Przy ocenie eksperymentu sprawdzaj to automatycznie. Cytat, którego nie ma w dokumencie trafnym, jest błędem, nawet jeśli wniosek przypadkiem się zgadza.
Kto przygotuje dane
Pytania i odpowiedzi możesz wygenerować modelem, ale wtedy przegląd ekspercki jest obowiązkowy. Generator powiela własne błędy, a model uczony na nich przyjmie je za normę. Rozsądny podział pracy: model proponuje pytania i odpowiedzi, ekspert domenowy odrzuca i poprawia, a dokumenty rozpraszające bierzesz z realnych wyników wyszukiwania.
Odłóż część przykładów jako zestaw testowy i nie dotykaj go podczas treningu. Dodaj pytania z codziennej pracy, których nie było w danych treningowych. Dopiero one pokażą, czy model nauczył się metody, czy tylko zapamiętał przykłady.
Kiedy RAFT ma sens
RAFT to ostatni krok, nie pierwszy. Zanim go rozważysz, sprawdź trzy warunki.
| Warunek | Jak sprawdzić | Jeśli nie jest spełniony |
|---|---|---|
| retrieval znajduje właściwy dokument | recall@k na zestawie testowym | popraw indeks, podział i ranking |
| błąd polega na wyborze złego fragmentu | analiza złych odpowiedzi | problem leży gdzie indziej |
| domena jest wąska i stabilna | lista tematów i tempo zmian | RAFT trzeba będzie powtarzać za często |
Jeśli retrieval nie dostarcza właściwego dokumentu, trening generatora tego nie naprawi; techniki wyszukiwania opisuje wpis o zaawansowanym i agentowym RAG. Jeśli nie wiesz jeszcze, czy potrzebujesz RAG, fine-tuningu czy obu, zacznij od matrycy wyboru RAG, fine-tuningu i RAFT.
Wyniki z publikacji dotyczą konkretnych zbiorów danych i modeli użytych przez autorów. Nie przenoszą się automatycznie na dokumenty Twojej firmy. Traktuj RAFT jako hipotezę do sprawdzenia, nie obietnicę.
RAFT w Microsoft Foundry
RAFT nie jest osobną usługą. To sposób przygotowania danych do zwykłego fine-tuningu. W Azure trenujesz model w Microsoft Foundry, a obowiązują te same zasady: trening powtarzasz po zmianie danych lub modelu bazowego, potrzebujesz danych wysokiej jakości, płacisz za trening i hosting douczonego modelu (fine-tuning w Microsoft Foundry).
Indeks zostaje. Model po RAFT nadal potrzebuje aktualnych dokumentów z wyszukiwania. Zmienia się tylko to, jak z nich korzysta.
Jak ocenić eksperyment
Porównaj trzy warianty na tym samym zestawie testowym i z tym samym wyszukiwaniem: model bazowy z RAG, model po zwykłym fine-tuningu z RAG oraz model po RAFT z RAG. Bez trzeciego wariantu nie wiesz, czy poprawę dała receptura RAFT, czy sam trening na danych z domeny.
Mierz cztery rzeczy: czy odpowiedź jest poprawna, czy cytat pochodzi z dokumentu trafnego, czy model odmawia, gdy dokumentu trafnego brak, i ile kosztuje zapytanie. Osobno przejrzyj pytania, w których dokumenty rozpraszające są najbardziej podobne do trafnego. Tam RAFT ma się wykazać.
Gdy pojawi się nowy model bazowy, powtórz porównanie. Może się okazać, że nowszy model bez treningu radzi sobie z rozpraszaczami równie dobrze, a wtedy najtańszy trening to ten, którego nie trzeba robić.
- Dane i analityka
- Modele i LLM
- Azure
