RAG, fine-tuning czy RAFT: jak wybrać

Temat: Architektura systemów AI

RAG, fine-tuning i RAFT rozwiązują różne problemy. RAG dostarcza aktualną wiedzę podczas zapytania. Fine-tuning zmienia zachowanie modelu na podstawie przykładów. RAFT uczy model pracować z domenowym retrieval i rozpraszającymi dokumentami. Wybór zaczyna się od diagnozy błędu, nie od popularności techniki. Prostsze wprowadzenie dla zarządu, z mapą wszystkich wariantów RAG, jest w poradniku: jak wykorzystać dane firmy w AI. Na Azure wszystkie trzy drogi buduje się w Microsoft Foundry; środowisko chmury opisuje poradnik o Microsoft Azure.

Najpierw nazwij błąd

Zanim wybierzesz technikę, zapisz, co dokładnie jest nie tak w odpowiedziach. OpenAI dzieli problemy na dwie osie: model nie zna faktów albo zna nieaktualne (to sprawa kontekstu, czyli RAG) oraz model zachowuje się niespójnie, myli format lub ton (to sprawa samego modelu, czyli fine-tuning) (optymalizacja trafności LLM). Ten podział jest prosty i oszczędza miesiące.

Przejrzyj kilkadziesiąt złych odpowiedzi i przypisz każdej jedną przyczynę: brak wiedzy, zła wiedza w źródle, wiedza była w kontekście, ale model ją pominął, albo dobra treść w złej formie. Proporcje tych grup są Twoją decyzją. Dopiero potem wybierasz narzędzie.

Matryca decyzji

ProblemPierwszy wybórDlaczego
aktualne procedury i cytowaniaRAGwiedza pozostaje poza parametrami
stały format lub zachowaniefine-tuningprzykłady uczą wzorca odpowiedzi
domenowy RAG z trudnymi distractoramieksperyment RAFTtrening zachowania wobec retrieval
złe dokumenty lub uprawnieniaporządek w danychżadna technika nie naprawia źródła

Czwarty wiersz wybiera się najrzadziej, choć pasuje najczęściej. Model douczony na nieaktualnym regulaminie będzie go cytował z pełnym przekonaniem i świetną interpunkcją.

Kiedy RAG wystarczy

RAG łączy wiedzę zapisaną w parametrach modelu z zewnętrznym indeksem dokumentów. Autorzy wzorca wskazali dwa problemy, które w ten sposób adresują: pochodzenie odpowiedzi i aktualizację wiedzy (Lewis i in., 2020). Jeśli Twoja wiedza zmienia się co tydzień, a użytkownik musi zobaczyć, z którego dokumentu pochodzi odpowiedź, RAG jest punktem startu.

RAG wystarczy też wtedy, gdy błędy wynikają z wyszukiwania. Jeśli właściwy fragment nie trafia do modelu, trening nic nie zmieni. Najpierw popraw indeks, podział dokumentów i ranking; techniki opisuje wpis o zaawansowanym i agentowym RAG.

Kiedy fine-tuning

Microsoft wymienia jako typowe korzyści fine-tuningu: spójny format, ton, lepsze użycie narzędzi i lepszą współpracę z retrieval. Jednocześnie zaznacza, że trening trzeba powtórzyć po zmianie danych albo modelu bazowego, potrzebne są dane wysokiej jakości, a koszt obejmuje trening i hosting modelu (fine-tuning w Microsoft Foundry).

W praktyce fine-tuning ma sens, gdy masz wiele dobrych przykładów tego samego typu zadania i potrafisz opisać, jak wygląda poprawna odpowiedź. Klasyfikacja zgłoszeń, stały szablon raportu, język branżowy w odpowiedziach. Parametry modelu nie są natomiast dobrym miejscem na fakty, które zmieniają się szybciej niż cykl treningu.

Kiedy RAFT

RAFT łączy oba światy: trenuje model na przykładach, w których obok właściwego dokumentu leżą dokumenty rozpraszające, tak aby w trybie „otwartej książki” ignorował szum i cytował właściwy fragment (Zhang i in., 2024). To odpowiedź na trzeci typ błędu z listy wyżej: wiedza była w kontekście, ale model wybrał zły fragment.

RAFT ma sens jako świadomy eksperyment w jednej domenie, gdy RAG jest już zmierzony, retrieval działa, a mimo to model myli się przy podobnych dokumentach. Nie zastępuje indeksu. Po treningu nadal aktualizujesz korpus. Jak powstają dane i jak ocenić taki eksperyment, opisuje wpis o metodzie RAFT.

Koszt utrzymania w czasie

Koszt wdrożenia jest widoczny w budżecie. Koszt utrzymania wychodzi po pół roku. Porównuj je razem.

PozycjaRAGFine-tuningRAFT
zmiana wiedzyaktualizacja indeksunowy treningaktualizacja indeksu, czasem nowy trening
nowy model bazowytest na zestawie, przełączenieponowny trening i walidacjaponowny trening i walidacja
stała infrastrukturaindeks, wyszukiwanie, rankinghosting douczonego modeluindeks oraz hosting modelu
praca ludziwłaściciele treściautorzy przykładówwłaściciele treści i autorzy przykładów
ślad odpowiedzicytat ze źródłabrak, wiedza w parametrachcytat ze źródła

Wniosek z tabeli: RAFT dziedziczy obowiązki obu podejść. Wybierasz go, gdy zysk na jakości uzasadnia dwa strumienie pracy, a nie dlatego, że brzmi nowocześnie.

Dane treningowe: kto je napisze

Fine-tuning i RAFT wymagają przykładów. Ktoś musi je przygotować, sprawdzić i utrzymywać. Zadaj trzy pytania przed decyzją.

Kto jest ekspertem, który oceni, czy odpowiedź wzorcowa jest poprawna? Bez niego zestaw treningowy utrwali błędy. Czy przykłady pochodzą z realnej pracy, czy z generatora? Dane syntetyczne przyspieszają start, ale powielają błędy modelu, który je napisał. Czy zestaw testowy jest oddzielony od treningowego? Model oceniany na pytaniach, które już widział, zawsze wypada dobrze.

Jeśli na któreś pytanie nie ma odpowiedzi, zostań przy RAG i poprawiaj źródła. To tańsza droga i daje efekt także ludziom, którzy czytają te same dokumenty.

Jak porównać warianty uczciwie

Zbuduj jeden zestaw pytań i uruchom na nim wszystkie rozważane warianty. Zmieniaj tylko technikę: ten sam model bazowy, te same dokumenty, ten sam prompt. Mierz trafność retrievalu, zgodność odpowiedzi ze źródłem, format, odmowy na pytaniach spoza korpusu, koszt i opóźnienie.

Wariant, który podnosi średnią, ale zwiększa liczbę odpowiedzi bez podstawy przy pytaniach wysokiego ryzyka, przegrywa. Zapisz też warianty odrzucone i powód odrzucenia. Za rok ktoś zaproponuje ten sam pomysł, a notatka oszczędzi mu powtórki.

Kombinacje, które działają

Decyzja nie musi być jednoznaczna. Częsty układ to fine-tuning dla formatu i polityki odpowiedzi plus RAG dla wiedzy. Microsoft wskazuje lepszą współpracę z retrieval jako jedną z korzyści fine-tuningu (tamże), więc oba podejścia mogą się wzmacniać.

Kolejność ma jednak znaczenie. Najpierw RAG z pomiarem. Potem, jeśli błędy formatu przeważają, fine-tuning. RAFT na końcu, dla wąskiej domeny, w której model wciąż myli dokumenty podobne do siebie. Każdy krok musi wygrać z poprzednim na tym samym zestawie testowym.

Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Przełóż temat na projekt w Twojej firmie

Zobacz zakres współpracy: od rozpoznania procesu i danych po projekt rozwiązania AI.