Małe modele językowe SLM: kiedy mają sens w firmie
Temat: Architektura systemów AI
Mały model językowy działa na komputerze testowym, więc zespół zakłada niski koszt i pełną prywatność. SLM (small language model) to model językowy mniejszy od dużych: IBM opisuje go jako mający od kilku milionów do kilku miliardów parametrów. Do wąskiego, powtarzalnego zadania bywa tańszy i łatwiejszy w kontroli, ale o wyborze decyduje zadanie, nie rozmiar. Mniej parametrów samo w sobie nie potwierdza opłacalności.
Stan na 5 października 2026 r. Granica nie jest jedną liczbą. Przedział IBM to jedno źródło, nie norma branżowa (IBM). Microsoft nazywa swoją rodzinę Phi małymi modelami językowymi i wskazuje m.in. uruchamianie AI na urządzeniu bez chmury, ale progu liczbowego nie podaje (Microsoft). Jak małe modele mają się do dużych, otwartych i zamkniętych, pokazuje poradnik o modelach językowych dla firm.
Przykłady z dokumentacji
Phi-4-mini-instruct ma 3,8 mld parametrów, okno 128 tys. tokenów i 22 języki, w tym polski. Licencja to MIT. Karta ostrzega, że model niewiele przechowuje wiedzy faktograficznej i słabiej radzi sobie poza angielskim (karta modelu). Google opisuje Gemma jako rodzinę lekkich otwartych modeli, przy czym Gemma 4 jest na licencji Apache 2.0, a starsze generacje na własnych warunkach (Gemma). Phi jest dostępne m.in. przez Foundry Models, Hugging Face i Ollama.
To przykłady, nie rekomendacja. Oferta się zmienia. Ważniejsza jest umiejętność sprawdzenia konkretnego modelu na własnym zadaniu. Co do warunków licencyjnych, zobacz wpis o Hugging Face.
Kiedy to ma znaczenie dla firmy
Przeważa przekonanie, że im większy model, tym lepszy wynik. Do ograniczonego zadania, takiego jak rozpoznanie kategorii zgłoszenia, wyciągnięcie pól czy krótki szkic, to często nieprawda. Mały model można uruchomić we własnym środowisku, co ułatwia kontrolę nad danymi. To jednak decyzja o całym wdrożeniu: sprzęcie, osobie reagującej na awarie, aktualizacjach i odbiorze. Zarząd ocenia koszt poprawnie zamkniętej sprawy, nie liczbę parametrów. Szerszy kontekst to filar architektura systemów AI.
Rozmiar modelu i zakres zadania to różne cechy. Mały model może odpowiadać o wszystkim, a duży robić jedną klasyfikację. Nie wybieraj SLM dlatego, że nazwa brzmi skromnie. Sprawdź, czy rozumie twój język, długość dokumentów i rodzaj poleceń. Zajrzyj też do wpisu o wąskiej AI, który pomaga określić zakres zadania.
Porównaj lokalny SLM z dużym modelem przez API
Oba warianty testuj na tej samej próbce zgłoszeń i z tym samym warunkiem odbioru.
| Kryterium | Mały model lokalnie | Większy model przez API |
|---|---|---|
| Trudne sprawy | Zmierz błędy i eskalacje | Zmierz na tych samych sprawach |
| Czas | Obciążenie własnego serwera | Sieć i limity usługi |
| Dane | Logi, kopie, dostęp, retencja | Umowa, region, retencja u vendora |
| Koszt miesiąca | Sprzęt, energia, utrzymanie, zapas mocy | Wywołania, ponowienia, kontrola |
| Zmiana wersji | Kto testuje i wycofuje? | Kto kontroluje zmianę w usłudze? |
Rozstrzyga koszt poprawnie zamkniętej sprawy przy zadanej jakości i czasie. Jeśli wariant lokalny myli się częściej, czas ręcznej poprawki zje oszczędność na wywołaniach. Jeśli duży model nie poprawia wąskiej klasyfikacji, jego dodatkowe możliwości nic tu nie wnoszą. Nie przypisuj projektowi całego kosztu komputera, który służy też innym zadaniom, ale też nie traktuj istniejącego sprzętu jako darmowego.
Nie tylko trafność
Przy klasyfikacji zgłoszeń sama trafność nie rozstrzyga. Sprawdź, które sprawy były błędne, bo pomylona pilna reklamacja kosztuje więcej niż pomylona etykieta ogólna. Zobacz, czy model rozpoznaje brak pewności i odsyła do człowieka. Zmierz czas korekty i stabilność wyników, bo jedna udana próba niczego nie dowodzi. Kryteria blokujące wdrożenie ustal przed testem, nie po zobaczeniu tańszego wariantu. Model, który z przekonaniem przypisuje wszystko do kategorii „inne”, ma świetną minę i słabe wyniki.
Możesz kierować proste sprawy do małego modelu, a trudne do człowieka lub większego rozwiązania. To propozycja architektury, nie gwarancja oszczędności. Mechanizm kierowania też trzeba przetestować, bo pomyłka „to proste” przy trudnej sprawie podnosi ryzyko.
Kolekcja na Hugging Face. Phi-4 mini, przykład małego modelu, jest w mojej kolekcji Otwarte modele dla polskiej firmy: osiem modeli do własnego wdrożenia, każdy z notką o licencji i linkiem do opisu.
Prywatność całego przepływu
Lokalne wagi nie rozstrzygają prywatności. Aplikacja może nadal wysyłać logi, dokumenty lub wyniki do innych usług. Zapisz, gdzie trafiają dane wejściowe, historia i ślady błędów, kto ma dostęp, jak długo są trzymane i jak je usunąć. W pilotażu używaj danych syntetycznych. Warunki modelu odczytaj z jego dokumentacji (model cards).
W poniedziałek wybierz jeden powtarzalny typ sprawy i przygotuj oczekiwane wyniki. Porównaj model z obecną metodą, licząc poprawki i utrzymanie. Decyzję oprzyj na tym rachunku, nie na samym skrócie SLM.
- Modele i LLM
- Azure
- Strategia
