Małe modele językowe SLM: kiedy mają sens w firmie

Temat: Architektura systemów AI

Mały model językowy działa na komputerze testowym, więc zespół zakłada niski koszt i pełną prywatność. SLM (small language model) to model językowy mniejszy od dużych: IBM opisuje go jako mający od kilku milionów do kilku miliardów parametrów. Do wąskiego, powtarzalnego zadania bywa tańszy i łatwiejszy w kontroli, ale o wyborze decyduje zadanie, nie rozmiar. Mniej parametrów samo w sobie nie potwierdza opłacalności.

Stan na 5 października 2026 r. Granica nie jest jedną liczbą. Przedział IBM to jedno źródło, nie norma branżowa (IBM). Microsoft nazywa swoją rodzinę Phi małymi modelami językowymi i wskazuje m.in. uruchamianie AI na urządzeniu bez chmury, ale progu liczbowego nie podaje (Microsoft). Jak małe modele mają się do dużych, otwartych i zamkniętych, pokazuje poradnik o modelach językowych dla firm.

Przykłady z dokumentacji

Phi-4-mini-instruct ma 3,8 mld parametrów, okno 128 tys. tokenów i 22 języki, w tym polski. Licencja to MIT. Karta ostrzega, że model niewiele przechowuje wiedzy faktograficznej i słabiej radzi sobie poza angielskim (karta modelu). Google opisuje Gemma jako rodzinę lekkich otwartych modeli, przy czym Gemma 4 jest na licencji Apache 2.0, a starsze generacje na własnych warunkach (Gemma). Phi jest dostępne m.in. przez Foundry Models, Hugging Face i Ollama.

To przykłady, nie rekomendacja. Oferta się zmienia. Ważniejsza jest umiejętność sprawdzenia konkretnego modelu na własnym zadaniu. Co do warunków licencyjnych, zobacz wpis o Hugging Face.

Kiedy to ma znaczenie dla firmy

Przeważa przekonanie, że im większy model, tym lepszy wynik. Do ograniczonego zadania, takiego jak rozpoznanie kategorii zgłoszenia, wyciągnięcie pól czy krótki szkic, to często nieprawda. Mały model można uruchomić we własnym środowisku, co ułatwia kontrolę nad danymi. To jednak decyzja o całym wdrożeniu: sprzęcie, osobie reagującej na awarie, aktualizacjach i odbiorze. Zarząd ocenia koszt poprawnie zamkniętej sprawy, nie liczbę parametrów. Szerszy kontekst to filar architektura systemów AI.

Rozmiar modelu i zakres zadania to różne cechy. Mały model może odpowiadać o wszystkim, a duży robić jedną klasyfikację. Nie wybieraj SLM dlatego, że nazwa brzmi skromnie. Sprawdź, czy rozumie twój język, długość dokumentów i rodzaj poleceń. Zajrzyj też do wpisu o wąskiej AI, który pomaga określić zakres zadania.

Porównaj lokalny SLM z dużym modelem przez API

Oba warianty testuj na tej samej próbce zgłoszeń i z tym samym warunkiem odbioru.

KryteriumMały model lokalnieWiększy model przez API
Trudne sprawyZmierz błędy i eskalacjeZmierz na tych samych sprawach
CzasObciążenie własnego serweraSieć i limity usługi
DaneLogi, kopie, dostęp, retencjaUmowa, region, retencja u vendora
Koszt miesiącaSprzęt, energia, utrzymanie, zapas mocyWywołania, ponowienia, kontrola
Zmiana wersjiKto testuje i wycofuje?Kto kontroluje zmianę w usłudze?

Rozstrzyga koszt poprawnie zamkniętej sprawy przy zadanej jakości i czasie. Jeśli wariant lokalny myli się częściej, czas ręcznej poprawki zje oszczędność na wywołaniach. Jeśli duży model nie poprawia wąskiej klasyfikacji, jego dodatkowe możliwości nic tu nie wnoszą. Nie przypisuj projektowi całego kosztu komputera, który służy też innym zadaniom, ale też nie traktuj istniejącego sprzętu jako darmowego.

Nie tylko trafność

Przy klasyfikacji zgłoszeń sama trafność nie rozstrzyga. Sprawdź, które sprawy były błędne, bo pomylona pilna reklamacja kosztuje więcej niż pomylona etykieta ogólna. Zobacz, czy model rozpoznaje brak pewności i odsyła do człowieka. Zmierz czas korekty i stabilność wyników, bo jedna udana próba niczego nie dowodzi. Kryteria blokujące wdrożenie ustal przed testem, nie po zobaczeniu tańszego wariantu. Model, który z przekonaniem przypisuje wszystko do kategorii „inne”, ma świetną minę i słabe wyniki.

Możesz kierować proste sprawy do małego modelu, a trudne do człowieka lub większego rozwiązania. To propozycja architektury, nie gwarancja oszczędności. Mechanizm kierowania też trzeba przetestować, bo pomyłka „to proste” przy trudnej sprawie podnosi ryzyko.

Kolekcja na Hugging Face. Phi-4 mini, przykład małego modelu, jest w mojej kolekcji Otwarte modele dla polskiej firmy: osiem modeli do własnego wdrożenia, każdy z notką o licencji i linkiem do opisu.

Prywatność całego przepływu

Lokalne wagi nie rozstrzygają prywatności. Aplikacja może nadal wysyłać logi, dokumenty lub wyniki do innych usług. Zapisz, gdzie trafiają dane wejściowe, historia i ślady błędów, kto ma dostęp, jak długo są trzymane i jak je usunąć. W pilotażu używaj danych syntetycznych. Warunki modelu odczytaj z jego dokumentacji (model cards).

W poniedziałek wybierz jeden powtarzalny typ sprawy i przygotuj oczekiwane wyniki. Porównaj model z obecną metodą, licząc poprawki i utrzymanie. Decyzję oprzyj na tym rachunku, nie na samym skrócie SLM.

Portret Krzysztofa Majchrzyckiego

O autorze

Krzysztof Majchrzycki jest architektem systemów i AI Business Partnerem. Od wielu lat łączy technologię z biznesem i zarządzaniem. Współtworzył firmy technologiczne i kierował polskim oddziałem międzynarodowej grupy. Dziś projektuje modele firm i inteligentne systemy operacyjne, które z nich wynikają. Ukończył Executive MBA i ma certyfikat Prosci® Certified Change Practitioner.

Naucz się wdrażać takie narzędzia u klienta

Kurs Forward Deployed AI Engineer w Akademii: jak przejść od biblioteki do działającego systemu w firmie.