Large language model to dziś jedno z najczęściej wymawianych pojęć w technologii — a mimo to wiele osób używa skrótu LLM bez dokładnej wiedzy, co kryje się za tymi trzema literami. Artykuł wyjaśnia mechanizmy działania dużych modeli językowych, opisuje etapy ich tworzenia i pokazuje, czym różnią się od siebie najważniejsze systemy dostępne na rynku.
Z naszego artykułu dowiesz się:
Architektura Transformer — fundament, na którym stoją LLM
Każdy współczesny large language model opiera się na architekturze zwanej Transformerem, zaproponowanej w 2017 roku przez zespół Google w pracy „Attention is All You Need”. Zanim Transformer zdominował pole, dominowały sieci rekurencyjne (RNN) i sieci LSTM, które przetwarzały tekst słowo po słowie — sekwencyjnie. Było to powolne i ograniczało długość kontekstu, który model mógł uwzględnić podczas analizy zdania.
Transformer zrywa z sekwencyjnością. Przetwarza całą sekwencję tokenów równolegle, co pozwala na znacznie efektywniejsze wykorzystanie nowoczesnych kart graficznych i akceleratorów obliczeniowych. Token to jednostka przetwarzania — może to być całe słowo, fragment słowa lub znak interpunkcyjny. Model GPT-4 szacuje się, że operuje na około 100 000 tokenów kontekstu w jednym „oknie”.
Mechanizm attention — jak model wie, co jest ważne
Sercem architektury Transformer jest mechanizm self-attention. Podczas przetwarzania każdego tokenu model oblicza, jak bardzo każdy inny token w sekwencji wpływa na jego znaczenie. W praktyce oznacza to, że analizując słowo „bank” w zdaniu „siedziałem na brzegu rzeki i patrzyłem na bank po drugiej stronie”, model potrafi uwzględnić kontekst całego zdania i wybrać właściwą interpretację.
Attention realizowany jest jako wielogłowicowy mechanizm (multi-head attention) — model jednocześnie prowadzi kilka „torów” uwagi, z których każdy może wychwytywać inne rodzaje zależności: semantyczne, składniowe czy pozycyjne. W modelu GPT-3 jest ich 96, każda głowica o wymiarze 128. To właśnie ta równoległa wielowarstwowość sprawia, że Transformery skalują się do rozmiarów nieosiągalnych dla poprzednich architektur.
Skala parametrów — od miliardów do bilionów
Parametr to pojedyncza liczba zmiennoprzecinkowa w sieci neuronowej, regulowana podczas treningu. GPT-3 miał 175 miliardów parametrów. GPT-4 — według nieoficjalnych przecieków — to struktura mieszaniny ekspertów (Mixture of Experts) z łączną liczbą parametrów szacowaną na ok. 1,8 biliona, choć w każdym przejściu aktywuje tylko część. LLaMA 3 od Meta dostępna jest w wersjach 8B i 70B, a Mistral oferuje modele od 7B wzwyż.
Skala parametrów nie jest jedynym wyznacznikiem jakości — liczy się też jakość danych treningowych, procedura trenowania i sposób dostrajania modelu. Jednak istnieje próg, poniżej którego pewne zdolności po prostu się nie pojawiają.
Jak powstaje duży model językowy — trzy etapy tworzenia
Tworzenie LLM to proces wielofazowy, rozciągający się nierzadko na wiele miesięcy i pochłaniający dziesiątki milionów dolarów kosztów obliczeniowych.
Pretraining na ogromnych zbiorach danych
Pierwszym i najkosztowniejszym etapem jest pretraining. Model uczy się przewidywać kolejny token na podstawie poprzednich — i robi to na niewyobrażalnie dużych zbiorach danych. Trening GPT-3 wymagał danych obejmujących setki miliardów tokenów: Common Crawl, Wikipedia, Books Corpus, GitHub i inne zasoby tekstowe. GPT-4 i modele tej klasy operowały prawdopodobnie na ponad bilionach tokenów.
W tej fazie model nie jest „uczony” konkretnych faktów w tradycyjnym sensie — uczy się statystycznych wzorców języka. Efektem ubocznym tej ogromnej ekspozycji na tekst jest jednak przyswajanie faktycznej wiedzy o świecie: daty historyczne, wzory matematyczne, składnia programistyczna.
Instruction tuning i RLHF
Surowy model po pretreningu potrafi generować spójny tekst, ale nie potrafi prowadzić rozmowy ani odpowiadać na pytania w oczekiwany sposób. Tutaj wchodzi instruction tuning — dostrajanie na zestawach par pytanie-odpowiedź, gdzie model uczy się postępować zgodnie z intencją użytkownika.
Kolejny krok to RLHF, czyli Reinforcement Learning from Human Feedback. Ludzcy oceniający porównują pary odpowiedzi modelu i wskazują lepszą. Na tej podstawie trenuje się osobny model nagrody (reward model), który następnie kieruje dalszym treningiem właściwego LLM. To właśnie RLHF odpowiada za to, że modele takie jak Claude czy GPT-4 brzmią pomocnie, unikają szkodliwych treści i potrafią przyznać się do braku wiedzy. Bez tego etapu model generuje statystycznie prawdopodobne teksty — nie zawsze użyteczne.
Emergent abilities — zdolności, które pojawiają się ze skalą
Jedno z najbardziej fascynujących zjawisk w świecie LLM AI to tak zwane emergent abilities — zdolności, które nie pojawiają się stopniowo wraz ze wzrostem modelu, lecz ujawniają się nagle po przekroczeniu pewnego progu skali.
Przykładem jest chain-of-thought reasoning. Małe modele, poproszone o rozwiązanie zadania matematycznego, po prostu zgadują wynik. Modele powyżej ok. 100B parametrów — jeśli poprosić je o „myślenie na głos” — potrafią rozpisać tok rozumowania krok po kroku i dojść do poprawnej odpowiedzi. Tej zdolności nie da się przewidzieć na podstawie wyników mniejszych modeli.
Inne zdolności emergentne obejmują:
- Analogowe rozumowanie (np. rozwiązywanie zagadek ABCD w stylu testów IQ)
- Przekład między językami, których model nie był explicite uczony wspólnie
- Kalibracja pewności — model potrafi ocenić, jak bardzo jest pewny swojej odpowiedzi
- Pisanie kodu działającego programu na podstawie opisu w języku naturalnym
Zjawisko emergencji budzi dyskusje naukowców — część twierdzi, że jest to artefakt metryki pomiarowej, a nie rzeczywisty przeskok. Niezależnie od interpretacji, faktem jest, że modele o skali 70B+ radzą sobie z zadaniami, przy których modele 7B zawodzą kompletnie.
Porównanie wiodących modeli — GPT-4, Claude 3, Gemini, LLaMA 3, Mistral
Krajobraz dużych modeli językowych zmienia się szybko. Na początku 2025 roku wyraźnie zarysowały się dwa obozy: modele zamknięte (closed-source) i otwarte (open-weight).
| Model | Twórca | Typ | Mocna strona |
|---|---|---|---|
| GPT-4o | OpenAI | Zamknięty | Ogólna wydajność, multimodalność |
| Claude 3.5 Sonnet | Anthropic | Zamknięty | Długi kontekst, bezpieczeństwo |
| Gemini 1.5 Pro | Google DeepMind | Zamknięty | Kontekst 1M tokenów, dane Google |
| LLaMA 3 70B | Meta | Otwarty | Jakość open-source, elastyczność |
| Mistral Large | Mistral AI | Częściowo otwarty | Wydajność przy małej skali |
GPT-4o dominuje w benchmarkach ogólnych i obsługuje tekst, obraz oraz dźwięk w jednym modelu. Claude 3.5 Sonnet wyróżnia się w długich dokumentach — okno kontekstu 200 tysięcy tokenów pozwala na analizę całych ksiąg. Gemini 1.5 Pro potrafi przetworzyć milion tokenów, co umożliwia wczytanie całej bazy kodu lub kilkuset stron PDF w jednym zapytaniu.
Modele otwarte kontra zamknięte — kto wygrywa i dlaczego to nieoczywiste
LLM co to jest w praktyce dla firmy — to często pytanie o to, czy sięgnąć po API zamkniętego modelu czy wdrożyć otwarty model na własnym sprzęcie. Odpowiedź zależy od kilku zmiennych.
Zamknięte modele oferują najwyższą jakość przy zerowej infrastrukturze własnej. Wystarczy klucz API i konto — resztą zajmuje się dostawca. Wadą jest brak kontroli nad danymi: każde zapytanie trafia na serwery OpenAI, Anthropic lub Google. Dla branż regulowanych (prawo, medycyna, finanse) to często dyskwalifikacja.
Otwarte modele — jak LLaMA 3 czy Mistral — można uruchomić lokalnie lub na prywatnej chmurze. Dane nie opuszczają infrastruktury firmy. Koszt inferencji przy dużej skali zapytań jest znacznie niższy niż płacenie za API per token. LLaMA 3 70B w testach z 2024 roku osiąga wyniki zbliżone do GPT-3.5, a nierzadko lepsze w specyficznych domenach po fine-tuningu.
Granica między obozami zaciera się. Mistral udostępnia część modeli z otwartymi wagami, ale najnowsze wersje — już za paywallem. Meta deklaruje otwartość LLaMA, lecz licencja zabrania użycia komercyjnego przy bazie użytkowników powyżej 700 milionów. Firmy, które chcą pełnej swobody bez niespodzianek prawnych, coraz częściej patrzą na modele licencjonowane permisywnie: Mistral 7B na licencji Apache 2.0 to przykład modelu, który można modyfikować i sprzedawać bez ograniczeń.
Wybór między modelem otwartym a zamkniętym to w 2025 roku mniej kwestia jakości, a bardziej kwestia priorytetu: maksymalna wydajność bez nakładów inwestycyjnych czy pełna kontrola przy własnej infrastrukturze. Obydwie ścieżki mają uzasadnienie — a rosnąca jakość otwartych modeli sprawia, że kompromis jakościowy jest coraz mniejszy.