Transformer architektura to koncepcja, która w 2017 roku zmieniła bieg historii sztucznej inteligencji. Artykuł „Attention Is All You Need”, opublikowany przez badaczy Google’a, zaproponował model oparty wyłącznie na mechanizmie uwagi — bez rekurencji, bez splotów. Dziś każdy model, z którym rozmawiasz przez ChatGPT, Gemini czy Copilota, wywodzi się z tego jednego przełomowego pomysłu.
Żeby zrozumieć, dlaczego Transformer stał się tak dominujący, trzeba się cofnąć do tego, z czym wcześniej pracowała branża — i zobaczyć, gdzie poprzednie podejścia po prostu nie dawały rady.
Z naszego artykułu dowiesz się:
Dlaczego sieci RNN i LSTM przestały wystarczać
Przez kilka lat przed 2017 rokiem standardem w przetwarzaniu języka naturalnego były rekurencyjne sieci neuronowe — RNN i ich ulepszona wersja, LSTM (Long Short-Term Memory). Idea była prosta: sieć czyta tekst słowo po słowie, aktualizując swój wewnętrzny stan, czyli pamięć. Każde kolejne słowo wpływa na interpretację następnego.
Ten mechanizm miał jednak dwa poważne ograniczenia, które ujawniały się przy dłuższych tekstach.
Problem znikającego gradientu w sekwencyjnym przetwarzaniu
Podczas trenowania sieci RNN informacja o błędzie propaguje się wstecz przez całą sekwencję. Im dłuższy tekst, tym trudniej przesłać sygnał do wcześniejszych warstw — gradient zanika lub eksploduje. W praktyce oznacza to, że sieć „zapomina” o słowach pojawiających się kilkanaście lub kilkadziesiąt pozycji wcześniej. LSTM łagodziło ten problem, ale nie rozwiązywało go całkowicie. Zdanie złożone z pięćdziesięciu słów bywało przetwarzane tak, jakby jego początek był nieistotny.
Drugie ograniczenie dotyczyło architektury: przetwarzanie sekwencyjne oznacza, że nie można zrównoleglić obliczeń. Model musi przetworzyć słowo nr 1, zanim przejdzie do słowa nr 2. Na nowoczesnym sprzęcie GPU — który najlepiej radzi sobie z operacjami równoległymi — to poważna strata wydajności.
Transformer eliminuje oba te problemy jednocześnie, zupełnie inaczej projektując sposób przetwarzania sekwencji.
Mechanizm self-attention — jak model waży znaczenie każdego słowa
Sercem architektury Transformer jest attention mechanism, a konkretnie jego wariant nazwany self-attention. Zamiast czytać słowa jedno po drugim, model patrzy na całe zdanie naraz i dla każdego słowa zadaje pytanie: które inne słowa w tym zdaniu są dla mnie najbardziej istotne?
Weźmy zdanie: „Bank ogłosił nowe stopy procentowe, a klienci stali przed nim w kolejce.” Słowo „nim” odnosi się do banku — ale skąd model ma to wiedzieć? Self-attention rozwiązuje to elegancko: dla każdego tokenu (słowa lub jego fragmentu) oblicza się trzy wektory — Query (zapytanie), Key (klucz) i Value (wartość). Można to sobie wyobrazić jako system wyszukiwania: Query to pytanie zadawane przez dany token, Keys to opisy wszystkich pozostałych tokenów, a Values to ich właściwa treść.
Wynik samoatencji dla każdego słowa to ważona suma wartości wszystkich tokenów — gdzie wagi zależą od tego, jak bardzo dane zapytanie pasuje do danego klucza. Słowo „nim” otrzyma wysoką wagę dla słowa „bank” i niską dla słów „nowe” czy „klienci”. Co ważne — wszystkie te obliczenia dzieją się równolegle dla całej sekwencji. Nie ma sekwencyjności, jest pełna zrównolegalizacja.
Multi-head attention i pozycjonowanie tokenów
Transformer stosuje wariant zwany multi-head attention. Zamiast jednego mechanizmu uwagi, uruchamia ich kilkanaście naraz (np. 8 lub 16 „głów”), z których każda uczy się skupiać na różnych aspektach relacji między tokenami. Jedna głowa może wychwytywać zależności gramatyczne, inna — relacje semantyczne, jeszcze inna — koreferencje. Wyniki wszystkich głów są następnie łączone.
Ponieważ Transformer przetwarza wszystkie tokeny jednocześnie, nie wie naturalnie, które słowo stoi na którym miejscu. Dlatego do reprezentacji każdego tokenu dodaje się pozycjonalne enkodowanie — matematyczny wzorzec, który informuje model o pozycji słowa w sekwencji. To subtelny, ale niezbędny element całości.
Architektura Transformer — enkoder, dekoder i warianty modeli
Oryginalny Transformer z 2017 roku miał strukturę enkoder-dekoder, zaprojektowaną z myślą o tłumaczeniu maszynowym. Enkoder przetwarza zdanie wejściowe (np. w języku polskim) i buduje jego reprezentację. Dekoder generuje zdanie wyjściowe (np. po angielsku), korzystając zarówno z własnej historii generowania, jak i z reprezentacji enkodera.
Obie części korzystają z self-attention, ale dekoder stosuje dodatkowo cross-attention — mechanizm, który pozwala mu „patrzeć” na wyjście enkodera podczas generowania każdego kolejnego tokenu.
Przez lata społeczność AI odkryła, że do wielu zastosowań nie potrzeba obu części naraz:
| Wariant | Przykłady modeli | Zastosowanie |
|---|---|---|
| Encoder-only | BERT, RoBERTa | Klasyfikacja, analiza sentymentu, NER |
| Decoder-only | GPT, LLaMA, Mistral | Generowanie tekstu, chatboty |
| Encoder-decoder | T5, BART | Tłumaczenie, streszczanie, Q&A |
GPT (i ChatGPT oparty na jego następcach) to model decoder-only. Czyta kontekst i przewiduje kolejny token — wielokrotnie, aż do końca odpowiedzi. BERT z kolei używa wyłącznie enkodera i jest świetny w rozumieniu tekstu, ale nie generuje nowych treści. T5 i BART łączą oba moduły, co sprawdza się przy streszczaniu lub tłumaczeniu.
Przepływ danych przez sieć Transformer
Żeby zobaczyć całość, prześledźmy, co dzieje się z tekstem od wejścia do wyjścia w modelu opartym na dekoderze (takim jak GPT).
Tekst wejściowy trafia najpierw do tokenizatora, który dzieli go na tokeny — fragmenty słów lub całe słowa, zależnie od słownika. Każdy token zostaje zamieniony na wektor liczbowy (embedding). Do embeddingów dodawane jest pozycjonalne enkodowanie.
Tak przygotowane wektory trafiają do stosu warstw transformerowych. Każda warstwa składa się z dwóch głównych bloków:
- Blok multi-head self-attention — każdy token „patrzy” na wszystkie inne i aktualizuje swoją reprezentację na podstawie tego, co widzi.
- Blok feed-forward — prosta sieć neuronowa, stosowana niezależnie do każdego tokenu, która wprowadza nieliniowość i dodatkową pojemność modelu.
Oba bloki otoczone są tak zwanym residual connection i normalizacją warstwy (layer norm). Oznacza to, że wejście do każdego bloku jest sumowane z jego wyjściem — to sprytny trick architektoniczny, który znacznie ułatwia trening bardzo głębokich sieci i zapobiega problemowi znikającego gradientu.
Po przejściu przez wszystkie warstwy (w GPT-3 jest ich 96) ostatnia reprezentacja tokenu trafia do warstwy wyjściowej, która wyznacza rozkład prawdopodobieństwa nad całym słownikiem. Model wybiera następny token — najczęściej metodą próbkowania, co pozwala unikać mechanicznego powtarzania najczęstszych słów.
Od artykułu z 2017 roku do ekosystemu modeli AI
Transformer model AI ewoluował w ciągu kilku lat z ciekawostki badawczej w fundament całej branży. BERT (2018) pokazał, że pre-trening na ogromnych korpusach tekstu i fine-tuning na konkretnych zadaniach to podejście, które bije wszystkie poprzednie benchmarki jednocześnie. GPT-2 (2019) wzbudził kontrowersje jakością generowanego tekstu — OpenAI początkowo wstrzymało publikację pełnej wersji z obawy przed nadużyciami.
GPT-3 (2020) ze swoimi 175 miliardami parametrów udowodnił, że skalowanie samej architektury Transformera — przy odpowiednio dużych danych i mocy obliczeniowej — daje modele, które potrafią prowadzić rozmowy, pisać kod i rozwiązywać zadania matematyczne bez żadnego dodatkowego trenowania.
T5 i rodzina modeli Google pokazały, że ujednolicenie wszystkich zadań NLP do formatu „tekst wejściowy → tekst wyjściowy” upraszcza trening i daje zaskakująco ogólne modele. LLaMA (2023, Meta) otworzyła drzwi do efektywnych, stosunkowo niewielkich modeli dostępnych dla szerszej społeczności badawczej.
Wszystkie te modele dzielą wspólny rdzeń: warstwy uwagi, feed-forward, residual connections i normalizacja. Różnią się wielkością, danymi treningowymi, technikami dopasowywania do ludzkich preferencji (RLHF, DPO) — ale architektura transformer pozostaje niezmieniona w swoich podstawach.
Patrząc na tempo, w jakim społeczność AI iteruje na tej architekturze, można się zastanawiać, kiedy pojawi się coś, co ją zastąpi. Propozycje takie jak State Space Models (Mamba) zyskują zainteresowanie, bo oferują szybsze przetwarzanie długich sekwencji. Na razie jednak żadna alternatywa nie dorównała Transformerowi w skali i wszechstronności. Siedem lat po publikacji „Attention Is All You Need” mechanizm uwagi nadal odpowiada za każde słowo, które ChatGPT generuje na ekranie.
