Ireneusz Machowiec
•
⏱️ 1 min czytania
Architektura uwagi: Czy modele AI naprawdę myślą?
Kiedy po raz pierwszy prowadzimy dłuższą rozmowę z zaawansowanym modelem sztucznej inteligencji, trudno oprzeć się złudzeniu, że po drugiej stronie ekranu ktoś siedzi. O...
Architektura uwagi: Czy modele AI naprawdę myślą?
Kiedy po raz pierwszy prowadzimy dłuższą rozmowę z zaawansowanym modelem sztucznej inteligencji, trudno oprzeć się złudzeniu, że po drugiej stronie ekranu ktoś siedzi. Odpowiedzi są dowcipne, strukturyzowane, nasycone erudycją. Jednak gdy zajrzymy pod maskę, napotykamy fundamentalne pytanie: gdzie kończy się zaawansowana statystyka, a zaczyna rozumienie?
Mechanizm Attention – rewolucja roku 2017
Kluczowy przełom nastąpił w 2017 roku wraz z publikacją słynnej pracy badaczy Google pt. „Attention Is All You Need”. Zamiast sekwencyjnie przetwarzać słowo po słowie, modele typu Transformer nauczyły się analizować relacje między wszystkimi wyrazami w całym dokumencie jednocześnie.
- Kontekst dynamiczny: Słowo „zamek” w zdaniu o średniowieczu zyskuje zupełnie inne powiązania niż to samo słowo w tekście o kurtkach zimowych czy zamkach do drzwi.
- Skalowanie obliczeniowe: Zwiększenie liczby parametrów i danych treningowych ujawniło tzw. zdolności emergentne (właściwości wyłaniające się nagle przy odpowiedniej skali).
# Uproszczona idea mechanizmu uwagi:
# Attention(Q, K, V) = softmax(Q * K^T / sqrt(d_k)) * V
Papuga stochastyczna czy nowy rodzaj umysłu?
Krytycy, tacy jak Emily Bender czy Timnit Gebru, ukuły termin „stochastyczna papuga” (stochastic parrot). Według tej tezy model nie ma pojęcia o świecie fizycznym ani o prawdzie; jest jedynie genialnym symulatorem prawdopodobieństwa wystąpienia kolejnego tokena.
Z drugiej strony zwolennicy koncepcji world models (modeli świata) argumentują, że aby wiarygodnie przewidzieć kolejne słowo w złożonych tekstach opisujących fizykę, szachy czy emocje, sieć musi wewnętrznie zbudować uproszczoną reprezentację rzeczywistości.
Niezależnie od definicji świadomości, jedno jest pewne: granica między „mechanicznym powtarzaniem” a „twórczym syntetyzowaniem” została bezpowrotnie zatarta.
