Pytanie ukryte za płynną odpowiedzią

Duże modele językowe odpowiadają na pytania, generują kod, piszą wiersze i prowadzą pozornie inteligentne rozmowy. Interesuje mnie jednak to, co wnioskujemy z tych umiejętności: czy model rozumie, co mówi?

W oryginalnym artykule moja krótka odpowiedź brzmiała: nie. Dłuższa również brzmiała: nie — ale z istotnym spostrzeżeniem, że modele wyjątkowo sprawnie wytwarzają wrażenie rozumienia.

To tekst o tej różnicy, oparty na prostych wyjaśnieniach i analogiach. „Myślenie”, „rozumienie” i „świadomość” nie oznaczają tego samego. Uwagi techniczne poniżej wyjaśniają, dlaczego sam mechanizm przewidywania tokenów nie rozstrzyga wszystkich trzech kwestii.

Co właściwie robi LLM?

U podstaw autoregresyjnego modelu językowego znajduje się zadanie predykcji: dla podanej sekwencji tokenów oszacować rozkład prawdopodobieństwa następnego tokenu. Tokenem może być słowo, jego część lub inny fragment tekstu, zależnie od tokenizera.

Sieć neuronowa przetwarza kontekst. Warstwy uwagi, bloki feedforward i pozostałe operacje przekształcają reprezentacje liczbowe w wyniki, z których wyznaczane są prawdopodobieństwa. Procedura dekodowania wybiera token, dopisuje go do kontekstu i powtarza cały proces.

Określenie „autouzupełnianie” oddaje ten interfejs. Nie opisuje jednak całej złożoności obliczeń potrzebnych, aby takie przewidywanie działało użytecznie w bardzo różnych zadaniach.

Celem treningu nie jest ludzkie rozumienie

Człowiek może pisać, aby opisać doświadczenie, osiągnąć cel lub przekazać myśl. Podczas wstępnego treningu przewidywania tokenów celem liczbowym jest zwykle zmniejszanie błędu predykcji.

Można go skrótowo zapisać tak:

L(θ) = −(1/T) Σₜ log pθ(xₜ | x₁, …, xₜ₋₁)

θ oznacza parametry modelu, xₜ — zaobserwowany token na pozycji t, a T — liczbę przewidywanych tokenów. Im większe prawdopodobieństwo model przypisze zaobserwowanemu tokenowi, tym mniejsza strata. To kryterium matematyczne, a nie bezpośredni pomiar prawdy, doświadczenia czy subiektywnego rozumienia.

Trzeba też odróżnić trening od używania modelu. Trening zmienia parametry w celu poprawienia wyniku funkcji celu. Podczas zwykłego wnioskowania ustalony model generuje odpowiedź; nie wykonuje przy każdej odpowiedzi kroku gradientowego na nowej funkcji straty.

Dostrajanie do instrukcji i trening oparty na preferencjach wprowadzają dalsze cele. Przykładowo w RLHF porównania wykonane przez ludzi pomagają wytrenować model nagrody, a optymalizacja promuje wyżej oceniane odpowiedzi. Może to poprawiać użyteczność zachowania, lecz sama aprobata nie jest dowodem wewnętrznego przeżycia. Jedną z takich procedur opisują Ouyang i współautorzy w Training language models to follow instructions with human feedback.

Dlaczego to sprawia wrażenie inteligencji?

Ludzki język zawiera wzorce wyjaśniania, argumentowania, kojarzenia i rozwiązywania problemów. Model trenowany na dużej ilości tekstu może nauczyć się odtwarzać je z imponującą płynnością.

Gdy zapytamy o różnicę między mechaniką klasyczną a kwantową, odpowiedź może przypominać wyjaśnienie nauczyciela, który dobrze zna temat. Naturalnie łączymy spójną wypowiedź z intencjonalnym rozmówcą wiedzącym, co ma na myśli. Niepokoi mnie przeskok od obserwacji takiej wypowiedzi do założenia, że za nią kryje się życie psychiczne podobne do ludzkiego.

Umiejętność jest rzeczywista. Jej interpretacja pozostaje osobną kwestią.

Pies w ludzkim doświadczeniu i w modelu

Ludzkie pojęcie psa może łączyć wzrok, dźwięk, dotyk, pamięć, emocje i działanie. Pamiętamy konkretne psy, przewidujemy ich zachowanie i wiemy, jak to jest podejść do zwierzęcia z ostrożnością albo sympatią.

Model tekstowy pracuje z reprezentacjami wyuczonymi na danych treningowych. „Pies” pojawia się w sąsiedztwie opisów szczekania, ogona, spacerów czy zwierząt domowych. Relacje te wpływają na reprezentacje i predykcje modelu.

To coś innego niż ludzka historia spotkań z psami. Wyuczona reprezentacja nie jest jednak wyłącznie dosłownym workiem fragmentów liter. Tokeny mają identyfikatory liczbowe i wyuczone embeddingi, które sieć przekształca w reprezentacje zależne od kontekstu. Modele multimodalne mogą dodatkowo przetwarzać obrazy lub inne dane. Analogia dotyczy różnicy wobec ludzkiego doświadczenia, a nie tezy, że każdy model zna wyłącznie tekst lub nie może uczyć się struktury.

Podobna odpowiedź, inna droga

Wyobraźmy sobie dwa systemy wypowiadające to samo ostrzeżenie: „To niebezpieczne — nie rób tego”. Człowiek może łączyć sytuację z bólem, pamięcią, odpowiedzialnością społeczną i celem. Model językowy generuje ostrzeżenie za pomocą wyuczonego obliczenia i bieżącego kontekstu.

Podobieństwo zdania nie dowodzi, że oba systemy doszły do niego przez ten sam rodzaj doświadczenia.

Przestrzenie wektorowe o wielu wymiarach pomagają opisywać obliczenia modelu. Ich współrzędne zwykle nie tworzą jednak czytelnego katalogu pojęć takich jak „kobieta”, „latarnia morska” czy „zagrożenie”. Cechy mogą być rozłożone pomiędzy kierunki i warstwy. Ludzki mózg również nie jest układem współrzędnych z elegancko podpisanymi osiami; porównanie jest analogią, a nie dosłowną mapą którejkolwiek architektury.

Jako przystępne wprowadzenie wizualne polecam wyjaśnienie transformerów autorstwa 3Blue1Brown, od fragmentu o embeddingach.

Co wynika z imponujących rezultatów?

Modele potrafią pisać rozbudowane teksty, rozwiązywać zadania programistyczne, tłumaczyć i wykonywać zadania matematyczne. To przydatne umiejętności. Trzeba oceniać ich poprawność, odporność na zmiany warunków i sytuacje, w których zawodzą.

Chodzi mi o to, aby sukcesu w zadaniu nie utożsamiać automatycznie ze świadomością pojęciową lub przeżywaniem. Jednocześnie sam fakt uczenia przez predykcję nie dowodzi, że model opanował wyłącznie powierzchowne skojarzenia.

Praktyczne pytania są konkretne: czy odpowiedź się broni, czy metoda uogólnia się na inne sytuacje i czy możemy niezależnie sprawdzić wynik?

Czego może brakować do myślenia podobnego do ludzkiego?

Biologiczna inteligencja rozwija się w ciele. Aktywność elektryczna, sygnalizacja chemiczna, metabolizm, pamięć i kontakt z otoczeniem współtworzą system, z którym porównujemy model językowy.

Szczególnie ciekawi mnie relacja procesów fizycznych z subiektywnym doświadczeniem. Czy ucieleśnienie może być konieczne dla pewnych rodzajów rozumienia? Czy fizyczny nośnik ma znaczenie wykraczające poza wykonywane na nim obliczenia?

To pytania i hipotezy filozoficzne. Sugestia, że świadomość mogłaby wymagać konkretnych procesów biologicznych lub zjawisk kwantowych, jest spekulacją; ten artykuł nie wykazuje takiego warunku. Nie dowodzi też, że system cyfrowy nigdy nie mógłby być świadomy.

Różnica, którą chcę zachować

LLM-y są zaawansowanymi, użytecznymi narzędziami. Spójna rozmowa wciąż może jednak skłaniać do przypisywania systemowi więcej, niż uzasadniają dostępne dowody.

Chcę doceniać ich możliwości i zarazem ostrożnie wyciągać z nich wnioski. Płynna odpowiedź to obserwowalny rezultat. Teza o subiektywnym przeżywaniu wymaga innego rodzaju argumentacji i dowodów.

Kontekst techniczny i badania

Oryginalny esej zajmował świadomie mocne stanowisko. Przy korzystaniu z niego jako wyjaśnienia ważne są następujące zastrzeżenia:

  • Predykcja nie wyklucza modeli wewnętrznych. Li i współautorzy w Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task znaleźli wewnętrzną reprezentację planszy Othello w modelu trenowanym na sekwencjach ruchów. To wynik z konkretnego zadania syntetycznego, nie demonstracja świadomości ani kompletnego, ludzkiego modelu świata.
  • LLM-y nie muszą być wyłącznie tekstowe. GPT-4 Technical Report opisuje model przyjmujący tekst i obrazy. Brak wejścia wizualnego nie może więc stanowić ogólnej definicji systemu opartego na LLM-ie.
  • Optymalizacja preferencji jest dodatkowym etapem treningu. Ouyang i współautorzy (2022) rozróżniają demonstracje nadzorowane, porównania preferencji i uczenie przez wzmacnianie. Nie należy sprowadzać tych celów do samego wstępnego treningu tokenowego.
  • Świadomość to osobne pytanie badawcze. Butlin i współautorzy w Consciousness in Artificial Intelligence: Insights from the Science of Consciousness proponują wskaźniki oparte na różnych teoriach. Nie dostarczają prostego dowodu, że płynny język oznacza świadomość albo że obliczenia ją wykluczają.

Tło architektury i skalowania opisują Vaswani i współautorzy, Attention Is All You Need (2017) oraz Brown i współautorzy, Language Models are Few-Shot Learners (2020).

Drugie wyjaśnienie wizualne

W oryginalnym artykule polecałem również New Research Reveals How AI “Thinks” (It Doesn’t). Wideo warto traktować jako wyjaśnienie do zestawienia z badaniami, a nie dowód rozstrzygający wniosek filozoficzny.

I tak: emoji w nagłówkach wersji na LinkedIn podpowiedział GPT. Nawet maszyny statystyczne potrafią ładnie formatować. :)