GPT-3 – nowy model języka AI, który może zmienić świat

Jak Ci się podoba taki pomysł, że Ty wymyślasz pomysł na fabułę na kilka paragrafów, a sztuczna inteligencja “wypluwa” Ci pełnowymiarową książkę, która nie brzmi sztucznie, a tak, jakby napisał ją prawdziwy człowiek (i to taki posiadający niemały talent)? Takie możliwości ma GPT-3, nowy model języka AI, który ma potencjał, aby zrewolucjonizować tworzenie treści. Jednak po kolei…

O uczeniu maszynowym (Machine Learning) i naturalnym przetwarzaniu języka (Natural Language Processing) i kolejnych krokach czynionych w tych dziedzinach słyszymy dość często już od wielu lat. Nawet nie zdajemy sobie sprawę z tego, że w zasadzie nie jest to przyszłość, a teraźniejszość – tego typu technologia już teraz bywa wykorzystywana na sporą skalę. Wciąż jest jednak na wiele sposobów ograniczona. W zakresie modeli językowych pojawił się jednak ogromny przełom w postaci GPT-3. Poniżej postaramy się wyjaśnić Wam, co to właściwie jest i dlaczego warto się tym ekscytować.

Co to jest ten GPT-3?

GPT-3 jest modelem języka AI, zaprezentowanym niedawno przez fundację Open AI. Rzeczoną fundację kojarzyć możecie na przykład z tego, że do jej założycieli należy m.in. Elon Musk. To organizacja, która robi niesamowitą robotę w zakresie sztucznej inteligencji już od dłuższego czasu, a teraz zrzuciła w tej branży metaforyczną bombę.

GPT-3 bije bowiem na głowę wszystkie inne dotychczas powstałe modele języka AI. Nie tylko jest znacznie potężniejszy, niż jego własne poprzednie odsłony (GTP-1 i GTP-2), ale też dzieła konkurencyjnych firm, m.in. model Turing-NLG od Microsoftu, który powstał z 17 miliardów parametrów. 17 miliardów – brzmi imponująco, prawda? To co powiecie na to, że GPT-3 powstał z… 175 miliardów parametrów, czyli ponad dziesięciu razy więcej?

GPT-3 uczył się na nieskategoryzowanym korpusie 499B punktów danych, w skład wchodziła m.in. Wikipedia, ale też różne i różniste zakątki Internetu, prace naukowe, artykuły, posty w mediach społecznościowych etc. Stąd też sami twórcy ostrzegają, że do danych mogły się wkraść treści obraźliwe czy nieodpowiednie. Nie kontrolowano tego, aby proces uczenia się był jak najbardziej naturalny.

No dobrze, ale co to właściwie robi?

Powyżej mieliście bredzenie o jakichś parametrach, jakichś punktach danych, ale wiadomo, że same w sobie liczby wiele nie mówią. Ważniejsze jest to, co faktycznie dana technologia jest w stanie robić. Co więc GPT-3 robi? Służy do generowania tekstu. Na dowolny temat, w sposób naturalny, czyli taki, w jaki zrobiłby to człowiek. Tym tekstem może być artykuł blogowy, książka, jakieś streszczenie, tłumaczenie, poezja, a nawet po prostu konwersacja (jednym z zastosowań GPT-3 może być np. naprawdę zaawansowany chat-bot).

Wystarczy, że damy maszynie interesujący kontekst, a ona rozwinie go na podstawie wiedzy, którą posiada (a, jak już wiemy, wiedzy GPT-3 posiada całe mnóstwo). Powiesz jej, żeby wygenerowała Ci pracę na temat cyklu Krebbsa – żaden problem. Nie musisz jednak wcale wskazywać jej tak konkretnego tematu. W przewidywaniach na temat GPT-3 często przewija się temat edukacji, ponieważ tam właśnie może się to sprawdzić. Choćby do… generowania pytań na sprawdzian, ale też na przykład scenariuszy lekcji.

Poniżej możecie zobaczyć, jak ktoś nakazał temu modelowi wymyślić 10 pytań z historii Ameryki, a następnie na nie odpowiedzieć (zauważcie, że historia Ameryki to bardzo obszerny temat, a nie coś bardzo konkretnego). Zdarzyły się małe pomyłki, ale ogółem GPT-3 poradziło sobie całkiem nieźle.

GPT-3 is going to completely change education.

Watch it generate a 10 question test on American history.

Then watch it answer those 10 questions. pic.twitter.com/B7PWm5KD4Y

— Mckay Wrigley (@mckaywrigley) July 22, 2020

Sztuczna inteligencja generuje treści już od lat, ale, w przypadku prymitywnych modeli, łatwo jest ją “zagiąć”. Słaby model może brzmieć sztucznie i nienaturalnie, powtarzać się, gubić, nie rozumieć dokładnie, o co nam chodzi. Im jest potężniejszy, tym bliżej mu do zachowania prawdziwego człowieka – jest jednak od człowieka znacznie lepszy, bo to, czego stworzenie nam zajęłoby kilka dni, miesięcy czy nawet lat, sztuczna inteligencja może zrobić na poczekaniu.

Już można zobaczyć próbkę możliwości GPT-3

Zaprezentowany powyżej generator pytań na sprawdzian to tylko wierzchołek góry lodowej. Już powstał na przykład generator interfejsu użytkownika, któremu wystarczy w skrócie opisać, o co mniej więcej nam chodzi, a on błyskawicznie to dla nas stworzy. Zobaczcie zresztą sami.

This changes everything. 🤯

With GPT-3, I built a Figma plugin to design for you.

I call it “Designer” pic.twitter.com/OzW1sKNLEC

— Jordan Singer (@jsngr) July 18, 2020

Tutaj zaś możecie poczytać o tym, jak GPT-3 poradził sobie z Testem Turinga. W konwersację wchodzi m.in. wygenerowany przez bota sonet, który naprawdę brzmi nieźle, ale w dużej mierze sztuczna inteligencja dopuściła się przy nim plagiatu i stworzyła tylko kilka całkowicie własnych linijek.

Poniżej zaś zobaczcie, jak ktoś stworzył przy pomocy tego modelu narzędzie do automatycznego pisania maili. Kluczowe jest to, że maile są pisane w naszym charakterystycznym stylu.

GPT-3 is going to change the way you work.

Introducing Quick Response by OthersideAI

Automatically write emails in your personal style by simply writing the key points you want to get across

The days of spending hours a day emailing are over!!!

Beta access link in bio! pic.twitter.com/HFjZOgJvR8

— OthersideAI (@OthersideAI) July 22, 2020

Ta osoba zaś stworzyła narzędzie do zmieniania tekstu aktów prawnych w normalny, zrozumiały, potoczny język, przy zachowaniu pełnej poprawności przekazywanych danych.

Just taught GPT-3 how to turn legalese into simple plain English. All I gave it were 2 examples 🤯 Might build a term sheet and investment document interpreter out of this 🤓 pic.twitter.com/BDdwCuFce5

— Michael (@michaeltefula) July 21, 2020

Poza tym niektórzy już eksperymentują z generowaniem m.in. przepisów, kodu w Pythonie, porad medycznych czy wysokiej jakości tłumaczeń. Jak widać, niebo jest dla GPT-3 limitem.

To nie jest koniec, a dopiero początek

GPT-3 nie jest jakimś punktem końcowym, na którym rozwój tego typu technologii się zatrzyma lub wyhamuje. Jest to po prostu większa, potężniejsza odsłona tego, co już wcześniej zaprezentowano. Sam koncept rewolucyjny nie jest – w końcu mieliśmy już i GPT-1, i GPT-2, które działały na takiej samej zasadzie. W czym jest więc ta rewolucja? W potędze i rozmiarze, a przecież to nie koniec.

Za jakiś czas możemy się spodziewać GPT-4 czy kolejnego rewolucyjnego, ogromnego modelu językowego od zupełnie innych twórców. A potem pewnie GPT-5… i tak w kółko. Najbardziej ekscytującą częścią tego wszystkiego jest to, że z każdą kolejną odsłoną przepaść między “nowym” a “starym” rośnie.

GPT-2 zostało wypuszczone zaledwie w zeszłym roku (to jest warte podkreślenia – nie jest tak, że między kolejnymi wersjami minęła dekada) i bazowało na 1.5 miliarda parametrów. Jak już wiemy, w przypadku GPT-3 parametrów może być maksymalnie 175 miliardów. Niewątpliwie robi to niezłe wrażenie.

Czy jest czego się bać?

Można spotkać się z bardzo różnorodnymi reakcjami na GPT-3. Wśród nich znajduje się panika i przepowiednie, że tego typu inicjatywy są początkiem końca ludzkości, ponieważ czynią ludzi w zasadzie zbędnymi. Da się ten niepokój pod pewnymi względami zrozumieć. W końcu po co komu translatorzy-ludzie, jeśli maszyna zrobi to lepiej, taniej i szybciej?

Oczywiście maszyna z prawdziwego zdarzenia, a nie publicznie dostępne, darmowe Google Translate. Chociaż trzeba przy tym wskazać, że płatne API do tłumaczeń Google już teraz bez większych problemów radzi sobie doskonale nawet z zaawansowanymi pracami naukowymi i wymaga tylko drobnych korekt.

W praktyce jednak powód do obaw nie ma. Tak, jak pojawienie się maszyn w fabrykach, które produkują znacznie więcej i szybciej niż ludzie własnymi rękami i wymagają niekiedy minimalnej obsługi nie zabiły przemysłu, tak i z rozwoju sztucznej inteligencji ludzie wyjdą obronną ręką. Pewne stanowiska pracy mogą zniknąć, inne – zmienić się z podejścia twórczego do po prostu weryfikacji twórczości robotów.

Chociaż GPT-3 dostępne jest już teraz (i, jak widać było powyżej, wiele osób już zdążyło stworzyć dzięki niemu świetne rzeczy), to nie jest też tak, że transformacja przyjdzie jednej nocy i na następny dzień świat będzie wyglądał inaczej. Wdrażanie tego typu rozwiązań wszędzie i na dużą skalę zawsze trochę trwa. Zamiast zamartwiać się wizjami apokalipsy rekomendujemy więc raczej cieszyć się z ogromu możliwości, jakie ta technologia daje (i z tego, ile nudnych, żmudnych zadań można na nią przerzucić).