OpenAI ma nowy pomysł na walkę z “halucynacjami” sztucznej inteligencji

Model GPT-4 od OpenAI, wykorzystywany m.in. przez ChatGPT i wyszukiwarkę Bing, daje ogromne możliwości… ale nie jest pozbawiony wad. Jedną z najważniejszych z nich jest skłonność do tzw. halucynacji. Twórcy są tego świadomi i właśnie ogłosili, że stworzyli nową metodę trenowania sztucznej inteligencji, która ma ją (przynajmniej częściowo) wyeliminować.

Sztuczna inteligencja ma tendencje do zmyślania

Na czym dokładnie polegają “halucynacje” sztucznej inteligencji? Tak nazywa się sytuację, gdy AI z pełnym przekonaniem podaje informacje, które są całkowicie nieprawidłowe. Cytuje książki, które naprawdę nie istnieją, wymyśla wydarzenia, które nigdy nie miały miejsca, czy tworzy zupełnie nowych ludzi lub lokalizacje.

Nawet najnowocześniejsze modele mają skłonność do konfabulacji – wykazują tendencję do wymyślania faktów w chwilach niepewności. Te halucynacje są szczególnie problematyczne w dziedzinach wymagających wieloetapowego rozumowania, ponieważ wystarczy jeden błąd logiczny, aby “wykoleić” całe znacznie większe rozwiązanie – OpenAI

W związku z tym tak naprawdę nie można ufać żadnej odpowiedzi, jaką dostanie się od chatbota opartego na AI. Przekonał się o tym boleśnie amerykański prawnik Peter LoDuca, który niedawno… przesłał do sądu dokument, w którym opierał swoje argumenty na fikcyjnych sprawach, które wymyśliło je AI, gdy poprosił je o pomoc.

OpenAI chce, aby AI skupiało się na ścieżce do celu, a nie tylko wyniku

Dotychczas OpenAI stosowało przy trenowaniu sztucznej inteligencji strategię “outcome supervision”, czyli nadzoru wyników. Model był nagradzany za ukończenie zadania, gdy wyciągnął prawidłowy (niekoniecznie zgodny z faktami, ale logiczny) wniosek.

W swoim nowym artykule firma omówiła inne rozwiązanie – “process supervision”, czyli nadzór procesu. W tym przypadku modele AI są nagradzane za każdy pojedynczy prawidłowy krok rozumowania na drodze do końcowego wniosku. Taka metoda treningu ma upodobnić działania AI do ludzkiego procesu myślowego.

Nie jest to pomysł zupełnie nowy, ale OpenAI rzekomo go rozwinęło, przede wszystkim z myślą o problemach matematycznych.

Na razie artykuł nie był jeszcze oficjalnie recenzowany przez innych specjalistów z branży, nie wiadomo też, czy i kiedy nowa metoda treningu przełoży się na oferowane przez OpenAI produkty, ale firma jest dobrej myśli.

Wykrywanie i mitygowanie błędów logicznych modelu lub halucynacji jest kluczowym krokiem w kierunku zbudowania AGI [ogólnej sztucznej inteligencji]. Motywacją stojącą za tymi badaniami jest poradzenie sobie z halucynacjami, aby modele były bardziej zdolne do rozwiązywania trudnych problemów rozumowania — Karl Cobbe, badacz w OpenAI

Jak sądzicie, czy OpenAI ostatecznie uda się wyeliminować “halucynacje” sztucznej inteligencji, czyli jeden z jej największych problemów? Dajcie znać w komentarzach! A jeśli AI kiedyś wymyśliło w odpowiedzi na Wasze pytanie jakąś kompletną głupotę, koniecznie się nią podzielcie.