OpenAI zamyka jedno ze swoich narzędzi. Powodem niska skuteczność

OpenAI, jeden z największych graczy w branży AI, właśnie zdecydował się na wycofanie jednego ze swoich narzędzi, które miało w teorii stanowić ogromną pomoc m.in. dla osób ze świata edukacji (nauczycieli, wykładowców akademickich). Pomimo wcześniejszych optymistycznych zapowiedzi, firma stwierdziła, że nie spełniło ono oczekiwań.

Narzędzie miało chronić świat nauki przed plagiatami

AI Classifier, ponieważ tak właśnie nazywało się narzędzie, miało umożliwiać wykrywanie, czy dany tekst został napisany przez człowieka, czy wygenerowany przez AI, a w szczególności przez własne narzędzie OpenAI — ChatGPT. Celem było m.in. ocenianie, czy studenci i uczniowie nie korzystali z niedozwolonej pomocy przy tworzeniu swoich prac.

Jednak po zaledwie półrocznym okresie funkcjonowania, firma przyznała, że narzędzie nie było w stanie skutecznie wykonać powierzonego mu zadania. Zdecydowano się je zamknąć, ale o decyzji poinformowano w nietypowy sposób. OpenAI, zamiast stworzyć nowy wpis na blogu czy świeżą notatkę prasową, dodało nowe informacje do wpisu sprzed kilku miesięcy, w którym ogłaszało debiut narzędzia.

Od 20 lipca 2023 r. AI Classifier nie jest już dostępny ze względu na niską precyzję. Pracujemy nad uwzględnieniem opinii i obecnie badamy skuteczniejsze techniki detekcji tekstu oraz zobowiązaliśmy się do opracowania i wdrożenia mechanizmów, które umożliwią użytkownikom zrozumienie, czy treści dźwiękowe lub wizualne są generowane przez sztuczną inteligencję — OpenAI

OpenAI od początku ostrzegało, aby nie polegać na AI Classifierze

We wspomnianym wpisie blogowym ze stycznia 2023 roku, w którym OpenAI przedstawiało AI Classifiera, firma od razu przyznała, że nie jest to jeszcze perfekcyjnie działające narzędzie. Wręcz przeciwnie.

Wskazano, że w teście wykonanym przez twórców na zestawie tekstów w języku angielskim, narzędzie poprawnie rozpoznało 26% treści jako prawdopodobnie napisane przez AI, a niewłaściwie oznaczyło teksty autorstwa ludzi jako stworzone przez sztuczną inteligencję w 9% przypadków.

Im dłuższy tekst, tym lepsze wyniki. Rzekomo niska skuteczność wykrywacza była szczególnie widoczna w przypadku tekstów poniżej 1000 znaków. Jak widać, od początku było wiadomo, że na tym narzędziu nie można w pełni polegać, więc ciekawym jest, że OpenAI zdecydowało się po czasie zamknąć je z powodu niskiej skuteczności.

Warto wspomnieć, że AI Classifier to nie pierwsze tego typu dzieło OpenAI. Organizacja stworzyła wcześniej GPT-2 Output Detector, czyli wykrywacz treści stworzonych przez model GPT-2. Teraz jesteśmy już na modelu GPT-4, więc jego skuteczność znacznie spadła. Twórcy twierdzą, że AI Classifier znacznie lepiej radzi sobie z nowymi modelami niż poprzednie narzędzie.

Co o tym wszystkim sądzicie? Koniecznie dajcie znać w komentarzach!