Naukowcy z Uniwersytetu Kansas twierdzą, że znaleźli niezwykle skuteczny sposób na wykrywanie prac naukowych wspomaganych ChatemGPT i innymi podobnymi narzędziami.
Naukowcom udało się określić cechy rozpoznawcze treści autorstwa AI
Treści tworzone przez AI zalewają świat — i często trudno na pierwszy rzut oka odróżnić je od tych napisanych przez człowieka. Ma to ogromne znaczenie zwłaszcza w środowisku szkolnym i akademickim, w którym ocenia się czyjąś indywidualną pracę.
Dotychczasowe metody wykrywania treści tworzonych przez AI mogą pochwalić się dość wątpliwą skutecznością. Amerykańscy naukowcy opublikowali artykuł opisujący swoją nową metodę w magazynie naukowym Cell Reports Physical Science.
W pierwszej kolejności wybrano zestaw 64 artykułów naukowych napisanych przez ludzi, dotyczących m.in. biologii i fizyki. Naukowcy “nakarmili” nimi ChatGPT, a następnie poprosili go o napisanie na tej podstawie łącznie 128 nowych artykułów (1276 akapitów).
Dzięki temu mogli wytrenować swoje narzędzie do rozpoznawania podobnych treści. Technika pozwoliła ustalić szereg cech charakterystycznych tekstów napisanych przez AI, które pozwalają na ich skuteczną detekcję. Wśród tych cech można wyróżnić pisanie krótszych akapitów niż ludzie, używanie prostszego słownictwa, mniejszej ilości znaków interpunkcyjnych i mniej precyzyjne cytowanie.
| Cechy modelu, źródło: Desaire, Heather et al., Cell Reports Physical Science | |
|---|---|
| Krótki opis | Więcej/częściej w przypadku treści napisanych przez |
| Zdania na akapit | Człowieka |
| Słowa na akapit | Człowieka |
| Występowanie “)” | Człowieka |
| Występowanie “-” | Człowieka |
| Występowanie “;” lub “:” | Człowieka |
| Obecność “?” | Człowieka |
| Obecność cytatów | ChatGPT |
| Odchylenie standardowe długości zdań | Człowieka |
| Różnica długości dla kolejnych zdań | Człowieka |
| Zdanie z <11 słów | Człowieka |
| Zdanie z >34 słów | Człowieka |
Twórcy tej techniki przetestowali ją na zupełnie nowym zestawie zawierającym 30 artykułów napisanych przez ludzi i 60 autorstwa AI. Narzędzie oceniało zarówno artykuły jako całość, jak i poszczególne akapity (a było ich łącznie 1210).
Udało mu się prawidłowo oznaczyć wszystkie 60 artykułów napisanych przez ChatGPT jako dzieło sztucznej inteligencji (skuteczność na poziomie 100%). Nieco gorzej, ale wciąż bardzo dobrze, poszła weryfikacja pojedynczych akapitów (udało się zidentyfikować 92% paragrafów napisanych przez AI).
Metoda może zostać zastosowana nie tylko do prac naukowych
Narzędzie naukowców z Uniwersytetu Kansas powstało z myślą o pracach naukowych (na poziomie uniwersyteckim). Nie zadziała automatycznie np. z pracami licealistów, ale, korzystając z przedstawionego schematu, można wytrenować podobne narzędzie, aby służyło do tego celu.
Bardzo staraliśmy się stworzyć przystępną metodę, aby z niewielkim wsparciem nawet uczniowie szkół średnich mogli zbudować wykrywacz AI dla różnych rodzajów treści.
Istnieje potrzeba zajęcia się treściami pisanymi przez AI, a ludzie nie potrzebują dyplomu z informatyki, aby wnieść wkład w tę dziedzinę — Heather Desaire, autorka artykułu i profesor chemii na Uniwersytecie Kansas
Co o tym wszystkim sądzicie? Koniecznie dajcie znać w komentarzach!
WARTO PRZECZYTAĆ:
ChatGPT miał chwilę słabości. Kuriozalne zachowanie bota wymusiło reakcję OpenAI
Twórcy TikToka tworzą własny model Al? OpenAl zablokowało ich konto!
Czy można użyć ChatGPT do stworzenia dokumentacji dla sklepu www?