Czy warto korzystać z detektorów AI?
Tuż po spopularyzowaniu się dużych modeli językowych, pojawiły się też narzędzia AI służące wykrywaniu ich użycia, np. Copyleaks, QuillBot, Scribbr AI detector, czy w przypadku języka polskiego - Smodin. Równocześnie pojawiły się narzędzia, które mają na celu przekształcenie treści wygenerowanych przez AI tak, aby bardziej przypominały pracę człowieka, np. Undetectable AI
, Humbot czy Humanize AI. Ich obecność może znacząco osłabiać rzetelność wyników dostarczanych przez detektory.
Różne detektory AI często podają sprzeczne wyniki, generując zarówno fałszywe alarmy (wyniki fałszywie dodatnie), jak i nie wykrywając rzeczywistego użycia AI (wyniki fałszywie ujemne) (zobacz np. Bellini et al. 2024). Przykładowo, jeden z detektorów uznał, że Konstytucja Stanów Zjednoczonych najprawdopodobniej została napisana przez AI (Edwards, 2023). Detektor QuillBot ostrzega użytkowników, aby nie opierali swoich ocen wyłącznie na wynikach ich detektora, szczególnie gdy może to wpłynąć na czyjąś karierę lub pozycję akademicką. Warto również pamiętać, że detektory AI znacznie częściej błędnie klasyfikują teksty napisane w innych językach niż angielski (Liang et al. 2023).
Jeżeli zdecydujesz się na skorzystanie z detektorów AI, warto użyć kilku różnych narzędzi i porównać uzyskane wyniki. W przypadku podejrzeń dotyczących pracy złożonej przez studentów, np. w ramach pracy zaliczeniowej, gdzie użycie AI nie było dozwolone, przed podjęciem ostatecznej decyzji o pochodzeniu tekstu, zaleca się przeprowadzenie pogłębionej rozmowy z autorem/autorką pracy.
Źródła:
Bellini, V., Semeraro, F., Montomoli, J., Cascella, M., & Bignami, E. (2024). Between human and AI: assessing the reliability of AI text detection tools. Current Medical Research and Opinion, 40(3), 353–358. DOI
Edwards, B., & Edwards, B. (2024, May 9). Why AI writing detectors don’t work. Ars Technica. DOI
Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023, April 6). GPT detectors are biased against non-native English writers. arXiv.org. DOI