- Szakdolgozatnál az a legfontosabb, hogy a detektor ne vádoljon meg tévesen. Ezt a téves vádak aránya (FPR) mutatja.
- A HuDetect-1k mérésben a Preds 3 az 500 emberi szövegből egyet sem jelölt AI-nak, két ismert eszköz viszont nagyjából minden harmadikat.
- A detektor eredménye jelzés, nem bizonyíték. Mindig a mondatszintű részletekkel és egy beszélgetéssel együtt értékeld.
Miért számít, melyik detektort használod?
Egy szakdolgozatnál nagy a tét: egy téves gyanú hónapok munkáját kérdőjelezheti meg. Ezért nem az a fő kérdés, hogy egy detektor hány AI-szöveget kap el, hanem az, hogy hány ember által írt szöveget jelöl tévesen gépinek.
A HuDetect-1k nyílt mérés 1000 magyar szöveget tartalmaz, köztük 140 esszét és tudományos jellegű szöveget. Az 500 ember által írt szövegen ezek voltak az eredmények:
| Detektor | Téves vád (FPR) | Tévesen megvádolt szöveg |
|---|---|---|
| Preds 3 | 0,0% | 0 / 500 |
| GPTZero | 0,2% | 1 / 500 |
| Plag.hu | 0,4% | 2 / 500 |
| Smodin | 0,4% | 2 / 500 |
| isgen.ai | 1,4% | 7 / 500 |
| Originality.ai | 32,6% | 163 / 500 |
| ZeroGPT | 34,8% | 174 / 500 |
Vagyis ha egy tanszék a ZeroGPT-vel vagy az Originality.ai-jal ellenőrizne, nagyjából minden harmadik saját kezűleg írt dolgozat gyanúba kerülhetne. A Preds 3 a mérésben egyetlen emberi szöveget sem jelölt AI-nak, és közben a gépi szövegek 99,2%-át felismerte.
Az alacsony téves vád önmagában nem elég. A Smodin és a Plag.hu szintén ritkán vádolt meg embert, de a gépi szövegek 74, illetve 47 százalékát átengedte. A jó detektor mindkét irányban keveset hibázik.
Ellenőrzés lépésről lépésre
- Válassz megbízható detektortOlyat, amelynek magyar szövegen ismert és alacsony a téves vádak aránya. A fenti mérés alapján ez jelenleg a Preds, amely egyetlen emberi szöveget sem jelölt AI-nak.
- Töltsd fel a teljes dokumentumotNe részleteket másolj be, hanem a teljes PDF-et vagy DOCX-et töltsd fel, mert hosszabb szövegből megbízhatóbb az eredmény.
- Nézd át a mondatszintű kiemeléseketEgy jó detektor nem csak egy összesített számot ad, hanem megmutatja, mely mondatok gyanúsak, és mennyire biztos bennük.
- Mentsd el a riportotHa a detektor ad letölthető riportot, mentsd el. Szükség esetén ezzel tudod megmutatni a témavezetődnek, mit talált a rendszer.
- Értelmezd józanul az eredménytEgy-egy kiemelt mondat még nem jelenti, hogy a dolgozatot AI írta. Nézd meg, hogy a jelölések összefüggő részeken vannak-e, vagy csak elszórtan.
Hogyan értelmezd az eredményt?
Az AI-detektor valószínűséget becsül, nem bizonyít szerzőséget. A komolyabb detektorok maguk is így fogalmaznak: az eredmény döntéstámogató jelzés, nem végső ítélet.
- Alacsony AI-valószínűség: a szöveg mintázatai az emberi írásra hasonlítanak.
- Magas AI-valószínűség hosszú, összefüggő részeken: érdemes megnézni, hogyan készültek ezek a részek.
- Néhány elszórt gyanús mondat: gyakran sablonos, tankönyvszerű megfogalmazás okozza, és önmagában nem ok az aggodalomra.
Tippek hallgatóknak
- Mentsd el a vázlataidat és a korábbi verziókat. A Word és a Google Docs verzióelőzménye jól mutatja, hogyan készült a szöveg.
- Ha AI-eszközt használtál, például nyelvi javításra vagy ötleteléshez, nézd meg, mit enged az egyetemed szabályzata, és jelezd a dolgozatban.
- Ellenőrizd a dolgozatot leadás előtt, hogy ne a bírálatnál érjen meglepetés.
- Ha a detektor tévesen jelöl, a mondatszintű riport megmutatja, pontosan mely részekről van szó, és ezeket a vázlataiddal alá tudod támasztani.
Hasznos összefoglaló hallgatóknak a Preds oldalán is található.
Tippek témavezetőknek és oktatóknak
- Olyan detektort használj, amelynek magyar szövegen ismert és alacsony a téves vádak aránya.
- Az eredményt ne önmagában használd. Vesd össze a hallgató korábbi munkáival, és beszélgess vele a dolgozatról.
- Ha kétség merül fel, kérd el a vázlatokat vagy a verzióelőzményt.
- Intézményi használatnál érdemes olyan eszközt választani, amely csapat- és API-hozzáférést is kínál.
A mérés győztese például külön megoldást kínál oktatóknak és egyetemeknek.
AI-detektor vagy plágiumkereső?
A kettő mást vizsgál. A plágiumkereső azt nézi, hogy a szöveg egyezik-e már meglévő forrásokkal. Az AI-detektor azt becsüli, hogy a szöveget ember vagy nyelvi modell írta.
Egy AI által írt dolgozat lehet teljesen egyedi, ezért a plágiumkereső nem találja meg. Fordítva is igaz: egy másolt szöveg plágium, de attól még ember írta. Szakdolgozatnál ezért érdemes mindkettőt használni.
Mennyibe kerül az ellenőrzés?
Több eszköz ad ingyenes keretet, de egy teljes szakdolgozathoz általában fizetős csomag kell. A mérés győztese, a Preds, naponta 2 ingyenes kreditet ad, kreditenként legfeljebb 1000 szóig, ami nagyjából egy fejezetre elég. Egy 15 000 szavas dolgozat így körülbelül 15 kredit, ezt a havi 4000 forintos csomag bőven fedezi. Az aktuális árak a Preds árazási oldalán láthatók.
Gyakori kérdések
Elég egy AI-detektor eredménye ahhoz, hogy valakit megvádoljanak?
Nem. Egy AI-detektor eredménye önmagában sosem bizonyíték. Csak más információkkal együtt érdemes figyelembe venni, például a vázlatokkal, a korábbi munkákkal és egy szóbeli beszélgetéssel.
Ki lehet játszani az AI-detektort átfogalmazással?
Apró átírással általában nem. A modern detektorok a gondolatmenet felépítéséből és a mondatok szerkezetéből is dolgoznak, nem csak egy-egy szóból. Aki annyi időt tölt egy generált szöveg átírásával, hogy az tényleg a sajátja legyen, az nagyjából meg is írhatta volna. Erről egy kísérlet is olvasható a Preds blogján.
Milyen fájlokat érdemes feltölteni?
Érdemes a teljes dokumentumot feltölteni, nem részleteket bemásolni. A mérés győztese (a Preds) TXT, PDF, DOCX és Markdown fájlt is kezel, sőt kézzel írt szöveg fotóját is, ez utóbbi jelenleg korai fejlesztési fázisban van. Erről itt olvashatsz bővebben.
Mekkora szöveget lehet ellenőrizni?
Rövid szövegből minden detektor bizonytalanabb. A Preds például legalább 60 szót kér, és egy teljes szakdolgozat is belefér egyetlen ellenőrzésbe.