Hét ismert AI-detektort mértünk le ugyanazon az 1000 magyar szövegen. A Preds 3, a kifejezetten magyar nyelvre készült AI-detektor, 99,6%-os pontossággal végzett az élen, és az 500 ember által írt szöveg közül egyet sem jelölt tévesen AI-generáltnak.
Az adathalmaz nyílt (CC BY 4.0), és szabadon letölthető a Hugging Face-ről, így a mérést bárki megismételheti.
A pontosság azt mutatja, hány szöveget sorolt be helyesen a detektor. A téves vád (FPR) az emberi szövegek AI-nak jelölt aránya, az átengedett AI (FNR) pedig a gépi szövegek emberinek hitt aránya. Ezeknél az alacsonyabb érték a jobb.
| 1 | Preds 3 Legjobb | 99,6% | 99,60% | 0,9996 | 0,0% | 0,8% |
|---|---|---|---|---|---|---|
| 2 | GPTZero | 90,1% | 89,04% | 0,9923 | 0,2% | 19,6% |
| 3 | Originality.ai | 82,0% | 84,29% | 0,9574 | 32,6% | 3,4% |
| 4 | Plag.hu | 76,5% | 69,44% | 0,9480 | 0,4% | 46,6% |
| 5 | isgen.ai | 65,5% | 48,43% | 0,7317 | 1,4% | 67,6% |
| 6 | ZeroGPT | 64,7% | 64,52% | 0,6911 | 34,8% | 35,8% |
| 7 | Smodin | 62,9% | 41,39% | 0,7655 | 0,4% | 73,8% |
Kattints egy oszlop nevére a rendezéshez. A teljes eredmények letölthetők CSV és JSON formátumban is. Mérés ideje: 2026. szeptember.
Átláthatóság: az adathalmazt és a mérést a Preds fejlesztője készítette. Ezért nyilvános minden szöveg, címke és eredmény, hogy bárki ellenőrizhesse.
Egy detektort nem elég egyetlen számmal megítélni. Van, amelyik senkit sem vádol meg, de az AI-szövegek nagy részét átengedi, és van, amelyik mindent elkap, de közben embereket is megvádol. Az alábbi grafikonokon minden mutató külön is látszik.
Pontosság: magasabb a jobb
F1: magasabb a jobb
AUROC: magasabb a jobb
Téves vád (FPR): alacsonyabb a jobb
Átengedett AI (FNR): alacsonyabb a jobb
A százalékok mögött valódi szövegek vannak. Az alábbi ábrákon minden négyzet egy szöveget jelöl a tesztből, a kitöltött négyzetek pedig a hibákat.
Képzelj el egy évfolyamot, ahol 500 hallgató saját maga írja meg a beadandóját. Ennyi hallgatót gyanúsítana meg tévesen az adott detektor. A Preds 3 egyetlen emberi szöveget sem jelölt AI-nak, a ZeroGPT és az Originality.ai viszont nagyjából minden harmadikat.
A másik oldal ugyanilyen fontos. A Plag.hu, az isgen.ai és a Smodin szinte senkit sem vádolt meg, de a gépi szövegek 47-74%-át emberinek hitte. A Preds 3 az 500 AI-szövegből mindössze 4-et hagyott ki.
Nem minden helyzetben ugyanaz a fontos. Egy szakdolgozatnál a téves vád a legnagyobb kockázat, egy szerkesztőségben inkább az, hogy mennyi gépi szöveg csúszik át.
Egy ártatlan hallgató megvádolása sokkal nagyobb kár, mint egy kimaradt AI-szöveg. Olyan detektort érdemes választani, amelynek 1% alatti a téves vád aránya, és közben a gépi szövegek nagy részét is felismeri. A mérésben a Preds 3 és a GPTZero felelt meg ennek, de a Preds 3 a gépi szövegek 99,2%-át ismerte fel, a GPTZero 80,4%-át.
Cikkeknél, e-maileknél és motivációs leveleknél a kényelem is számít: hasznos, ha a detektor a böngészőben is elérhető, és megmutatja, mely mondatok gyanúsak. A mérés győztese például Chrome-bővítményként is működik.
Ha sok szöveget kell átnézni, az a fontos, hogy a detektor pontszáma megbízhatóan rangsorolja a szövegeket. Erre az AUROC a legjobb mérőszám: a Preds 3 és a GPTZero 0,99 fölött teljesített, három eszköz viszont 0,77 alatt maradt.
Ugyanazon a teszten 62,9% és 99,6% közötti pontosságot mértünk. A számokból három jellegzetes hibaminta rajzolódik ki.
A GPTZero AUROC-értéke 0,9923, vagyis a pontszámai jól elválasztják az emberi és a gépi szövegeket. Mégis csak 90,1%-os a pontossága, mert magyar szövegen túl óvatosan dönt, és a gépi szövegek ötödét átengedi. Hasonló a Plag.hu helyzete: 0,948-as AUROC mellett 76,5%-os pontosság.
Az Originality.ai a gépi szövegek 96,6%-át elkapja, de ennek ára van: az emberi szövegek 32,6%-át is AI-nak jelöli. Ez a fordított hiba, és vizsgahelyzetben ez a veszélyesebb, mert ártatlan embereket érint.
A ZeroGPT, az isgen.ai és a Smodin AUROC-értéke 0,69 és 0,77 között van, vagyis a pontszámaik alig választják szét a két csoportot. Ezen a döntési küszöb állítása sem segít, és jellemzően arra utal, hogy a modell kevés magyar szövegen tanult. A kifejezetten magyar nyelvre készült Preds 3 AUROC-értéke 0,9996.
Az 1000 szöveg 9 témakörből származik, és minden témakörben ugyanannyi emberi és gépi szöveg van, így a téma nem árulja el a címkét. A szövegek hossza 80 és 995 szó között van, a medián 198 szó.
A gépi szövegek frissen készültek, és a Preds tanításában nem szerepeltek, így a saját modellünk sem indult előnnyel.
Az AI-szövegeket ezek a modellek írták
Témakörök
A HuDetect-1k mérésben a Preds 3 érte el a legjobb eredményt minden mutatóban: 99,6% pontosság, 0% téves vád és 0,9996 AUROC. A második helyen a GPTZero végzett 90,1%-os pontossággal. A mérés nyílt adatokon készült, ezért bárki ellenőrizheti.
Csak akkor, ha nagyon ritkán vádol meg tévesen embert. A mérésben két népszerű eszköz is nagyjából minden harmadik emberi szöveget AI-nak jelölt, ami szakdolgozatnál elfogadhatatlan. A Preds 3 egyetlen emberi szöveget sem jelölt tévesen.
Az eredmény ettől még jelzés, nem bizonyíték, ezért érdemes beszélgetéssel és a korábbi munkákkal együtt értékelni. Részletek a szakdolgozat-ellenőrzési útmutatóban.
Egy kimaradt AI-szöveg bosszantó, de egy tévesen megvádolt ember komoly kárt szenvedhet: rossz jegyet, fegyelmi eljárást vagy elvesztett állásajánlatot. A jó detektornak ezért először az emberi szövegeket kell békén hagynia, és csak utána kell minél több AI-szöveget elkapnia.
Igen. A tesztben 11 különböző nyelvi modell írta az AI-szövegeket, köztük a GPT-5.6, a Gemini 3.8 Flash, a Claude Haiku 4.5, a DeepSeek V4 és a Llama 4. A Preds 3 az 500 gépi szövegből 496-ot ismert fel helyesen.
A tesztelt eszközök többsége kínál ingyenes keretet, de magyar szövegen nagyon eltérően teljesítenek. A mérés győztese, a Preds 3, naponta 2 ingyenes kreditet ad, egy kredit legfeljebb 1000 szót fed le. A részletek a Preds árazási oldalán láthatók.
Töltsd le a HuDetect-1k adathalmazt a Hugging Face-ről, futtasd le rajta a detektort, és számold ki a mutatókat. A módszertan oldalon egy rövid Python-kód is segít. A részletes eredmények CSV és JSON formátumban is letölthetők.
Az adathalmazt és a mérést a Preds fejlesztője készítette. Mivel a Preds is szerepel a versenyzők között, minden adat nyilvános: az 1000 szöveg, a címkék és a detektoronkénti eredmények is, így bárki ellenőrizheti és megismételheti a mérést.
Az 1000 szöveg, a címkék és a detektoronkénti eredmények nyilvánosak. Töltsd le az adathalmazt, futtasd le rajta bármelyik detektort, és hasonlítsd össze a számokat.
