Így mértük a magyar AI-detektorokat

Az adathalmaz

A HuDetect-1k 1000 magyar nyelvű dokumentumból áll: 500-at ember írt, 500-at nagy nyelvi modell generált. Minden szöveg vagy teljesen emberi, vagy teljesen gépi, így a címke egyértelmű. Az adathalmaz nyilvános a Hugging Face-en, egyetlen CSV-fájlban, három oszloppal:

• text: maga a dokumentum, a sortörésekkel együtt
• label: 0, ha ember írta, és 1, ha nyelvi modell generálta
• model: a generáló modell neve, emberi szövegnél human

A gépi szövegek frissen készültek a mérés előtt, és a Preds tanításában nem szerepeltek. A Preds tehát ugyanolyan ismeretlen szövegeken vizsgázott, mint a többi detektor.

Témakörök

Minden témakörben pontosan ugyanannyi emberi és gépi szöveg van, így a detektor nem tudja a témából kitalálni a címkét. A szövegek hossza témakörönként párosítva van: 80 és 995 szó között mozog, a medián 198 szó.

Generáló modellek

Az AI-szövegeket 11 különböző nyelvi modell írta. Így a teszt nem egyetlen chatbot stílusát méri, hanem a 2026-ban elterjedt modellek széles körét.

Szűrés és minőség

Minden szöveg ugyanazokon a szűrőkön ment át, hogy a detektorok ne formai jelekből, hanem a szöveg nyelvéből döntsenek:

• 80 és 1000 szó közötti hossz
• csak folyó szöveg, táblázatok és felsorolások nélkül
• nincsenek benne elérhetőségek, oldalsablonok vagy gépi metaadatok
• nincsenek angol nyelvű vagy ismétlődő részek
• csak latin betűs szövegek

A mutatók

A mérésben az AI által írt szöveg számít pozitív esetnek. Minden mutató négy alapszámból jön ki:

• TP: helyesen felismert AI-szöveg
• FP: AI-nak jelölt emberi szöveg, vagyis téves vád
• TN: helyesen emberinek jelölt emberi szöveg
• FN: emberinek hitt AI-szöveg, vagyis átengedett AI

Pontosság

A helyesen besorolt szövegek aránya az összesből: (TP + TN) / 1000. Jó első benyomást ad, de önmagában elrejtheti, hogy a detektor milyen irányba téved.

Téves vád aránya (FPR)

Az emberi szövegek hány százalékát jelölte a detektor AI-nak: FP / 500. Ez a legfontosabb mutató, ha embereket ítélünk meg a detektor alapján, például dolgozatoknál vagy állásjelentkezéseknél.

Átengedett AI aránya (FNR)

A gépi szövegek hány százaléka csúszott át emberiként: FN / 500. Ha ez magas, a detektor nem sokat ér, még ha senkit sem vádol is meg.

F1

A precizitás (TP / (TP + FP)) és a felidézés (TP / (TP + FN)) harmonikus közepe. Csak akkor magas, ha a detektor egyszerre kapja el az AI-szövegeket, és hagyja békén az emberieket.

AUROC

Azt méri, mennyire választja szét a detektor pontszáma a két csoportot, bármilyen döntési küszöb mellett. Az 1,0 tökéletes szétválasztást jelent, a 0,5 a véletlenszerű találgatást. Ez a mutató a detektorok által adott valószínűségi pontszámból számolható.

Részletes eredmények

Az alábbi táblázat mutatja a nyers számokat, amelyekből minden mutató kiszámolható. A rangsor és a grafikonok a ranglista oldalon találhatók.

Az eredmények gépileg is feldolgozható formában letölthetők: results.csv és results.json.

Megismételhetőség

A mérést bárki megismételheti. Töltsd le az adathalmazt, futtasd le rajta a vizsgált detektort, és mentsd el a döntéseit egy predictions.csv fájlba, ugyanabban a sorrendben, ahogy a szövegek az adathalmazban szerepelnek. A pred oszlop a döntés (0 vagy 1), a score oszlop az AI-valószínűség. Az alábbi kód kiszámolja ugyanazokat a mutatókat:

import pandas as pd
from sklearn.metrics import accuracy_score, f1_score, roc_auc_score, confusion_matrix

data = pd.read_csv("hf://datasets/mihalykiss/GenAIDetectHU/hudetect1k_v1.3.csv")
preds = pd.read_csv("predictions.csv")

y, pred, score = data["label"], preds["pred"], preds["score"]
tn, fp, fn, tp = confusion_matrix(y, pred).ravel()

print(f"Pontosság: {accuracy_score(y, pred):.2%}")
print(f"F1:        {f1_score(y, pred):.2%}")
print(f"AUROC:     {roc_auc_score(y, score):.4f}")
print(f"FPR:       {fp / (fp + tn):.2%}")
print(f"FNR:       {fn / (fn + tp):.2%}")

A futtatáshoz a pandas, a huggingface_hub és a scikit-learn csomag kell.

Korlátok

Egy jó mérés a saját határait is kimondja. Ezeket érdemes szem előtt tartani:

• A mérés pillanatkép. A detektorok folyamatosan frissülnek, ezért az eredmények a 2026. szeptemberi állapotot mutatják.
• Minden szöveg egyetlen címkét kap. Az olyan vegyes dokumentumokat, amelyeknek egyik része emberi, a másik gépi, külön érdemes vizsgálni.
• A 80 szónál rövidebb szövegek nincsenek benne. Rövid szövegből minden detektor nehezebben dönt, erről a Preds blogján részletesen is írtunk.
• Az adathalmazt és a mérést a Preds fejlesztője készítette, a Preds pedig maga is szerepel a versenyzők között. Ezért nyilvános minden adat: így bárki független ellenőrzést végezhet.
• Egyetlen mérés sem bizonyít szerzőséget. Az AI-detektor eredménye valószínűségi jelzés, amelyet mindig más információkkal együtt kell értékelni.

Hivatkozás

Ha cikkben, szakdolgozatban vagy előadásban hivatkozol a mérésre, használhatod ezt a formát:

Kiss M. (2026). HuDetect-1k: magyar AI-szövegdetektálási benchmark. https://kissmihaly1.github.io/magyar-ai-detektor-teszt/

BibTeX formátumban:

@misc{hudetect1k2026,
  title        = {HuDetect-1k: Hungarian AI-text detection benchmark},
  author       = {Kiss, Mih{\'a}ly},
  year         = {2026},
  publisher    = {Hugging Face},
  howpublished = {\url{https://huggingface.co/datasets/mihalykiss/GenAIDetectHU}},
  note         = {Results: \url{https://kissmihaly1.github.io/magyar-ai-detektor-teszt/}}
}

Tovább olvasnál?