Seit Ende 2022 sind einige generative KI-Werkzeuge (Schreibautomaten) für die Öffentlichkeit zugänglich wie etwa ChatGPT oder Aleph Alpha. Lehrende oder Personaler würden gerne testen, ob eingereichte Dokumente Inhalte enthalten, die KI erstellt hat. Jetzt gibt es dazu Helferlein: Englische KI-Texte werden mit den drei getesteten Tools gut erkannt, deutsche Texte sind nur bei zweien nutzbar. Ein Werkzeug liefert schon ganz brauchbare Ergebnisse.
Der zurzeit bekannteste Hersteller ist OpenAI mit ChatGPT, sie haben Anfang Februar 2023 ein neues Testwerkzeug zur KI-Erkennung freigegeben namens AI Text Classifier, anmelden mit E-Mail und schon geht es los: Text einfügen und auf „Submit“ klicken, dann gibt das Tool eine recht präzise Einschätzung ab.
Etwas älter und bekannter ist das Projekt eines jungen Studenten namens Edward Tian aus Princeton, der mit GPTzero bereits die Mediendiskussion weltweit erorbert hat. Insgesamt die beste Lösung, da ohne Anmeldung nutzbar, und selbst bei eindeutig KI-generierten deutschen Texten werden zumindest einzelne Sätze als verdächtig markiert. Die Prüfdimensionen heißen „perplexity“ und „burstiness“. Bei den generativen Schreibhelfern à la GPT wird jedes neue Wort in einem Satz anhand von Wahrscheinlichkeiten berechnet. Perplexity macht sich die Tatsache zunutze, dass Menschen – anders als KI – oft unvorhersehbare Wörter aneinanderreiht um einen Satz zu erstellen. Burstiness bezieht diese Vorhersehbarkeit auf einen ganzen Text. Je geringer die Komplexität eines Textes desto höher ist die Wahrscheinlichkeit, dass eine KI den Inhalt verfasst hat.
Beide Tools arbeiten mit englischer Sprache schon gut, der AI Text Classifier kann aktuell mit deutschen Inhalten noch nix anfangen.
Die dritte Lösung namens AI Content Detector hat ähnliche Probleme wie GPTzero, deutsche Texte sind zwar kein Problem, werden aber zu oft als „human-generated“ klassifiziert ohne wenigstens bei einzelnen Sätzen Verdächtiges zu finden.
Es gibt noch eine alte Lösung den Output Detector von OpenAI auf Basis von GPT-2 (ChatGPT basiert auf GPT-3.5), die arbeitet gut mit deutschen Texten, attestiert aber auch fast immer menschengemachte Texte, obwohl sie von KI-Helfern erstellt wurden.
Fazit: Deutsche Texte sind noch ein Problem, englische KI-Texte werden von den meisten Lösungen einigermaßen gut erkannt, aber zuverlässig geht anders.
Klare Empfehlung: GPTzero
UPDATE 2024: Einige Universitäten nutzen die eher unrühmlichen Plagiatstools, die bekanntlich SEHR viele Falschpositive bei einer Reihe von Indikatoren erzeugen. Es ist mE nicht seriös, darauf eine Entscheidungen zu gründen, ob ein Text von Studierenden mit KI erstellt wurde. Man erkennt das besser an den eher generischen Inhalten im Lehrbuchstil, die wenig vertieftes Wissen enthalten und erst recht keine kritische Würdigung oder gar Diskussion von Quellen. Aber genau das kann auch daran liegen, dass die Autor:innen einfach nur Lehrbücher und keine Primärstudien oder Reviews gelesen haben und den Theorieteil schlicht als Dokumentation ihrer Recherche missverstanden hatten. Hier mal ein elaboriertes Plädoyer, warum man Ende 2023 noch sehr sehr weit davon entfernt ist, taugliche Werkzeuge für die Erkennung von generativen Textprodukten mit KI vor sich zu haben:
Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S. et al. Testing of detection tools for AI-generated text. International Journal for Education Integrity 19, 26 (2023). https://edintegrity.biomedcentral.com/articles/10.1007/s40979-023-00146-z#citeas
Quellen:
https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/