Von KI verfasste Texte erkennen – Web2-Unterricht

Seit November 2022 erstellen unsere Schülerinnen und Schüler ihre Texte und Hausaufgaben immer mehr mit Sprachmodellen wie ChatGPT, neuroflash etc. Kann man die KI-Texte erkennen? Im heutigen Post erfahren Sie, was im Moment möglich ist.

Einleitung

ChatGPT und andere Sprachmodelle haben die Fähigkeit entwickelt, menschliche Sprache so überzeugend nachzumachen, dass Bedenken aufkommen, dass sie für betrügerische Zwecke bei schulischen und akademischen Arbeiten eingesetzt werden könnten.

Insbesondere im Bildungsbereich wird intensiv darüber diskutiert, wie man die Inhalte von Text-Robotern aufdecken kann. Es ist klar, dass herkömmliche Plagiats-Programme, die die Authentizität von Texten effektiv überprüfen können, hier nicht weiterhelfen. Diese Programme prüfen lediglich, ob der Text oder Teile davon bereits in anderen Quellen vorhanden ist. Da Sprachmodelle jedoch einzigartige Texte erzeugen, die noch nie zuvor genau so formuliert wurden, stossen diese herkömmlichen Plagiatsprogramme an ihre Grenzen.

Zurzeit arbeiten viele Wissenschaftler und Firmen an Programmen, die Text von Menschen und KI-Texten unterscheiden sollen. Nachfolgend stelle ich Ihnen zwei Tools vor, die im Moment häufig genannt werden:

AI Text classifier

Dieses KI-Texterkennungsprogramm wurde von OpenAI also der gleichen Firma, die auch ChatGPT entwickelt hat, Ende Januar 2023 vorgestellt. OpenAI hat die KI mit Beispielen von menschlichem und maschinellem Text aus verschiedenen KI-Modellen gefüttert. In der Hoffnung, dass die KI lernt die typischen Muster von maschinellem und menschlichem Text zu unterscheiden.

Damit der Dienst verwendet werden kann muss man sich bei OpenAI registriert haben, Er ist zurzeit kostenfrei.

Und so geht’s
Rufen Sie den AI Text Classifier hier auf.
Kopieren Sie den Text ins Textfeld und klicken Sie auf «Submit».

Nach erfolgter Prüfung wird der Text entweder als «sehr unwahrscheinlich» (very unlikely), «unwahrscheinlich» (unlikely), «unklar» (unclear if it is), «möglicherweise» (possibly) oder «wahrscheinlich» (likely) KI-generiert eingestuft, siehe Bild.

OpenAI gab in einem Blogeintrag offen zu, dass die aktuelle Erkennung noch nicht optimal funktioniert. Laut ihren Testläufen konnte die Software nur in 26 Prozent der Fälle korrekt feststellen, ob ein Text von einem Computer verfasst wurde.

Gleichzeitig wurden jedoch auch neun Prozent der von Menschen formulierten Texte fälschlicherweise einer Maschine zugeordnet. Aus diesem Grund empfiehlt OpenAI vorerst, sich bei der Bewertung der Texte nicht ausschliesslich auf die Einschätzung des “Classifiers” zu verlassen.

ChatGPT weist zudem auf folgende Einschränkungen hin:
Quelle: hier ins Deutsch übersetzt mit Deepl.

• Der Klassifikator ist bei kurzen Texten (unter 1.000 Zeichen) sehr unzuverlässig. Auch längere Texte werden vom Klassifikator manchmal falsch eingestuft.
• Manchmal wird von Menschen geschriebener Text von unserem Klassifikator fälschlicherweise, aber zuverlässig als von einer künstlichen Intelligenz geschriebener Text eingestuft.
• Wir empfehlen, den Klassifikator nur für englische Texte zu verwenden. In anderen Sprachen schneidet er deutlich schlechter ab und ist bei Code unzuverlässig.
• Text, der sehr vorhersehbar ist, kann nicht zuverlässig identifiziert werden. So lässt sich beispielsweise nicht vorhersagen, ob eine Liste der ersten 1.000 Primzahlen von einer künstlichen Intelligenz oder einem Menschen geschrieben wurde, da die richtige Antwort immer die gleiche ist.
• Von KI geschriebener Text kann bearbeitet werden, um den Klassifikator zu umgehen. Klassifizierer wie der unsere können auf der Grundlage erfolgreicher Angriffe aktualisiert und neu trainiert werden, aber es ist unklar, ob die Erkennung auf lange Sicht einen Vorteil bietet.
• Klassifikatoren, die auf neuronalen Netzen rks basieren, sind ausserhalb ihrer Trainingsdaten bekanntermassen schlecht kalibriert. Bei Eingaben, die sich stark von den Texten in unserem Trainingssatz unterscheiden, ist der Klassifikator manchmal sehr zuversichtlich, dass er eine falsche Vorhersage trifft.
• AI Text Classifier eignet sich im Moment nicht um Schummeleien von Arbeiten unserer Schülerinnen und Schüler aufzudecken. Jedoch kann es die Diskussion über die Unterscheidung zwischen von Menschen geschriebenen und von KI generierten Inhalten fördern. Weiter sollte man beachten, dass diese Tools auf Englisch trainiert wurden und deshalb Texte in Deutsch schlechter analysieren können.
• Weitere Infos YouTube Clip AI-Texte erkennen: Wie gut funktioniert AI Text Classifier?

GPTZero

Der Informatikstudent Edward Tian von der Princeton University hat über die Weihnachtsferien 2022 GPTZero entwickelt. GPTZero ist eine App die anhand statistischer Analysen erkennt, ob ein Text von einem Menschen oder einer KI verfasst wurde.

Das Tool wurde entwickelt, um Menschen in Bildung, Journalismus und anderen Sektoren dabei zu helfen, KI-Texte zu erkennen. Bei GPTZero kann ein Text ohne Anmeldung geprüft werden. Anschliessend wird man aufgefordert sich anzumelden. GPTZero kann gratis verwendet werden, jedoch sind dann nur bis zu 5000 Zeichen prüfbar. Kosten siehe Bild.

Uns so geht’s
Rufen Sie hier GPTZero auf und melden Sie sich an.
Fügen Sie den Text in die Text-Box ein oder wählen Sie eine Datei aus. Klicken Sie anschliessend auf «Get Results».

GPTZero misst die Eigenschaft im Text, ob die Schrift komplex und vielfältig genug ist, um von einem Menschen zu stammen. Die wichtigsten Kriterien für menschliches Schreiben sind die „Perplexität“, also die Zufälligkeit, und die Sprunghaftigkeit des Textes. Das bedeutet, dass eine KI immer bestimmten Mustern folgt, während Menschen etwas unberechenbarer schreiben. Umso höher der Wert, umso wahrscheinlicher hat der Text ein Mensch geschrieben.

Versucht man deutsche Texte zu prüfen, werden diese meistens als «menschlicher Text» klassifiziert. Deshalb werden vielfach Texte ins Englische und dann mit GPTZero geprüft.

GPTZero kann KI-Texte erkennen und stellt diese dann gelb markiert dar. GPTZero kann jedoch nicht alle Texte richtig zuordnen und macht öfters falsche Zuteilungen. Genaue Werte habe nicht gefunden.

Microsoft sieht jedoch in GPTZero ein grosses Potential und hat ein Add-In für Word erstellt. Dieses können Sie hier herunterladen. Dieses Add-In ermöglicht es Text direkt in Word zu prüfen.

Fazit

Es ist noch ein langer Weg bis KI’s Texte von KI’s zuverlässig erkennen können. Im Moment ist noch kein mir bekanntes Tool auf dem Markt welches verlässlich unterscheiden kann, ob der Text von einem Menschen oder einer KI geschrieben wurde. In der Fachwelt ist man sich auch nicht klar darüber, ob dies überhaupt möglich sein wird.

Wir werden über kurz oder lang in der Schule neue und andere Wege finden, mit diesen neuen KI-Tools umzugehen. Eine von vielen Möglichkeiten ist zum Beispiel das Merkblatt für Facharbeiten zum Umgang mit KI-/LLM-Tools von Philipp Whampfler hier.

Diese Posts könnten Sie auch interessieren

• 10 Jahre Web2-Unterricht
• Vier KI-Tools für die Schule
• Dieser Blogpost wurde von einer Künstlichen Intelligenz verfasst
• Die magische Feder neuroflash
• Heiligabend auf dem Mond – AI Art im Unterricht
• Herausforderung KI-Text-Tools
• Programme zur Textprüfung im Test
• DeepL – Übersetzungen in nie gekannter Qualität
• ChatGPT, Google, Microsoft und die Schule
• KI-Toolbox