▸ KI generierte Texte erkennen: Anleitung für Einsteiger

Kannst du beim Lesen erkennen, ob es sich um ChatGPT-Texte handelt? Ich meine, sofern diese nicht durch menschliche Intelligenz bearbeitet wurden, kann ich sie erkennen. Ich bin mir aber nicht sicher. Vielleicht habe ich schon viel gelesen, das von einer künstlichen Intelligenz geschrieben wurde, und habe es nur nicht bemerkt.

(Letzte Aktualisierung: 08.05.24)
Foto

Inhaltsverzeichnis:

Schwierigkeit der Erkennung | Für wen ist das wichtig? | Übersicht von Tools | Fazit | Kommentare


▸ Warum ist es schwierig, die KI-Texte zu identifizieren?

Es gibt einige Gründe, warum das nicht so leicht ist und es wird immer schwieriger werden:

Ständige Weiterentwicklung: Moderne KI-Systeme, insbesondere solche, die auf neuronalen Netzwerken basieren, sind darauf trainiert, menschliche Schreibstile und -muster zu imitieren. Sie lernen aus riesigen Mengen von Daten und können daher menschenähnliche Texte produzieren, die schwer von denen eines Menschen zu unterscheiden sind. Wenn du den Schreibstil anpassen möchtest, kannst du das bereits jetzt tun. Wie das geht, habe ich in meinem Artikel: ➥ ChatGPT: Prompts verbessern beschrieben.

Verständnis bei der Kommunikation: KI kann nicht nur syntaktische Muster lernen, sondern auch semantische Kontexte verstehen und anwenden. Wenn du längere Texte generiert und mehrere Fragen dazu gestellt hast, merkst du an den Antworten, dass sich vieles auf das vorher geschriebene bezieht. Auch das Thema wird meist erkannt. Dadurch wird der Text einzigartiger.

Grammatik- und Rechtschreibfehler: Vielleicht erkennt man im Alltag die Texte einer künstlichen Intelligenz daran, dass es so gut wie keine Grammatik- oder Rechtschreibfehler gibt. Spaß beiseite. Die „Kinderkrankheiten“, als die KI noch fehlerhafte Text abgeliefert hat, sind weitestgehend vorbei.

Überzeugende Erzählungen: Einige KI-Modelle können überzeugende Geschichten erzählen. Diese klingen meist menschenähnlich. Leider haben sich oft falsche Informationen im Text „eingeschlichen“. Ich kann dir nur empfehlen, die Sachverhalte immer zu überprüfen.


▸ Für wen ist es wichtig, KI-Texte zu erkennen?

KI generiertes Bild (Firefly)

Für jeden von uns ist es oftmals wichtig, zu wissen, wer hinter den Texten steckt. Ist es eine KI oder ein Mensch? In Zukunft wird das immer schwieriger werden.

Der Bildungsbereich: Lehrkräfte und Prüfende wollen sicherlich wissen, ob die Texte von der KI verfertigt wurden. Stell dir vor, du bist ein Lehrer, der die Originalität und das kritische Denken der Schüler bewerten soll. Du möchtest sicherstellen, dass die Arbeiten, die du bewertest, tatsächlich das Produkt der kreativen Anstrengungen deiner Schülerinnen und Schüler sind und nicht das Ergebnis einer clever genutzten KI. Unabhängig davon, dass die Art der Prüfungen hinterfragt werden muss, wird dieser Bereich vermehrt Tools nutzen und die Texte prüfen.

Wir alle: Die Fähigkeit, KI-generierte Texte zu erkennen, ist für jeden von uns von entscheidender Bedeutung. Aktuell ist es so, dass wir bei den durch die KI erstellen Texten nicht sicher sein können, dass die Informationen stimmen. Ehrlicherweise muss ich hinzufügen, dass wir das bei einigen journalistischen Artikeln auch nicht wissen, aber das steht auf einem anderen Blatt.

Wir müssen lernen, die Unterschiede zwischen menschen- und KI-generierten Texten zu erkennen. Dies trägt dazu bei, Entscheidungen zu treffen, welchen Informationen wir im Internet vertrauen können. Doch das wird nicht so einfach werden.

Bereits jetzt gibt es Tools, die die Erkennung von KI-Texten erleichtern. Einige davon stelle ich dir hier vor und beschreibe, wie gut die Texte erkannt werden. Natürlich sind die Detektoren auch wiederum eine KI.


▸ Tools zur KI-Texterkennung

Es wird ein ständiges Katz und Maus Spiel werden, vermute ich. Die KI-generierten Texte werden besser und die Tools zur Erkennung auch. Ich habe die nachfolgenden KI-Text-Erkenner mit drei verschiedenen Texten getestet. Zwei KI-Texte, ein in Teilen veränderter und ein von mir geschriebener Text. Die Bewertung bezieht sich auf die Erkennungsrate. Hinweis: wie immer, sei vorsichtig, dass du keine sensiblen Texte dort eingibst.

▸ GPTZero


GPTZero behauptet von sich, dass die KI-Text-Erkennung von mehreren unabhängigen Quellen als der genaueste KI-Detektor bestätigt wurde. Ob das stimmt, kann ich nicht nachprüfen. Das Tool soll speziell für Schreibarbeiten von Schülern und akademische Prosa optimiert worden sein.

Was wird erkannt?

ChatGPT, GPT-4, Cloude und weitere Modelle, die darauf basieren

Ergebnisse:

Alle Text wurden als vom Menschen geschrieben erkannt. Das stimmt leider nicht. Die KI Texte wurden auch in Teilen nicht erkannt. Durchgefallen!

Besonderheiten:

Zusätzlich zu der Einordnung, ob es sich um einen durch KI geschriebenen Text handelt, werden die verdächtigen Textpassagen gelb markiert. Die Analyse von bis zu 5.000 Zeichen ist kostenlos.

Meine Bewertung: ★ ☆ ☆ ☆ ☆


Versuche es selbst einmal. Vielleicht ist das Ergebnis bei dir ein anderes. ➥ GPTZero.me

▸ Scribbr


Scribbr ist eine Online-Plattform, die eine Reihe von Dienstleistungen für Studierende und Akademiker anbietet. Sie konzentriert sich auf das Lektorat und Korrekturlesen von wissenschaftlichen Arbeiten wie Hausarbeiten, Bachelorarbeiten und Masterarbeiten. Darüber hinaus bietet Scribbr eine Plagiatsprüfung an. Interessant finde ich auch den Zitiergenerator. Damit kannst du Zitate und Literaturverzeichnisse in verschiedenen Stilen erstellen. Und natürlich findest du dort auch die Erkennung von KI-Texten.

Was wird erkannt?

Kostenlos kannst du nur englischen Text prüfen

Ergebnisse:

Von den KI-Texten wurde keiner erkannt.

Besonderheiten:

Du kannst bis zu 500 englische Worte kostenlos eingeben. Sribbr bietet noch einiges mehr an, wie zum Beispiel ein Lektorat oder eine Plagiatsprüfung. Diese kostet dann allerdings etwas.

Meine Bewertung: ★ ☆ ☆ ☆ ☆


Link zum Anbieter: ➥ Scribbr.de

▸ Smodin


Smodin ist eine Online-Plattform, die unter anderem Textumformulierungen, Plagiatsprüfung, KI-gestütztes Schreiben und vieles mehr anbietet. Smodin will Nutzerinnen und Nutzer helfen, schneller zu recherchieren, kreative Hindernisse zu überwinden, detaillierte Antworten auf Fragen zu erhalten und damit professionelle Dokumente zu erstellen. Unter anderem kannst du dort auch prüfen, ob ein Text von der KI geschrieben wurde.

Screenshot Smodin
Was wird erkannt?

Texte von ChatGPT, Gemini oder anderen KI-Tools

Ergebnisse:

Die Ergebnisse waren wirklich erstaunlich. Bei den KI - Texten wurden die Passagen farblich markiert und die Erkennung schwankte zwischen 53% und 80%. Die menschlichen Texte wurden auch erkannt.

Besonderheiten:

Kostenlos und ohne Account kannst du 5 Texte die Woche prüfen lassen. Registrierst du dich, sind das 5 pro Tag. Auch kostenlos. Du kannst bis zu 5.000 Zeichen eingeben.

Meine Bewertung: ★ ★ ★ ★ ★


Link zum Anbieter: ➥ Smodin

▸ Binoculars


Ein interessantes Projekt gibt es auf Github. Der Originaltitel lautet: Binoculars: Zero-Shot Detection of LLM-Generated Text. Diese KI-Texterkennung geht einen anderen Weg und ich finde den sehr interessant.

Es wird oft angenommen, dass es schwierig ist, Texte zu erkennen, die von modernen großen Sprachmodellen generiert werden, da sowohl LLMs als auch Menschen eine Vielzahl von komplexen Verhaltensweisen aufweisen können. Das Besondere an Binoculars ist, dass keine modellspezifischen Modifikationen erforderlich sind. Nach eigenen Angaben erkennt „Binoculars“ über 90% der von ChatGPT (und anderen LLMs) generierten Proben bei einer Falsch-Positiv-Rate von 0,01%, obwohl es nicht auf ChatGPT-Daten trainiert wurde.

Wenn du mehr darüber nachlesen möchtest, wie das funktioniert, schau dir die Seite auf GitHub an. Falls du es einmal ausprobieren möchtest, habe ich eine Seite bei huggingface.co gefunden.

Was wird erkannt?

Modelle, die auf LLMs basieren, z.B. ChatGPT

Ergebnisse:

Die von ChatGPT generierten Texten wurden erkannt. Der Text generierte Text von Copilot allerdings nicht.

Fazit:

Ein interessanter Ansatz mit mittleren bis guten Ergebnissen.

Meine Bewertung: ★ ★ ★ ★ ☆


Link zum Code: ➥ GitHub

▸ Openai - Text Classifier


Aktuelle Meldung (Zitat OpenAI): Ab dem 20. Juli 2023 ist der KI-Klassifikator aufgrund seiner geringen Genauigkeit nicht mehr verfügbar. Wir arbeiten an der Einbeziehung von Feedback und erforschen derzeit effektivere Verfahren zur Herkunftsbestimmung von Text. Außerdem haben wir uns verpflichtet, Mechanismen zu entwickeln und einzusetzen, die es den Nutzern ermöglichen zu erkennen, ob Audio- oder visuelle Inhalte von KI stammen.


▸ Fazit und Zusammenfassung

Eine 100%ige Erkennung von KI-Texten gibt es nicht. Die Werkzeuge, die ich ausprobiert habe, mit Ausnahme von Smodin und Binoculars, waren nicht sehr gut in der Erkennungsrate. Vielleicht liegt das an meinen ausgewählten Texten oder aber an der deutschen Sprache. Ich vermute, die Anbieter arbeiten mit einem Übersetzungstool.

Erstaunlich und sehr gut fand ich die Ergebnisse bei Smodin. Hier wurden die „verdächtigen“ Textpassagen markiert. Zusätzlich gibt es eine prozentuale Einschätzung, ob es sich um einen durch die KI generierten Text handelt.

Beobachten sollte man auch die Entwicklung von Binoculars. Ein interessanter Ansatz. Ob die KI-Texterkennung allerdings sehr gut ist, wird sich noch zeigen.

Solch eine Bewertung durch das Tool und die Erfahrung, die man mit der Zeit bei KI-Texten bekommt, können zu einer guten Erkennungsrate führen. Wenn die Texte allerdings etwas verändert wurden, wird es schwieriger. Aber dann ist der Text ja auch zu einem gewissen Anteil vom Menschen geschrieben.

Kurz: Es bleibt spannend, wie sich das weiter entwickelt und ob wir von KI-Texten überschwemmt werden. Oder es vielleicht schon sind.

Hinweis: Du willst sicherlich manchmal wissen, ob die Fotos oder Bilder, die du siehst, von der KI generiert wurden. Es gibt jetzt eine Initiative von Adobe, um diese Bilder mit einem fälschungssicheren Wasserzeichen zu versehen. Das Ganze heißt Content Credentials und du kannst mehr darüber in meinem Artikel: ➥ Inhaltsnachweise und digitale Inhalte nachlesen.

Interessante Artikel zum Thema: ChatGPT

Icon
Kategorie - Foto

Flowcharts mit ChatGPT erstellen
Mit ChatGPT und kannst du dir eindrucksvolle Flowcharts erstellen lassen. Hier sind meine Tipps und die ...

Weiter lesen ..

Kategorie - Foto

Mit ChatGPT eine Mindmap in 5 Minuten erstellen
Mit ChatGPT kannst du in 5 Minuten eine komplette Mindmap zu einem beliebigen Thema erstellen. Wie das geht? Einfach den Artikel ...

Weiter lesen ..

Kategorie - Foto

ChatGPT verstehen: So startest du mit Fragen und Antworten
Chat-GPT verstehen und starten. Einführung, was du mit Chat-GPT machen kannst. Dazu einige Tipps für hilfreiche ...

Weiter lesen ..



Sebastian Raßmann, Facebook Kommentar

vor 1 Jahren

Die Idee KI-Texte zu erkennen halte ich auch für einen Rückschritt in der Technik. Wenn man genau drüber nachdenkt, muss es für einen Computer nahezu unmöglich sein, zu erkennen, ob ein Text KI-basiert geschrieben wurde oder nicht, da die Trainingsdaten ja keine Random Rohdaten sind, sondern Bücher, Texte und andere im Internet verfügbaren Textmuster, die allesamt durch Menschen geschrieben wurden.

Dann zu versuchen, den Temperatur Faktor, sprich die Varianz irgendwie auszugleichen, um dann noch zu unterscheiden ob der Text, der nunmal auf menschlichen Texten basiert - maschinenerzeugt wurde - ist meiner Meinung nach eine ganz stupide Idee.

Genausogut könnte man versuchen zu erkennen, ob eine Kartoffel via Sähmaschine gesät und mit einem Roboter geertnet wurde, oder ob sie von Hand in den Acker kam und von dort auf den Tisch. Auch hier stellt sich die Frage: Welche Relevanz hätte das Ergebnis? Ob nun ein Text KI-basiert ist, oder von einem Mensch geschrieben wurde ist doch völlig irrelevant, wenn es um die Transportation von Inhalten geht.

Im schulischen Kontext muss eben nun eine andere Methodik verwendet werden, und man muss eben abrücken vom reinen "Schreibe mindestens 15 Seiten inhalt, um zu beweisen, dass du dich mit dem Thema beschäftigt hast". Genauso, wie Smartphones, Ipads oder smartboards inzwischen fester Bestandteil des Unterrichts geworden sind, da reine "Wissensfragen" in Zeiten von Google nunmal irrelevant geworden sind.

Keiner muss aus dem Kopf wissen, wohin die Oder fließt oder wann Djingis Khan durch die Mongolei geritten ist, wenn ich das mit 10 Sekunden googlen in Erfahrung bringen kann. Viel wichtiger ist da zu lernen, wie man den Umgang mit diesen neuen Medien schult und vor allem in der Lage ist Informationen daraus zu gewinnen.


Burkhard

vor 1 Jahren

Vielen Dank für deinen Kommentar zu meinem Facebookpost zu diesem Thema und die Anregungen, wie man mit diesem Thema umgehen kann.


(c) 2024 - ki-im-alltag.de