Auf der DGSF-Website ist unter der Rubrik Zeitschrift Kontext ein denkwürdiger Text erschienen, der „Ergebnisse der Kontext Umfrage“ präsentieren soll. Denkwürdig insofern, als es für die DGSF-Website offensichtlich keinen Bullshit-Filter gibt. Autorin ist Constanze Latussek und der Text ein gutes Beispiel dafür, wie man sich Daten so zurecht legen kann, dass sie in das eigene Bild passen.

In ihrem Text – unter der Überschrift „Was ihr wirklich denkt – Ergebnisse der KONTEXT-Umfrage in aller Kürze“ – behauptet sie, das „eindeutige“ und „ehrliche“ Ergebnis der Befragung von DGSF-Mitgliedern zur Zeitschrift Kontext wiederzugeben, die im Frühjahr durchgeführt wurde. Wie sie auf die Idee kommt, zu wissen, was DGSF-Mitglieder wirklich denken, bleibt ihr Geheimnis, von Eindeutigkeit kann jedenfalls keine Rede sein. Der Text kann daher nicht unwidersprochen bleiben. 

Einleitend wird auf der DGSF-Website bemerkt: „Die AG KONTEXT hat den Auftrag, zur Mitgliederversammlung im November 2025 Vorschläge für die Neugestaltung und -organisation der Mitgliederzeitschrift KONTEXT zu entwerfen. Hierzu haben Constanze Latussek und Johannes Herwig-Lempp im Frühjahr 2026 eine Befragung unter allen Verbandsmitgliedern durchgeführt“.

Richtig ist daran, dass in der Kontext-AG eine solche Befragung beschlossen wurde und Johannes Herwig-Lempp und Constanze Latussek in der erwähnten Kontext-AG als Untergruppe einen ersten Aufschlag für die Formulierung eines Fragebogens gemacht haben, der allerdings wegen suggestiver und tendenziöser Formulierungen sowie methodischer Schwächen von Anfang an äußerst kontrovers diskutiert wurde. Ich bin als Mitglied des Wissenschaftlichen Beirates und langjähriger Mitherausgeber des Kontext in dieser AG und habe an dieser Kontroverse durchgehend teilgenommen. Eine abschließende Einigung auf die Konstruktion des finalen Fragebogens gelang erst nach Monaten, weshalb seine Veröffentlichung erst in diesem Frühjahr, also fast 1,5 Jahre nach Start der AG möglich war. Die Befragung war also nicht das Werk der beiden genannten Personen, sondern wurde von der Kontext-AG durchgeführt und verantwortet.

Des Weiteren muss betont werden, dass es sich keineswegs wie behauptet um eine „Befragung unter allen Verbandsmitgliedern“ handelte, was ja eine Benachrichtigung aller Mitglieder erfordert hätte, sondern um eine Befragung, die nur über das Online-Mitgliederforum BeUnity bekannt gemacht wurde und abgesehen davon ausschließlich auf informelle Mobilisierungsmechanismen angewiesen war. Es gab keinen Newsletter des Verbandes für die Mitglieder, selbst in den DGSF-Mitteilungen im Kontext wurde über die Befragung nicht informiert. Das auf diese Weise sehr selektiv zustande gekommene und keineswegs repräsentative Panel der Befragten umfasst genau 276 Personen, etwa 2 % aller Mitglieder. Kein Manko, aber eben nicht repräsentativ.

Die Antworten dann als Hinweise darauf zu lesen, „was ihr [also die Mitglieder, Tom Levold] wirklich denkt“, erfordert schon eine gewisse Chuzpe, abgesehen von der Fähigkeit, erfassen zu können, was Menschen „wirklich“ denken. Und zwar „Eindeutig, ehrlich – und an manchen Stellen ziemlich deutlich“. Nun mag man sich fragen, wie denn Frau Latussek zu diesen eindeutigen Ergebnissen gekommen ist. In der Kontext-AG präsentierte sie dazu eine umfangreiche Auswertung, die allerdings nicht sie, sondern eine KI (unter Verwendung eines Claude-Modells) erstellt hat.

Der Fragebogen enthält eine Reihe von Multiple-Choice-Fragen, die leicht auszuzählen sind. Darüber hinaus gibt es Antworten auf mehrere offene Fragen, deren statistische Auswertung aber nicht trivial ist, da sie eben nicht immer eindeutig zu bewerten sind. Um sie als positive, negative oder neutrale Antworten einzuordnen, braucht es also klare Kategorienbildung und ein Codierungsschema, mit dem jede einzelne Antwort zugeordnet werden kann.

Die von Frau Latussek vorgelegte Auswertung kommt nicht nur ohne ein klares Kategoriensystem aus, sondern enthielt zudem merkwürdigerweise viele tendenziöse Interpretationen einzelner Antwortenblöcke, die ich mir nicht erklären konnte. Auf meine diesbezügliche Nachfrage erhielt ich von ihr die Antwort, die Auswertung sei ausschließlich mit folgendem Prompt erfolgt: „Erstelle unter Berücksichtigung wissenschaftlicher statistischer Standards eine Gesamtauswertung sowie Einzelauswertungen der qualitativen Fragen. Bei der Einzelauswertung der qualitativen Fragen fasse zusammen, wie das Verhältnis negativer, positiver und neutraler Antworten ist und nenne die 10 wichtigsten Anliegen der Antwortenden“. Da mich stutzig machte, wie die KI mit diesem Prompt u.a. Antworten von Befragten als Bestätigung der Kritik am Kontext auf der DGSF-MV von 2024 interpretieren konnte, obwohl von diesem Zusammenhang weder in dem zitierten Prompt noch im Fragebogen überhaupt nicht die Rede ist, fragte ich nach weiterer Interaktion mit dem KI-Modell, die aber bestritten wurde. Ihren Vorschlag, die Auswertung mit dem gleichen Prompt doch dann selbst nachzuvollziehen, griff ich gerne auf und war nicht überrascht, dass diese Auswertung durchaus zu anderen Ergebnissen kam, sowohl was die quantitativen als auch die qualitativen Antworten betraf.

Ein Hinweis darauf, dass man sich, wenn man schon im Prompt nach der Berücksichtigung wissenschaftlicher Standards fragt, sich nicht auf KI-Antworten alleine verlassen, sondern auch einen Blick in die Daten selbst werfen sollte und vor allem nicht bei der Interpretation der Daten in erster Linie die eigenen Meinungen und erwünschte Antworten „herauslesen“, was hier aber geschehen ist.

Die von mir angefragte KI-Auswertung ist der ersten weder über- noch unterlegen. Es zeigt sich aber, dass die Stützung auf eine simple KI-Auswertung mit einem noch simpleren Prompt keinesfalls eine seriöse methodische Vorgehensweise darstellt. Das soll mal an einem Beispiel illustriert werden. In der KI-Analyse von Frau Latussek heißt es zur offenen Frage nach Gestaltung und Sprache der Zeitschrift: „Bei dieser Frage überwiegen mit 51,4 % deutlich die negativen Rückmeldungen zu Gestaltung und/oder Sprache der Ausgaben – mehr als doppelt so viele wie positive (26,4 %). 18,8 % der Antworten sind neutral (z. B. ,ok’, ,geht so’, ,mittel’) und 3,3 % enthalten sowohl positive als auch kritische Anteile (z. B. ,Format und Gestaltung finde ich gut, ab und an mehr Grafiken wären schön’). Damit liefert Frage 5 die deutlichste quantitative Bestätigung der auf der Mitgliederversammlung geäußerten Kritik an der gestalterischen und sprachlichen Qualität des Hefts“ (s.o., was den Bezug auf die MV betrifft). In der Analyse, die ich beim gleichen KI-Modell angefragt habe, heißt es dazu: „Bei Frage 5 (Bewertung von Gestaltung und Sprache) habe ich von den 276 Antworten 95 als positiv, 141 als neutral und 40 als negativ kodiert. Das entspricht den bereits berichteten Anteilen von rund 34 Prozent positiv, 51 Prozent neutral und 15 Prozent negativ.“ Hier gibt es also doppelt so viele positive wie negative Antworten, das exakte Gegenteil der ersten Auswertung. Was man mit diesen Zahlen anfangen kann, weiß man erst, wenn man nachvollziehen kann, welche Antworten warum positiv/negativ/neutral kodiert wurden. Da kann man aber nur, wenn man sich die 276 Antworten selbst anschaut (was ich getan habe) – oder man sucht sich einzelne Antworten so heraus, dass sie zur eigenen Meinung gut passen. Immerhin zeigt die große Abweichung der Ergebnisse schon, dass mit solchen ad-hoc-Auswertungen nichts anzufangen ist.

Ein intensiver Einstieg in die einzelnen Antworten würde an dieser Stelle zu weit führen. Hier geht es in erster Linie um das Framing, das Frau Latussek in ihrem Text auf der DGSF-Website anbietet. Nur dort sind die Ergebnisse nämlich „eindeutig“. Sie schreibt, dass „knapp die Hälfte (…) KONTEXT selten oder gar nicht“ lese. Warum erwähnt sie nicht, dass 52,5 % die Zeitschrift mindestens regelmäßig oder intensiv lesen oder darüber hinaus den Kontext auch noch für berufliche und Lehrzwecke nutzen? Das ist offensichtlich der Erwähnung nicht wert, weil es nicht in das Bild passt, das sie erzeugen möchte. Übrigens ein Wert, der angesichts der Tatsache, dass die Zeitschrift ein sehr heterogenes, multiprofessionelles Publikum mit sehr unterschiedlichen intellektuellen Interessen erreicht, erstaunlich hoch ist.

Der manipulative Gipfel wird dadurch erreicht, dass positive Antworten von Frau Latussek gezielt ausgeblendet werden: ausschließlich negative Bewertungen werden zitiert, um ihr „noch klareres Urteil“ zu untermauern: „,altbacken’, ,dröge’ und ,staubtrocken’ tauchten häufig auf“. Zählt man einmal nach, stellt man fest: das Wort „Bleiwüste“ (angeblich „ein besonders beliebtes Wort“) kommt 6 x vor (2 %), „altbacken“ 5 x (davon einmal positiv „altbacken wissenschaftlich – kann so bleiben“), „dröge“ 3 x, staubtrocken 1 x. Bleibt offen, was Constanze Latussek unter „häufig“ versteht. Dass der Praxisbezug mit dem „Relevanzscore von 9,46“ einen hohen Wert in der Themenrelevanz einnimmt, ist richtig. Daraus macht sie: „Was die Mitglieder wollen, lässt sich also in einem Satz zusammenfassen: mehr Praxis, bitte. Fallbeispiele, Methoden, anwendbares Wissen. Weniger Theorie um der Theorie willen“. Gefragt wurde aber nur, was aus der eigenen Perspektive wichtig ist, nicht danach, wovon man mehr oder weniger haben möchte. „Weniger Theorie um der Theorie willen“ scheint ein Herzenswunsch von Frau Latussek zu sein, was immer sie sich unter „Theorie um der Theorie willen“ vorstellen mag.

Ganz gewiss kann man der KI nicht die Kodierung von solch heterogenen Antworten überlassen. Schaut man sich die Antworten im Detail an, gibt es keine dominante Tendenz, sondern eher Hinweise, dass es sehr unterschiedliche Erwartungen bzgl. Inhalten, Themenauswahl, fachlichem Niveau und Gestaltung gibt, die womöglich nicht in einem einzigen Journal befriedigt werden können. Insgesamt lässt sich sagen: Der Kontext wird als qualitativ anspruchsvolle Fachzeitschrift geschätzt, aber viele Mitglieder wünschen eine stärker ausbalancierte Ausrichtung, die wissenschaftliche Qualität mit besserer Lesbarkeit, mehr Praxisnähe und größerer Themenvielfalt verbindet.

Ganz unabhängig von der Berechtigung der Kritik und einer Revision von Gestaltung und Layout geht es im Text von Frau Latussek aber nicht um die Darstellung der Untersuchungsergebnisse, sondern um deren Instrumentalisierung für eigene Zwecke. Ihr Verkündigungstext ist ein gutes Beispiel für die verzerrte Darstellung von Befragungsergebnissen, die angeblich nach „wissenschaftlichen Standards“ erfasst werden sollten.

Ursprünglich war er dieser Text für die Veröffentlichung im Kontext gedacht. Auf der letzten Sitzung der Kontext-AG wurde aber nicht nur der KI-Auswertung nach meiner Kritik daran der Stecker gezogen, sondern es war auch klar, dass der Text von Frau Latussek, der ja auch noch die „detaillierten Auswertung“ ankündigt, die „online veröffentlicht“ werde, keine Autorisierung der Kontext-AG bekommt. Dass sie ihn nun ohne Rückkoppelung mit der Kontext-AG auf der Website der DGSF veröffentlicht hat, spricht für sich.

Unter Bullshit versteht Harry G. Frankfurt Äußerungen, bei denen es nicht um Wahrheit oder bewusste Unwahrheit geht, sondern vielmehr darum, dass die Frage des Wahrheitsgehalt gar nicht mehr relevant ist. Entscheidend ist nicht, ob das Gesagte wahr oder falsch ist, sondern ob es dem eigenen Zweck dient. Dass KI-Modelle Bullshit produzieren, weil sie ihren eigenen Wahrheitsgehalt nur begrenzt beurteilen können, ist schon oft genug demonstriert worden. Für den Bullshit auf der DGSF-Website zeichnet Constanze Latussek ganz alleine verantwortlich.