In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen. @marcuwekling sagte am Montag bei der Lesung Ähnliches.
Dazu:
1️⃣In der juristischen Ausbildung lernst du, dass 50-70% der Verwaltungsakt falsch sind. Default: falsch!
2️⃣Dazu: in meiner Schulzeit waren Atlanten/Karten immer falsch (DDR drin, teils Saarland draußen, Jugoslawien komplett). Ich habe nicht gehört, dass über Schulen ähnlich gesprochen wird, wie über LLMs. #ki
@AwetTesfaiesus Das ist interessant. Man weiß ja, dass ausgerechnet die Anthropomorphisierung - neben der vermuteten "Intelligenz" eines so teuren Systems - zur übermäßigen Vertrauensseligkeit ggü KI beiträgt. Einer der zentralen Aspekte dabei ist das eloquente und konfidente "Auftreten", welches man in KI-Ausgaben sieht. Demgegenüber bringt jede:r menschliche Gesprächspartner:in mit der eigenen Menschlichkeit/Positionalität/Unvollkommenheit immer schon Anlass zum Zweifel mit in die Interaktion.
Ich bin also noch nicht überzeugt, dass wir KI ggü tatsächlich kritischer als Menschen ggü sind. Ich glaube, Laien neigen zu Vertrauen in konfidentes, eloquentes Auftreten - wie es in den Textsorten begegnet, die Du nennst - gleichermaßen.
Spannend finde ich die (KI-unabhängigen) Fragen, ob es erstens eine empirisch höhere Wahrscheinlichkeit der tatsächlichen Unwahrheit eloquenter Aussagen und zweitens eine mit der Ausbildung zur Jurist:in eingeübte Immunität ggü Eloquenz und Konfidenz gibt.
@anwagnerdreas 1x1 der Zeugenaussage:
"Frau Richterin, ich bin mir ganz sicher, dass sie das war. Da habe ich keinen Zweifel. Das weiß ich deshalb noch so genau, weil zur gleichen Zeit..."
In meiner Ausbildung hieß es "lügt wie gedruckt" kommt nicht von ungefähr.
@AwetTesfaiesus das ist mal eine vorteilhafte déformation professionelle. 😁 Oder nicht?
Ich weiß ja gar nicht, ob es diesen Vertrauensvorschuss gegenüber KI wirklich so gibt.
Was sind eigentlich die Konturen des Unterschieds zu Vertrauensankern, wie:
-Wappen
-Roben
-Gerichtssäle
-Urteilsstil
Alle Jurist:innen lernen doch den Satz „Es ist so und kann nicht anders sein“ im Hinterkopf zu haben, wenn man Urteilsstil schreibt.
Tatsächlich habe ich vielleicht den Mund etwas voll genommen: Ich weiß von Untersuchungen über die vertrauenerweckende Wirkung von Eloquenz und konfidentem Auftreten (und Geschlechterrollen usw.), Merkmalen also, die den Chatsystemen effektiv antrainiert werden (und sei es weil die Humans in the Loop im RLHF das gut finden). Diese Studien stammen allerdings zumeist noch aus der Zeit *vor* den erfolgreichen Chatsystemen, sie untersuchen es also nicht anhand solcher Systeme...
Ich weiß noch von keinen Studien, die die "deference" gegenüber einem identischen Auftreten hinsichtlich dessen vergleichen, ob es von einem Computer oder einer natürlichen Person (mit variierenden Rollen und Attributen), oder vielleicht auch einem journalistischen Medium entgegen tritt. Müsste man mal machen...
Oder weiß jemand was in der Richtung?
@AwetTesfaiesus @anwagnerdreas Ein interessanter Vergleich von Vertrauenskulturen!
Ich denke, wenn wir die Aussagen von Menschen kritisch reflektieren (was Journalisten, Juristen u.a. beruflich tun sollten), nutzen wir unser Bild von deren "Positionalität" zur Frage nach ihrer möglichen Interessiertheit in der Sache.
KI hebelt dies aber aus, sie hat das nicht, sie wirkt fälschlich neutral.
Gerichte haben instit.Interessen, etwa Fälle erledigen, oder nicht von höheren Gerichten korrigiert werden.
Quasi passend dazu: das klingt für normale Menschen sicher skurril, aber in der Ausbildung habe ich reichlich (menschliche) Berichte (uA auch von der Polizei) gelesen, die kaum weniger hanebüchen (wiewohl weniger offensichtlich) waren als dieser „Frosch“. Typische Fehler zB: alle Farben, rechts/links, Personen vertauscht, Rechenfehler, Reihenfolgen vertauscht.
3️⃣40%-50% der Internetseiten sind jur. fehlerhaft.
Bei aller offensichtlichen Gefährlichkeit gerade für die Kreativbranche: Menschen machen mE ständig (!) Fehler!
Ich frage mich, ob wir bei #KI zu oft/leicht mit zweierlei Maß für Richtigkeit messen, wenn es um Fehlerhaftigkeit geht.
Ich frage mich auch ehrlich, welche Mechanismen bei uns am Werk sind. Welches Maß legen wir hier an und warum?
Sind wir evtl (zu sehr) daran gewöhnt, dass Algorithmen zu zuverlässig sind?
