Artwork for podcast HSG Research Insight
HSG Research Insight #6 | Wie Künstliche Intelligenz unser Rechtssystem verändert
Episode 63rd July 2025 • HSG Research Insight • Universität St.Gallen (HSG)
00:00:00 00:54:23

Share Episode

Shownotes

In der 6. Folge von HSG Research Insight wird der Einfluss von KI auf das Rechtssystem eingehend diskutiert. Wo stehen wir aktuell? Welche rechtsphilosophischen Fragen wirft KI im Rechtssystem auf? Werden Richter:innen irgendwann überflüssig? Was geht verloren, wenn juristische Texte zu Programmcode werden?

Host Daniel Sager beleuchtet mit den beiden Gästen Prof. Dr. Simon Mayer und Dr. Aurelia Tamò-Larrieux die verschiedenen Epochen der Automatisierung des Rechts und die Herausforderungen, die sich daraus ergeben haben. Simon Mayer ist Professor an der School of Computer Science der HSG (SCS-HSG) und Aurelia Tamò-Larrieux ist Assozierte Rechtsprofessorin an der Universität Lausanne. Beide verbindet bereits eine längere Forschungszusammenarbeit, woraus das Buch "AI and Law" entstanden ist, das sie zusammen mit Dr. Clement Guitton, ebenfalls von der SCS-HSG, geschrieben haben.

Transcripts

Speaker A:

HSG Research Insight, ein Wissenschaftspodcast der Universität St.

Speaker A:

Gallen.

Speaker A:

Hast du auch schon bei ChatGPT juristischen Rat eingeholt und dich dann gefragt, wie zuverlässig diese Auskunft wohl ist?

Speaker A:

Digitalisierung und künstliche Intelligenz machen auch vor dem Rechtssystem nicht halt.

Speaker A:

Doch diese Entwicklung wirft viele ethischen und rechtsphilosophischen Fragen werden Richter innen irgendwann überflüssig und alle Urteile von einer KI gefällt?

Speaker A:

Wäre das wirklich wünschenswert?

Speaker A:

Was geht verloren, wenn aus juristischen Texten Programmcode wird?

Speaker A:

Während aktuell viel über die gesetzliche Regulierung von KI diskutiert wird, wollen wir in dieser Folge den Zusammenhang von Recht und KI aus der umgekehrten Perspektive betrachten, nämlich welchen Einfluss denn die KI auf unser Rechtssystem hat.

Speaker A:

Dazu spreche ich mit zwei Personen, die sich in ihrem Buch AI and law genau dieser Frage widmen.

Speaker A:

Simon Meier ist Professor an der School of Computer Science an der HSG und Aurélia Tamaularie ist Rechtsprofessorin an der Universität Lausanne.

Speaker A:

Aurelia und Simon, schön, dass ihr hier seid.

Speaker A:

Ihr habt jetzt ja ein Buch herausgegeben, das sich eben mit dem Einfluss von KI auf das Rechtssystem befasst.

Speaker A:

Was war bei euch so der Aha Moment, wo ihr gemerkt KI wird das Rechtssystem grundlegend verändern?

Speaker B:

Dani, vielen Dank für die Einladung.

Speaker B:

Ich glaube, für uns war es eigentlich weniger ein aha Moment.

Speaker B:

Es ist jetzt schon eine lange kontinuierliche Arbeit und eine Annäherung gewesen unserer zwei Felder.

Speaker B:

Das Thema Automatisierung des Rechts ist eigentlich nicht ein neues Thema, aber es ist jetzt viel greifbarer geworden für die Leute.

Speaker B:

Insbesondere mit ChatGPT und anderen LLMs kann man ja auch rechtliche Fragen stellen.

Speaker B:

Und es ist viel mehr klar geworden, auch inwiefern das recht automatisiert werden kann.

Speaker C:

Weil du nach dem Aha Moment gefragt hast, oder?

Speaker C:

Ich finde das unheimlich bereichernd für mich als Informatiker, mit diesem Feld zu arbeiten, mit diesem Feld, mit Aurelia als Person auch oder mich auseinanderzusetzen.

Speaker C:

Für mich ist so, für mich fängt das erstmal naiv an, weil ich kam damals aus der Robotik, aus der industriellen Automatisierung und für mich fing das recht naiv an mit der Interpretation von Recht durch den Roboter oder wie könnt ihr dem Roboter beibringen, was gerade erlaubt ist und was nicht erlaubt ist?

Speaker C:

Und dann könnt ihr Roboter sich ja danach richten.

Speaker C:

Und so haben wir auch damals, das war dann ein paar Jahre später, haben wir den ersten Prototyp in die Richtung gebaut.

Speaker C:

Leider können die Zuseher nicht sehen, aber der schaut so aus.

Speaker C:

Er ist so ein kleiner Roboter, der so rumfährt und Fotos macht.

Speaker C:

Der Punkt ist genau der, ich habe es naiv gesehen.

Speaker C:

Ich habe gesehen, hey, das ist einfach das Recht, das interpretiert jetzt die Maschine so und fertig oder end.

Speaker C:

Of story.

Speaker C:

Und jetzt habe ich ein Automatisierungssystem, das richtet sich nach dem Recht.

Speaker C:

Aber in Wirklichkeit ist dieses Thema, und das kommt meinem aha Moment am nächsten, in Wirklichkeit ist dieses Thema viel, viel größer, als ich eigentlich gedacht hatte.

Speaker C:

Weil diese Interpretation, diese Automatisierung der Interpretation, man muss sich ja da die Frage stellen, ob das überhaupt grundlegend aus Rechtssicht, nicht aus Automatisierungssicht vernünftig ist.

Speaker C:

Ich meine damit, wir kommen später bestimmt noch zu Pitfalls oder zu Problemen, die Automatisierung des Rechts mit sich bringt, aber ist das denn überhaupt sinnvoll, dass ich so einen Roboter baue, der sich nach dem Recht richtet?

Speaker C:

Soll der sich nach dem Recht heute richten oder nach dem Recht vorgestern?

Speaker C:

Inwieweit kann ich denn beweisen, dass der sich nach dem richtigen Recht richtet?

Speaker C:

Und ich schalte ja da einen, also für mich, das ist für mich ein ganz gutes, greifbares Ding, glaube ich.

Speaker C:

Was ich ja technisch mache, ist, dass ich jemanden, der programmiert, zwischenschalte zwischen das Recht und die Ausführung.

Speaker C:

Das heißt, diese Person, die da programmiert, die kriegt so eine Art Agency, so eine Art rechtliche Agency, die aber nicht demokratisch abgestützt ist.

Speaker C:

Oder wer den Code, den können die meisten Leute in der Schweiz nicht lesen.

Speaker C:

Und das hat für mich dieses Tor aufgemacht, dass man sich, wenn man das recht automatisiert, auseinandersetzen muss mit den Grundlagen des Rechts und nicht eben nur mit den Grundlagen der Automatisierung.

Speaker C:

Das heißt mit rechtsphilosophischen Grundlagen, mit der Entstehung von Recht, mit mit demokratischen Prozessen in der Schweiz.

Speaker C:

Das, was für mich so ein Aha, es ist nicht so einfach und so eindimensional in dem Sinn eben.

Speaker A:

Du hast schon angesprochen, die Automatisierung des Rechts, das ist nicht jetzt etwas, das es erst seit ChatGPT und LLMs gibt.

Speaker A:

Wenn man da mal ein bisschen historisch noch zurückschaut, ihr beschreibt im Buch dann auch diese drei Wellen der Automatisierung des Rechts.

Speaker A:

Was war denn da die erste Welle?

Speaker B:

Ja, es gibt, wie du sagst, es wird oft mit diesen drei Wellen eigentlich erklärt.

Speaker B:

Und die erste Welle ist vielleicht ein bisschen fast zu banal.

Speaker B:

Also es ist wirklich auch etwas, das wir jetzt schon seit langem kennen.

Speaker B:

Und hier geht es wirklich nur darum, die Digitalisierung von Dokumenten.

Speaker B:

Aber das ist schon noch ein wichtiger Schritt.

Speaker A:

Also die Digitalisierung von Rechtstexten, von Rechtstexten.

Speaker B:

Von Urteilen, von Dokumenten, die es braucht, um diese überhaupt zu automatisieren.

Speaker B:

Und deswegen meine ich auch, diese erste Welle scheint heutzutage gar nicht mehr so quasi, wie soll ich sagen, vielleicht nicht mehr, die scheint fast zu banal, oder?

Speaker B:

Aber das ist natürlich eine wichtige Evolution, dass wir digitalen Zugriff haben auf die Dokumente, die es braucht.

Speaker B:

Das ist so die erste Welle.

Speaker C:

Nun ist das natürlich im Rechtssystem.

Speaker C:

Die haben dort nicht so richtig so einen Open Source Zugang zu den Geschichten.

Speaker C:

Das war für mich eine neue Sache.

Speaker C:

Ich war ja naiverweise davon ausgegangen, dass eigentlich alle Urteile und irgendwie auch Interpretationen von Urteilen und so öffentlich zugänglich sind.

Speaker C:

Stellt sich heraus, dass das nicht so ist.

Speaker C:

Jede Rechtsstudentin weiß das, weil Informatiker wissen das nicht.

Speaker C:

Die könnten da durchaus was anderes annehmen.

Speaker C:

Das ist alles zugänglich.

Speaker C:

Also genau wie Aurelia sagt, die Digitalisierung ist nicht so weit.

Speaker C:

Es gibt große Plattformen in der EU, es gibt große Plattformen in einzelnen Ländern, die viele Dokumente bereitstellen und auf denen basieren auch diese Szene heute.

Speaker C:

Aber selbst das ist noch nicht abgeschlossen.

Speaker C:

Ein wichtiges Umsetzungsproblem ist die Anonymisierung.

Speaker C:

Und es ist nicht so einfach, dass man einfach die Namen und Geburtsdaten rausstreicht oder wenn dort steht, wo jemand wohnt oder was der als Arbeit macht oder so, dann ist das ja auch potenziell de anonymisierbar.

Speaker C:

Also das ist nicht so einfach, wie es erst mal scheint.

Speaker C:

Und deswegen läuft dieses ganze Ding auch immer noch.

Speaker C:

Aber was diese erste Welle macht, ist, die ist ja die Grundlage dafür, dass Menschen und auch Maschinen das Ganze interpretieren können und das Ganze den Zugriff haben.

Speaker C:

Also auch Menschen haben ja dadurch erst Zugriff, dass man Zugang zu diesen Dokumenten hat.

Speaker C:

Und jetzt hat man, ich komme zur zweiten Welle von diesem Ablauf, oder jetzt folgt das recht synchron der Entwicklung von Automatisierung, von künstlicher Intelligenz in anderen Bereichen auch.

Speaker C:

Und da haben wir in den er er Jahren haben wir eine starke Welle gesehen.

Speaker C:

Das waren sogenannte Expertensysteme.

Speaker C:

Das waren Systeme, denen man Regeln beigebracht hat, wie sie gewisse Daten verarbeiten sollen.

Speaker C:

Und die haben diese Regeln dann angewendet, oder das waren dann Systeme, da hat man sich überlegt, die könnten jetzt automatisch philosophieren oder die könnten jetzt automatisch mathematische Beweise führen, weil sie ja auf Axiomen basieren und weil der Rest ja Logik ist.

Speaker C:

Das war so die Herangehensweise bei Expertensystemen.

Speaker C:

Realität basierte Systeme.

Speaker A:

Und jetzt konkret im Recht, wie wurde das da angewendet?

Speaker B:

Ja, z.B.

Speaker B:

also ich meine, das Beispiel, das eigentlich immer genommen wird oder oft zitiert wird, geht es um Bürgerrechtsentscheidungen, weil dort hast du relativ klare Strukturen.

Speaker B:

Ob jetzt jemand, also das Beispiel, das genommen wird, ist jetzt aus England, ob jetzt dort jemand die britische Staatsbürgerschaft erhalten soll, ja, nein, hat mit der Mutter zu tun, ob sie von der UK ist oder nicht, mit dem Vater, wo das Kind geboren wird etc.

Speaker B:

Also man hat relativ logischer Ablauf von Fragen, die man stellt, bis man den Entscheid fällen kann, der ja entweder hat man die Staatsbürgerschaft oder nicht.

Speaker B:

Und das ist deswegen auch sein Beispiel, das relativ schnell intuitiv ist, dass man dort versuchen würde, das viel logischer aufzubauen.

Speaker B:

Und man kann sich das dann so vorstellen, dass das wie ein Entscheidungsbaum dahinter ist, den man durchfolgt und dann kommt man zu einem Resultat und das ist dann so ein rechtliches Expertensystem, dass es automatisch abläuft.

Speaker B:

Aber auch dort, auch deswegen ist das Beispiel eigentlich mit der Staatsbürgerschaft so spannend.

Speaker B:

Ja, das kann man gut durchspielen.

Speaker B:

Man kann sich gut vorstellen, wie man hier mit einem Entscheidungsbaum zu seinem Ergebnis kommt.

Speaker B:

Aber z.b.

Speaker B:

war dort im Gesetz stand, man musste ein level of english, irgend sowas war der Term.

Speaker B:

Also man muss ein angemessenes Niveau von Englisch beherrschen für die Staatsbürgerschaft.

Speaker B:

Und da stellen sich schon die ersten ja gut, was heißt jetzt angemessen?

Speaker B:

Genau mit solchen Themen oder Wörtern, die eben Interpretierung bedürfen, die rechtsgängig sind, dort wird es schwierig und dort haben auch solche Expertensysteme dann schnell mal Probleme oder brauchen mehr Kontextualisierung, einfach als Beispiel.

Speaker A:

Aber das Beispiel, was man jetzt genannt hat, das war schon in den er er Jahren.

Speaker B:

Nein, vor 40 Jahren oder so.

Speaker B:

Also das war, das Paper stammt von glaube ich, den er Jahren nach 86 oder so, das Beispielspaper, das immer genannt wird.

Speaker C:

Und für unser Buch haben wir das schweizer Bürgerrecht genommen, in einem Beispiel, das wir schön groß ausführen und wo wir, weil das zeigt so ideal, wo die Probleme lauern.

Speaker C:

Also für mich als Informatiker das richtig gut gezeigt, wo die Probleme dauern.

Speaker C:

Das kommt, das kommt relativ, relativ harmlos daher.

Speaker C:

Da steht, dass man halt Eltern haben muss und die mindestens irgendwie einer davon muss irgendwie schweizer oder Schweizerin sein.

Speaker C:

Und die Formulierung, wenn man jetzt hergeht, was wir im Buch machen ist, wir reformulieren, dass als Code, weil am Ende, wenn eine Maschine das interpretieren soll, dann muss irgendwo im Laufe des irgendwo im Laufe des Prozesses muss mal ein Prozessor mit Nullen und Einsen oder muss das mal ausführen und dem Prozessor muss ich also irgendwie erklären, was das alles heißt.

Speaker C:

Und das interessante, was wir jetzt im Buch ausführen, wir nehmen den schweizer Gesetzestext, wir bauen den um in Python Code, wir kompilieren den runter oder wir interpretieren den runter, sodass der auf einem Prozessor laufen kann.

Speaker C:

Und dann nehmen wir den Code und übersetzen ihn wieder zurück in menschliche Sprache, um zu demonstrieren, wie viel jetzt eigentlich verloren ging aufgrund des.

Speaker C:

Wie soll ich das nennen?

Speaker C:

Aufgrund der unzureichenden vielleicht kulturellen Passung des Programmierers.

Speaker C:

Siehst du, wie ich das meine?

Speaker A:

Kannst du ein Beispiel nennen?

Speaker A:

Was ging da verloren?

Speaker C:

Gerne.

Speaker C:

Die Geschlechter der Eltern z.B.

Speaker C:

die gehen verloren.

Speaker C:

War das recht, war das schweizer Bürgerrecht so gemeint, dass das Kind eine Vater und eine Mutter Mutter haben muss, oder reicht es, dass es zwei Eltern hat?

Speaker C:

So, das ist die Frage, oder?

Speaker C:

Jetzt steht da drin Vater in der Mother.

Speaker C:

Vater und Mutter.

Speaker C:

Also wir haben die englische Version von dem Ding, oder?

Speaker C:

Das heißt, wenn ich das strikt interpretiere, muss es Vater und eine Mutter haben.

Speaker C:

Dort gehen wir jetzt also in eine kulturell flexiblere Definition von Familie rein, die aber in das Recht rein codiert wird.

Speaker C:

So, was passiert jetzt, wenn ich jetzt einen Informatiker oder eine Informatikerin nehme und die Person hinsetze und sage, bitte übersetzt das mal in Code.

Speaker C:

Das geht schon, aber die Person muss Entscheidungen treffen, die möglicherweise so nicht intendiert waren.

Speaker C:

Und das führt zu einem Problem, das mir Aurelia beigebracht hat.

Speaker C:

Das Problem ist das Freezing of the law.

Speaker C:

e eine Interpretation im Jahr:

Speaker C:

Und was ist jetzt aber, wenn sich die Kultur unter dem Recht wegbewegt?

Speaker C:

Solange ich das nicht codiert hatte, konnte ich reinterpretieren, ein Richter kann reinterpretieren, aber ein Assembly Code, der am Ende im Prozessor ausgeführt wird, der kann das nicht.

Speaker C:

Und das fand ich total spannend.

Speaker C:

Oder es sind kleine Dinge, die passieren, wie das Alter.

Speaker C:

Es muss ein Child sein.

Speaker C:

Child, was ist denn das?

Speaker C:

Ein Child?

Speaker C:

Ist das jeder unter 18?

Speaker C:

Oder ist das jemand, der nicht straffähig ist oder nicht strafmündig ist?

Speaker C:

Was bedeutet das?

Speaker C:

Dein Kind, das kann ich definieren, das kann man als Technicality abtun, das sind 18 Jahre.

Speaker C:

Und wenn es mal nicht mehr 18 Jahre sind, 16, dann ändere ich den Parameter.

Speaker C:

Aber was ich nicht als Technicality abtun kann, ist so innere Definitionen wie, was ist denn eigentlich eine Familie?

Speaker C:

Aber dass es eine Familie ist, das ist Teil des Rechts.

Speaker B:

Ja, ich glaube, was auch mega spannend ist hier, ist zu sehen, es gibt halt ein bisschen unterschiedliche Seiten.

Speaker B:

Es gibt Teile, die.

Speaker B:

Es gibt Momente, an denen man versucht, das Gesetz logischer zu schreiben oder eben durch kontrollierte Sprache ein bisschen einzuengen, damit man es einfacher interpretieren oder verstehen kann.

Speaker B:

Und das führt dazu, dass, wie Simon sagt, Nuancen im Recht allenfalls verloren gehen oder als verloren gehen müssen fast, weil man es sonst nicht umformulieren kann.

Speaker B:

Hat Momente, wo das vielleicht gar nicht so schlecht ist, weil man sich dann ein bisschen mehr überlegen muss, ja, was wollte man eigentlich in diesem Gesetz wirklich haben?

Speaker B:

Und es gibt so viele schöne Beispiele, wo.

Speaker B:

Das beste Beispiel ist ein Oxford Komma, das irgendwie 1 Million gekostet hat am Schluss in einem Streitfall, weil man wusste nicht, ob es eins hätte haben sollen oder nicht.

Speaker B:

Und ein Komma veränderte eben halt einen Satz.

Speaker B:

Und in diesen Fällen wäre eigentlich sich mal hinzusetzen und das ein bisschen logisch durchzudeklinieren oder vielleicht sogar versuchen zu kodieren, gar nicht schlecht gewesen, weil solche Fehler fallen dann einem.

Speaker B:

Auf der anderen Seite hat es eben viel, und das ist auch, auf was Simon hinaus wollte, wo es ein politischer Prozess ist, ein Recht auszuhandeln, ist halt ein politischer Prozess, wo man diese Ambiguität auch drin haben wollte, weil man weiß ja nicht genau, wie sich die Gesellschaft entwickelt, wohin man will, etc.

Speaker B:

Und wo das eigentlich gewollt war.

Speaker A:

Aber gibt es nicht auch Ansätze, die versuchen eben diese kulturellen Verschiebungen, die dann eben, dass ein festgeschriebenes Gesetz dann auch irgendwie anders auslegbar machen, dass diese kulturellen Verschiebungen auch digital abgebildet werden können?

Speaker C:

Das ist witzig.

Speaker C:

Das fügt sich jetzt in ein Problem ein, das dem Ganzen zugrunde liegt.

Speaker C:

Ja, das kann man vermutlich so lösen, das würde benötigen, dass wir uns kulturell einigen, wie unsere Kultur in Bits ausgedrückt wird.

Speaker C:

Das ist vermutlich nicht praktikabel, aber das könnte man theoretisch durchspielen.

Speaker C:

Aber das Problem liegt ja eigentlich woanders.

Speaker C:

Das Problem liegt in der Person, die das dann macht oder die das dann in Code umwandelt.

Speaker C:

Weil das Problem ist der Gesetzestext, Artikel A, schweizer Bürgerrecht, dieser Artikel ist von einer normalen Person, von einer durchschnittlichen Person mit einer durchschnittlichen schweizer Schulbildung verständlich, der Code aber nicht mehr so, wo ist jetzt hier die Grenze?

Speaker C:

Oder was darf man jetzt und was darf man nicht?

Speaker C:

Darf diese Person jetzt Code schreiben, der für 99 % der Schweizer nicht mehr verständlich ist, der aber ihr Leben bestimmt zu einem gewissen Teil?

Speaker C:

Und wenn du das jetzt, wenn wir das macht, was du vorgeschlagen hast, das kann man schon auf die Metaebene hochziehen und kann dann auch noch den kulturellen Prozess in einer Art techno, in einer massiven technokulturellen Herangehensweise, da kann ich das auch noch definieren, aber das verschlimmert mir nur das Problem.

Speaker C:

Das heißt, ich definiere dann unsere gesamte Kultur und kulturelle Errungenschaften, kulturelle Fortschritte, definiere ich dann in einer hart logisch interpretierbaren Art und Weise.

Speaker C:

Und das ist, ich würde, ich würde kein Kulturwissenschaftler, ich würde mal annehmen, dass das nicht gewollt ist.

Speaker C:

Nicht mal für recht wollen wir es, oder?

Speaker A:

Aber wenn ja, dann nur ein Richter, auch auf Basis seiner individuellen Überzeugung, wie sich jetzt die Kultur dahinter irgendwie gewandelt hat, dann ein Gesetz auslegt, dann hast du ja das gleiche Problem.

Speaker C:

Ein Richter, der Rechenschaft schuldig ist und den ich befragen kann zu dem Thema, oder?

Speaker C:

Aber das Problem ist ja eher, dass wenn ich den Coach habe, der bleibt im Hintergrund.

Speaker C:

Also im ersten Schritt müsste man diese Code zugänglich machen, öffentlich.

Speaker C:

Erster Schritt Transparenz.

Speaker C:

Aber das hilft ja gar nicht, weil die meisten den ja gar nicht lesen können.

Speaker C:

Also müsste ich in einen zweiten Schritt wieder rückübersetzen in Recht, oder?

Speaker C:

Und dann kommt gerade das raus, was wir vorher meinten.

Speaker C:

Ich habe inzwischen hier die Acquisition by dissent von diesem Bürgerrecht.

Speaker C:

Also die Klausel lautet A child whose parents married to each other and whose father or mother is a suicidus.

Speaker C:

Okay, jetzt kommen hier die parents vor und father or mother.

Speaker C:

Aber die kulturelle Verbindung zwischen den Konzepten, zwischen den kulturellen Konzepten parents und Mother und Father, die ist nicht geklärt.

Speaker C:

Und das ist auch nicht der Zweck vom schweizer Bürgerrecht ist nicht zu erklären, was eine Familie ist.

Speaker C:

Trotzdem kommen aber diese Konzepte vor, weil sie ja ausreichend definiert sind, oder?

Speaker C:

Ich habe das mal vor ein paar Jahren, habe ich das mal, das hat mich mal so geärgert in der Implementierung.

Speaker C:

Ich habe gesagt, ihr im Recht, ihr habt ja einfach einen Luxus der Wagheit.

Speaker C:

Ihr könnt einfach vage bleiben.

Speaker C:

Und alles, was ich hier nicht definiere, das macht dann halt der Richter zur Laufzeit.

Speaker C:

Als Informatiker in einem typischen System hat man diesen Luxus nicht.

Speaker C:

Ich muss vor der Laufzeit festlegen, was passieren soll.

Speaker C:

Das weicht sich derzeit etwas auf, weil wir durch generative KI z.B.

Speaker C:

Übergeben wir Laufzeitkompetenzen, Laufzeitentscheidungsfähigkeiten.

Speaker C:

Das weicht das natürlich auf, aber prinzipiell bleibt es immer noch dasselbe Problem.

Speaker C:

Als Informatiker bin ich gewöhnt, dass ich zur engineering time, zur Design Time eines Systems festlege, wie es sich verhalten soll, während eine Juristin gewohnt ist, dass man etwas ausreichend definiert.

Speaker C:

Und die fehlenden Aspekte, die werden zur Laufzeit eingefügt, wenn es mal dazu kommt.

Speaker C:

Und das ist auch richtig, wenn jemand über eine rote Ampel fährt, dann kann ich den nicht automatisch sofort einsperren.

Speaker C:

Vielleicht hat er einen guten Grund gehabt und vielleicht hat er niemanden gefährdet, wo er über die rote Ampel gefahren ist.

Speaker C:

Das sollte ich kontextualisiert erklären.

Speaker C:

Und dafür ist ein Richter halt ein deshalb ein gutes Werkzeug, weil der eine reasoned opinion geben wird.

Speaker C:

Der wird nicht einfach sagen, die Person ist schuldig, sondern wird sagen, die Person ist schuldig, weil.

Speaker C:

Und dann kommt eine lange Begründung und die Begründung ist lesbar für den souverän, für das Volk.

Speaker A:

Eben.

Speaker A:

Aber jetzt hast du ja auch schon die LLMs, generative KI angesprochen.

Speaker A:

Die könnte ja das eigentlich auch.

Speaker A:

Also der könnte man ja dann auch irgendeinen Fall vorlegen und die würde dann auch irgendwo ein bisschen abwägen und dann eine Entscheidung rauslassen, die sie auch begründet.

Speaker A:

Damit wären wir glaube ich, bei der dritten Welle, die auch im Buch beschreibt.

Speaker A:

Vielleicht könnt ihr zuerst gerade noch sagen, was ist die dritte Welle in der Automatisierung des Rechts?

Speaker B:

Ja, das ist eigentlich eben genau diese dritte Welle, wo es genau darum geht, ein bisschen mehr datengetrieben quasi vor allem eben solche Entscheidungen zu fällen.

Speaker B:

Und eben hier wird jetzt auch die Forschung immer mehr.

Speaker B:

Es gibt immer mehr Forschung darüber, wie kann man LLMs jetzt rechtlichen Bereich auch gut nützen und hier vielleicht verschiedene Sachen.

Speaker B:

Aber zum ersten, was sicher schon viel gemacht wird, das ist eben quasi das Benutzen von LLMs, um auf rechtliche Fragen Antwort zu geben.

Speaker B:

Und was hier gemacht wird, ist dann zu ja gut, wir brauchen aus dieser ersten Welle all diese digitalisierten Daten, Gesetze, Urteil, damit wir diese in eine Datenbank einfließen können und somit auch einerseits die Modelle zu trainieren, aber andererseits auch quasi Rückgriffe auf diese verschiedenen Gesetze, Urteile etc.

Speaker B:

Zu nehmen.

Speaker B:

Und dann ein Problem.

Speaker B:

Aber hier ist ja gut, nur aufgrund dieser Daten heißt es noch nicht, dass man eine gute Antwort bekommt.

Speaker B:

Vieles hat auch damit zu tun, wie man diese Systeme promptet.

Speaker B:

Der Prompt, den man schreibt, um auf eine Antwort zu kommen, spielt eine recht große Rolle.

Speaker B:

Inwiefern das System für die Qualität der Antworten.

Speaker A:

Also du sprichst jetzt von Systemen, wo jetzt Bürger irgendwie eine Rechtsfrage haben, dann fragen sie dieses generative Modell und dann kriegen sie irgendeine rechtliche Auskunft davon.

Speaker B:

Genau, z.B.

Speaker B:

wenn jemand kommt und ich habe eine Frage bezüglich Mietrecht oder Strafrecht etc.

Speaker B:

Mir ist das und das vorgefallen, wäre ich schuldig, was habe ich für Möglichkeiten?

Speaker B:

Dann kann man, man kann das auch schon ChatGPT fragen, ich weiß gar nicht, wie gut das hier schon funktioniert, aber es gibt danach natürlich Modelle, die trainiert sind, spezifisch auf Rechtsfragen, die man anfragen kann.

Speaker B:

Und Ein solches Modell z.B.

Speaker B:

ist auch Open Justice und dort kann man eben auch entscheiden, ja gut, in welchem Rechtssystem sind wir?

Speaker B:

Sind wir in der Schweiz, sind wir in USA, Kanada etc.

Speaker B:

Damit man schon weiß, damit das Modell schon weiß, auf welches Rechtssystem muss ich jetzt hinaus.

Speaker B:

Aber das Problem auch hier ist, für einen Laien ist es oft sehr schwierig, diese prompts gut zu schreiben oder so zu schreiben, dass man zu einem qualitativ hochwertigen Ergebnis kommt.

Speaker B:

Und hier gibt es dann so Schnittstellen, wo Leute mit etwas mehr Rechtsexpertise diese Prompts im Hintergrund eigentlich generieren können.

Speaker B:

Sie generieren das anhand von, was sie jetzt z.B.

Speaker B:

bei diesem Open Justice Modell Dialog Flows nennen, wo wir wieder bei diesen Entscheidungsbaum Struktur sind, das ich vorher erwähnt habe, in der zweiten Welle, wo es darum geht, quasi Modelle durch die Logik des Rechts schon mal durchzudenken zu lassen.

Speaker B:

Also quasi welche Schritte, was die Abfolge von rechtlichen Schritten ist, also wie ein Anwalt dahinter gehen würde, um ein Problem zu lösen.

Speaker B:

Und anhand von diesen Dialog Flows, die so aussehen wie große Entscheidungsbäume, kann man und den richtigen Datensatz, kann man eigentlich schon um einiges hochwertige Antworten bekommen.

Speaker A:

Also das gibt es schon solche Systeme, die dann wirklich ziemlich verlässliche Antworten liefern.

Speaker B:

Ja, verlässlich, das ist was, was man halt am testen ist.

Speaker B:

Und das ist genauso ein bisschen der Punkt, zu schauen, wie gut diese sind.

Speaker B:

Das ist eine Folge von Benchmarking und Validierung.

Speaker B:

Und das ist gar nicht so einfach, dass da hier gute Benchmarks und Tests für diese Validierungsschritte zu entwickeln.

Speaker B:

Und das ist in der Forschung sicher jetzt etwas, wo wir alle uns am überlegen sind, wie wir das gut machen können.

Speaker C:

Das Ding ist doch das, oder wenn ich ein statistisches System verwende, wenn ich ein System verwende, das auf einer Datengrundlage Entscheidungen trifft, dann bin ich darauf angewiesen, dass diese Datengrundlage sämtlichen relevanten Kontext beinhaltet.

Speaker C:

Das ist in jedem Feld das gleiche Problem, nicht nur in der Rechtsprechung.

Speaker C:

Das ist auch der Hauptunterschied zwischen symbolischen Automatisierungssystemen wie regelbasierten Systemen, wo ja der kulturelle Kontext in die Regel reinfliesst, und solche statistischen Systeme, wie die wir seit 12 Jahren jetzt so stark sehen, wie z.B.

Speaker C:

große Sprachmodelle.

Speaker C:

Aber ich hänge davon ab, dass das System den Kontext mit einbezieht.

Speaker C:

Und das ist gleichzeitig die große Stärke von den Dingern und gleichzeitig eine große Schwäche davon.

Speaker C:

Und das wird insbesondere im Rechtssystem sichtbar, weil deine Frage von vorhin, die ging ja stark in Richtung Nachvollziehbarkeit.

Speaker C:

Das war ja schon, das war schon wie warum glaube ich denn eigentlich dem System?

Speaker C:

Oder warum soll denn das recht haben?

Speaker C:

Aurelia hat schon gut gesagt, dass dass das ja nicht so einfach ist.

Speaker C:

Was heißt denn eigentlich recht haben?

Speaker C:

Was heißt denn, dass dieses Sprachmodell die korrekte Antwort gibt?

Speaker C:

Es muss ja nicht nur die logisch korrekte Antwort sein, gegeben das Rechtssystem, es muss ja auch die kulturell korrekte Antwort sein, gegeben den Kontext des Rechtssystems.

Speaker C:

Und jetzt hat dieses System natürlich viele Bücher gelesen, viele englischsprachige Bücher, viele von den Büchern, die online verfügbar sind, wenige von den Büchern, die nicht online verfügbar sind.

Speaker C:

Das heißt, das hat eine besondere Sicht auf die Menschheit.

Speaker C:

Vielleicht fehlt dieser Sicht etwas, was relevant ist für den kulturellen Kontext, für die Interpretation von dem Recht.

Speaker C:

Und das finde ich so spannend an der Sache, oder?

Speaker C:

Und das führt uns direkt zu der Nachvollziehbarkeit.

Speaker C:

Was mir gut gefällt, ist diese Selbstfindung, die wir als Menschen derzeit durchlaufen, um zu sehen, welche Anforderungen geeignet an ein System stellen, das sich so ähnlich verhält wie ein Mensch, zumindest oberflächlich, und welche Anforderungen wir eigentlich an einen anderen Menschen stellen.

Speaker C:

Weil ich würde ja Nachvollziehbarkeit.

Speaker C:

Ich würde jetzt bei einem Menschen das nicht machen, oder ich würde bei einem Menschen wenn ein Mensch mir was sagt, auf welcher Ebene muss denn das jetzt nachvollziehbar sein für mich?

Speaker C:

Ich frage den Menschen ja nicht nach seiner neuronalen Konfiguration.

Speaker C:

Und wenn du mir sagst hey, ich war gestern, ich war gestern Skifahren, da sage ich ja nicht erklär mir mal, wie jetzt deine Neuronen konfiguriert sind, so dass ich das auch nachprüfen kann.

Speaker C:

Vielmehr vertraue ich dem Gesamtsystem oder ich habe ich vertraue dir auf deinen Erfahrungen.

Speaker C:

Ich sage du weißt, was Skifahren ist, du weißt, was gestern ist, du kennst die Konzepte und benutzt sie gleich wie ich.

Speaker C:

Und daher.

Speaker C:

Und daher vertraue ich diesen ganzen.

Speaker C:

Und jetzt vertrauen wir ja Maschinen eher weniger, oder zumindest wenn wir danach gefragt werden, vertrauen wir Maschinen weniger als vertrauten Menschen.

Speaker C:

Aber das scheint ja weniger relevant, denke ich mir.

Speaker C:

Vorhin habe ich mir überlegt, wenn ich auf einer Suchmaschine die Resultate sehe, dann frage ich ja typischerweise nicht, warum etwas jetzt an dritter Stelle steht oder an fünfter.

Speaker C:

Das heißt, ich vertraue dem Gesamtsystem.

Speaker C:

Ich sage einfach hey, das System, die Vertrauenswürdigkeit ist ein Trade off mit der Nachvollziehbarkeit.

Speaker C:

Und ich fordere weniger Nachvollziehbarkeit, wenn ich in das System als gesamtes Vertrauen habe.

Speaker C:

Und jetzt trifft diese Idee auf das Rechtssystem, das Nachvollziehbarkeit irgendwie als Kernelement hat.

Speaker C:

Deswegen gibt es ja so lang artikulierte Urteile.

Speaker C:

Genau, um die Nachvollziehbarkeit herzustellen.

Speaker C:

Und dort finde ich, also aus meiner Sicht ist das ein Problem, das uns noch lange beschäftigen wird.

Speaker C:

Nicht so sehr auf der technischen Ebene.

Speaker C:

Auf der technischen Ebene könnte ich irgendwo ja, ist okay, das ist dieses System, das ist jetzt nachvollziehbar genug.

Speaker C:

Aber auf der prinzipiellen Ebene fordern wir hier jetzt zu viel von den technischen Systemen oder zu wenig, oder haben wir für die Menschheitsgeschichte zu wenig gefordert von Menschen?

Speaker C:

ieren müssen die vergangenen:

Speaker C:

Das sind so die Dinge, die ich mich da jetzt frage.

Speaker C:

Und das ist kein schnelles, keine schnelle Entscheidung.

Speaker A:

Aber bei Richtern schaut man ja dann schon auch darauf, dass eben irgendwo verschiedene politische Hintergründe ja irgendwo vertreten sind, die dann eben die Entscheidung ja auch mit beeinflussen.

Speaker A:

Und deshalb ist es ja für mich schon auch naheliegend, dass man irgendwie wissen will, auf welcher Basis entscheidet dann eben so eine KI.

Speaker C:

Ist das nicht extrem spannend?

Speaker C:

Was heißt denn das?

Speaker C:

Wenn man jetzt deine Idee hier überträgt auf ein künstliches Rechtssystem, auf ein künstlich datengetriebenes Rechtssystem, dann bräuchte ich verschiedene Sprachmodelle nach heutiger Technologie, die nach unterschiedlichen politischen Richtungen trainiert sind, unterschiedliche politisch philosophische Literatur gelesen haben und dementsprechend zu unterschiedlichen Entscheidungen kommen.

Speaker C:

Das ist doch extrem spannend, oder?

Speaker A:

Die einfach alles gelesen haben.

Speaker C:

Alles verfügbare.

Speaker C:

Alles verfügbare.

Speaker C:

Eventuell ist die menschliche Kultur nicht gesamthaft niedergeschrieben.

Speaker B:

Aber ich glaube, Kultur spielt ja wirklich eine große Rolle.

Speaker B:

Auch hier.

Speaker B:

Vertrauen ist so oder so ein riesiges Forschungsfeld und gar nicht so.

Speaker B:

Es ist gar nicht so einfach zu verstehen und zu testen, was jetzt genau zu mehr Vertrauen führt und weshalb jetzt Leute teilweise sogar sagen, sie vertrauen einer KI mehr als Menschen, je nachdem, was es dann wirklich auch für Aufgaben sind, die eine KI oder KI unterstützt gemacht werden.

Speaker B:

Aber dennoch, ich glaube, Kultur spielt schon auch einen wesentlichen Faktor und ich glaube, das sieht man auch, wenn man sich ein bisschen global umschaut, was dann bezüglich KI und recht gemacht wird, auch in anderen Ländern und wo vielleicht andere Faktoren, wie z.b.

Speaker B:

wenn man jetzt an KI bei Richtern und eben in the judiciary denkt, dort sieht man schon auch sehr viele Entwicklungen in Brasilien, wo es auch sehr viele große Backlog gibt von Entscheidungen oder Entscheidungsfindung geht halt dort auch sehr lange und man muss sich schon ja gut, es gibt auch eben positive Aspekte, die hier KI unterstützt gemacht werden können und Kultur spielt hier ein großer oder ein wichtiger Teil, zu schauen, ob man das wirklich akzeptiert oder nicht.

Speaker B:

Und ich glaube, das muss auch jedes Land auch für sich selber dann entscheiden.

Speaker A:

Jetzt gerade das Beispiel Brasilien.

Speaker A:

Kannst du das noch mal ein bisschen genauer ausführen?

Speaker A:

Also wie wird jetzt dort KI eingesetzt im Rechtssystem?

Speaker B:

Ja klar, also Brasilien ist relativ bekannt dafür, dass irgendwie, ich weiß nicht, irgendwie über 150 Projekte haben, oftmals in Kollaboration mit Universitäten und verschiedene datengetriebene Systeme eingeführt haben bei Richten in unterschiedlichen, in unterschiedlichen Staaten.

Speaker B:

Ein häufig genanntes Beispiel ist Viktor beim brasilianischen obersten Gerichtshof.

Speaker B:

Und dort, das wird eigentlich benutzt zur Analyse von verschiedenen Gerichtsdokumenten und diese dann automatisch zu klassifizieren und dann zu prüfen, ob eine Klage dann durch das oberste Gericht geprüft werden muss oder dass dies erforderlich ist.

Speaker B:

Und das hat halt auch damit zu tun, dass viele dieser Klagen gar nicht angeschaut werden können.

Speaker B:

Also es gibt viel mehr Klagen, die kommen, als Leute, die überhaupt daran arbeiten können, das durchzusehen, sich dies zu überlegen, klassifizieren.

Speaker B:

Und wenn man fünf bis 10 Jahre warten muss, eine Antwort eines Gerichtshofs, dann führt das auch nicht zu sehr viel Akzeptanz oder Vertrauen in ein System.

Speaker A:

Selektierung von gewissen Fällen, ja, z.B.

Speaker A:

aber jetzt noch nicht, dass eine KI dann wirklich über einen Fall entscheidet.

Speaker B:

Ja, es gibt ganz viele unterschiedliche Systeme.

Speaker B:

Wir haben auch schon viel gehört über eben solche KIs, die dann über kleinere oder sehr spezifische Fälle Entscheidungen treffen können, die man dann nochmal anfechten kann, wenn man es will.

Speaker B:

Aber der Punkt hier war mir eigentlich auch zu zeigen und eben auf Simons Punkt zu verknüpfen, dass auch so kulturelle oder soziale Akzeptanz halt auch ein wesentlicher Faktor ist, den man noch recherchieren und erforschen muss, um zu verstehen, wieso sich KI in einigen Rechtssystemen viel mehr verankert worden ist als in anderen.

Speaker C:

Z.B.

Speaker C:

und diese Metaebene ist total interessant, oder?

Speaker C:

Weil genauso wie unterschiedliche Länder unterschiedliche politische Systeme haben, können wir uns genauso vorstellen, dass in der Zukunft unterschiedliche Systeme unterschiedlich konfigurierte, automatisierte Rechtssysteme haben werden.

Speaker C:

Und wesentlich ist aus meiner Sicht der passende Einsatz des passenden Werkzeugs für die passende Aufgabe.

Speaker C:

Ich kann statistisches Werkzeug gut dort einsetzen, wo ich den gesamten Kontext datengestützt abdecken kann.

Speaker C:

Ich kann ein nicht statistisches, semantisch orientiertes, symbolisches Werkzeug dort einsetzen und wo ich absichtlich manuell Wege bestimmen möchte oder wo ich z.B.

Speaker C:

aufgrund der Nachvollziehbarkeit, z.B.

Speaker C:

aufgrund des expliziten Encodings von kulturellen Hintergründen und ich kann ein menschliches System oder einen Menschen kann ich dort einsetzen, wo ich vermutlich eine Mischung von den beiden Dingen haben möchte, oder?

Speaker C:

Also so irgendwie, oder wo ich, oder wo ich auch, wo ich auch projizieren will, wo ich eine Art, eine Art mensch basiertes Vertrauen projizieren will.

Speaker C:

Aber das Rechtssystem per se wird eine Konfiguration sein aus diesen Aspekten, aus verschiedenen künstlich intelligenten Systemen und verschiedenen natürlich intelligenten Systemen, die in unterschiedlichen Ländern unterschiedlich zusammenspielen werden.

Speaker C:

Ich glaube nicht, dass es ein Land geben wird, das gar keine Automatisierung verwendet auf Dauer.

Speaker C:

Ich glaube auch nicht, dass es ein Land gibt, das alles automatisieren wird, oder wir haben gerade vor einem guten Monat haben eine Studie durchgeführt, um zu sehen, was eigentlich von Menschen akzeptiert werden würde, in welchen Bereichen.

Speaker C:

Also vielleicht macht es ja einen Unterschied, ob jemand, oder wir haben uns die Frage gestellt, macht es einen Unterschied, ob ich das Steuerrecht automatisiere oder Menschenrechte automatisiere oder die Polizei automatisiere, also irgendwie Strafrecht automatisiere in die Richtung.

Speaker C:

Und da zeigen sich natürlich Unterschiede, oder?

Speaker C:

Vermutlich werden viele Leute, ich denke mal so, vermutlich werden viele Leute damit einverstanden sein, dass man Teile des Verkehrsrechts, Teile des Strassenverkehrsrechts automatisiert das tun wir ja effektiv schon über Blitzer.

Speaker A:

Was kam bei der Studie raus, was am meisten akzeptiert wäre?

Speaker C:

Das, was du jetzt erwartest oder je mehr Automatisierung, desto skeptischer sind die Personen?

Speaker C:

Deutlich.

Speaker C:

Es gibt Unterschiede bezüglich dessen, wie die Daten zur Verfügung gestellt werden.

Speaker C:

Oder es macht für Leute einen Unterschied, ob die Daten aus einem System gelesen werden über sie, ob sie die Daten aktiv bereitstellen oder ob sie die Daten bereitstellen und danach überprüft das noch jemand manuell.

Speaker C:

Also das akzeptierteste in dem Fall ist für die Kohorte, in der wir das getestet haben, für die kulturelle situierte Kohorte.

Speaker A:

War das in der Schweiz oder wo war das?

Speaker C:

In Frankreich?

Speaker C:

Für diese Kohorte ist das Annehmbarste das, was am wenigsten automatisiert ist.

Speaker C:

Und selbst dort, selbst dort kann man jetzt die Skepsis anbringen, ja, das sagen die, aber verhalten die sich dann auch dementsprechend oder?

Speaker C:

Also wenn ich das System jetzt einfach einführe als Land, ist das dann wirklich so, dass das abgelehnt wird oder oder haben wir ein ähnliches Problem wie bei Privatsphäreneinstellungen, dass Leute zwar sagen, sie würden gerne ihre Privatsphäre schützen, aber sie tun es ja doch nicht, sobald es einen Aufwand bedeutet.

Speaker A:

Aber da ist ja häufiger ein Zwang, ein stiller Zwang irgendwie auch da, weil man sonst den Service gar nicht nutzen.

Speaker C:

Kann oder eine Hürde einfach eine Benutzungshürde auf diese Dinge.

Speaker C:

Also mein Punkt war ja, unterschiedliche kulturelle Hintergründe werden unterschiedliche Automatisierungskonstellationen des Rechtssystems bedingen.

Speaker C:

Und deswegen bringt auch eine Frage nach, was ist denn das Richtige?

Speaker C:

Das bringt in dem Sinn nichts.

Speaker C:

Das muss ja angepasst sein an die Menschen.

Speaker A:

Gut, jetzt habt ihr auch schon ein paar Dinge erwähnt, wo ihr jetzt schon auch Potenzial seht in der Einführung von KI im Recht.

Speaker A:

Also eben die Zugänglichkeit, dass jedermann sich dann irgendwie auch schnell informieren kann über das Recht.

Speaker A:

Eben das Beispiel in Brasilien, dass man viele Daten oder Aktenberge schneller verarbeiten kann.

Speaker A:

Seht ihr da sonst noch irgendwelche Chancen?

Speaker B:

Ja, absolut.

Speaker B:

Also dieses eben access to justice ist so ein bisschen der Titel hier quasi, an dem eben auch sehr viel geforscht wird.

Speaker B:

Aber das ist so ein bisschen eine Hoffnung oder eine Chance, die man sieht, zu sagen, ja gut, Recht war schon immer sehr schwierig zu verstehen.

Speaker B:

Für viele Leute ist es einfach etwas, mit dem man sich gar nicht auseinandersetzt.

Speaker B:

Hat eben ein bisschen mit der Sprache zu tun und mit der Systematik, wie das Recht oder die Gesetze aufgebaut sind und zu sagen, mit solchen Tools können Leute, die Fragen haben, zumindest eine Antwort erhalten.

Speaker B:

Es ist dann aber noch nicht damit getan, eine Antwort zu haben.

Speaker B:

Man muss sie auch noch irgendwie ausführen können.

Speaker B:

Also es muss noch irgendwie greifbarer sein.

Speaker B:

Man spricht hier von Action Ability, dass man ja gut, man weiß jetzt vielleicht, wie sich eine Situation, wie man eine Situation interpretieren kann.

Speaker B:

Aber was sind jetzt die konkreten Schritte, die ein Mensch oder eine Person wirklich machen kann?

Speaker B:

Das sind auch dann noch offene Fragen.

Speaker A:

Also kannst du ein Beispiel nennen?

Speaker B:

Als Beispiel kann man bestimmte Abzüge verlangen.

Speaker B:

Wir können von Steuerabzügen sprechen oder es kann Studiendarlehen sein, die man beziehen kann etc.

Speaker B:

Und man weiß zwar oder das System oder ein Modell kann einem sagen, dass man Anspruch darauf hat, aber wenn man dann nicht genau weiß, was man damit tun muss, an wen man sich wenden muss, welches Formular ausfüllen muss, wie man wirklich konkret dann an seinem Recht und ich setze jetzt das in Anführungszeichen, das sieht man zwar nicht auf einem Podcast, aber wenn man nicht weiß, wie man das Recht kommt, dann nützt es ja ein wenig.

Speaker B:

Dann hat man vielleicht besser access to justice.

Speaker B:

Nur in der Theorie, aber es ist eben nicht actionable.

Speaker B:

Also man kann nicht wirklich was damit machen.

Speaker A:

Aber ich kann mir vorstellen, LLMs, die können einem dann auch gleich sagen, was man machen muss, oder?

Speaker B:

Ja, also mit diesen KI Agenten, das ist ja jetzt der neue Trend, dass man gerade direkt auf die richtige Webseite landet und das Formular direkt ausgefüllt wird.

Speaker B:

Ja, also wenn man von Chancen und Hoffnungen spricht, dann natürlich.

Speaker B:

Das sind solche Visionen.

Speaker B:

Und.

Speaker A:

Wo seht ihr die größten Risiken dieser Entwicklung?

Speaker C:

Wir haben auch im Buch produzieren wir eine Liste von 13 Issues, die wir identifizieren oder 13 Issue Types, die wir identifizieren.

Speaker C:

Und viele davon haben wir jetzt zumindest eingeschnitten in dem Teil Transparenz haben wir schon besprochen.

Speaker C:

Dieses Lack of Interdisciplinarity, das wir ansprechen, das haben wir z.B.

Speaker C:

mit diesem Beispiel vorher mit der mit der Codierung von Recht gehabt.

Speaker C:

Oder wenn das einfach nur durch einen Ingenieur gemacht wird, dann fehlt da etwas.

Speaker C:

Mein persönlicher Liebling deshalb, weil ich nicht erwartet hatte am Anfang, das war noch der Issue type Natural Pace.

Speaker C:

Das hat mir gut gefallen, weil es unerwartet kommt.

Speaker C:

Eine automatisierte Entscheidung wird in den meisten Fällen schneller erfolgen als eine manuelle Entscheidung.

Speaker C:

Und das ist auch durchaus in vielen Fällen so gewollt, oder wir haben vorher redet ja vor die Rückstaus besprochen.

Speaker C:

Also häufig wollen wir das, aber ein Projekt, das automatisiert, sollte sich überlegen, ob es in diesem Projekt tatsächlich gewollt ist.

Speaker C:

Es gibt Literatur aus dem Strafrecht und aus der Psychologie, wo gezeigt wird, dass es durchaus sinnvoll ist, dass traumatisierte Personen über einen längeren Zeitraum sich mit einem mit einem strafrechtlich relevanten Fall in dem Fall auseinandersetzen.

Speaker C:

Dass also diese häufigeren Anhörungen nachhaltiger sind, als wenn nach zwei Mikrosekunden eine Entscheidung getroffen worden wäre.

Speaker A:

Also jetzt aus Sicht des Richters, dass das für den Richter für die Entscheidung dann besser ist?

Speaker C:

Ne, aus Sicht der Betroffenen Person.

Speaker C:

Aus Sicht des Opfers.

Speaker C:

Siehst du, man hat es ganz minimal, ganz minimal hat man das manchmal, wenn man online Formulare ausfüllt.

Speaker C:

Ich hatte das dreimal, das will ich natürlich nicht vergleichen, aber um das greifbarer zu machen, man füllt ein Formular online aus und kriegt innerhalb von Millisekunden ein Ja oder Nein zurück.

Speaker C:

Dann weiß ich, das hat kein Mensch angeschaut und das könnte mein Vertrauen in das System untergraben.

Speaker C:

Wenn ich von Deuter auf so einen traumatisierenden Fall schaue, also nicht auf dieses einfache Beispiel, dass ich da täglich erlebe oder dass ich da, dass ich da mal bei mir zu Hause lebe, aber auf den traumatisierenden Fall schaue, dann hat es ja nicht nur das funktionale Ziel, dass das Prozess, dass der Prozess outcome erreicht wird, dass ein Schuldspruch oder ein Freispruch erreicht wird, sondern der Prozess selbst hat ja das Ziel, dass es eine Art, eine Art, einen Vergleich gibt oder einen Interessensausgleich irgendwo gibt zwischen den beteiligten Teilen, inklusive des Opfers.

Speaker C:

Und da zeigt die Literatur, dass ein Opfer von einer unfairen Handlung, das muss nicht unbedingt eine Gewalthandlung sein, aber dass ein Opfer das besser verarbeitet, wenn es nicht unmittelbar eine Entscheidung gibt, sondern wenn man sich über mehrere Wochen damit beschäftigt.

Speaker C:

Und das war für mich etwas, was ich gar nicht erwartet hatte, weil Geschwindigkeit, höhere Geschwindigkeit wird recht, wird recht eindimensional als positiv betrachtet bewertet.

Speaker C:

Und genau aus der Ecke kommt dann Argument Hey, vielleicht sollten wir uns überlegen, ob wirklich die höhere Geschwindigkeit vernünftig ist, ob der Machine Pace angemessen ist für ein bestimmtes Projekt.

Speaker A:

Genau.

Speaker A:

Jetzt haben wir auch verschiedene mögliche Anwendungen von KI im Rechtssystem diskutiert.

Speaker A:

Jetzt wurde ja auf EU Ebene der AI Act verabschiedet.

Speaker A:

Wäre denn auf Basis dieses Gesetzes, wäre es da überhaupt zulässig, dass KI z.B.

Speaker A:

urteile fällt im Rechtssystem?

Speaker B:

Ja, im Mai Act haben wir eben einen risikobasierten Ansatz mit quasi unterschiedlichen Praktiken, die wir verbieten, wo wir gesagt haben, das ist einfach zu großes Risiko, das wollen wir gar nicht sehen.

Speaker B:

Ein solches Beispiel hier wäre Social Scoring Systeme, also solche Systeme, die oftmals wird auf das Modell in China quasi verwiesen, wo Leute kontinuierlich getrackt werden und unterschiedliche Scores erhalten, je nach ihrem Verhalten.

Speaker B:

Und so möchte man soziale Verhalten in einer Gesellschaft quasi lenken.

Speaker B:

Solche Systeme sind eben verboten in der EU.

Speaker B:

Also wenn sich ein Recht, also wenn man daran anknüpfen, würde und an einem Social Scoring System bzw.

Speaker B:

Steuerabzüge oder Studenten Darlehen anknüpfen würde.

Speaker B:

Das wäre verboten.

Speaker B:

In Bezug auf deine Frage, insbesondere der Anwendung von KI in der Justiz, diese Systeme, die wir vorhin mit Simon auch erwähnt haben, das würde eher dann unter einem hohen Risiko fallen.

Speaker B:

Also die zweite Kategorie Kategorie im AI Act quasi dargestellt wird und erläutert wird.

Speaker B:

Und solche hohen Risiken oder High Risk Systems haben dann unterschiedliche Auflagen, die sie erfüllen müssen.

Speaker B:

Man spricht auch von technischer Dokumentationen.

Speaker B:

Das wäre sicher eine Anforderungen, Transparenz, Pflichten, Informationspflichten bezüglich wie diese Systeme eingesetzt werden, aber auch die Pflicht oder diese Obligation zu Human Oversight, dass man auch hier eben, dass es nicht unbedingt nur vollständig automatisch entziehen wird, aber man auch ein Mensch über solche Entscheidungen schaut.

Speaker B:

All das sind dann solche Requirements, solche Auflagen, die es dann im AI Act gibt, die da auch eine Rolle spielen würden.

Speaker A:

Welche Fähigkeiten sollten denn aus eurer Sicht Juristinnen und vielleicht auch Richterinnen in Zukunft haben?

Speaker C:

Das ist genau der Punkt, oder?

Speaker C:

In einem Umsetzungsprojekt brauche ich typischerweise jemanden, der versteht, wie die Technologie funktioniert.

Speaker C:

Und ich brauche jemanden, der versteht, wie das Feld funktioniert, in dem die Technologie eingesetzt werden soll.

Speaker C:

Und dann muss ich noch schauen, dass die beiden dieselbe Sprache sprechen, weil sonst geht an der Schnittstelle das Ding kaputt.

Speaker C:

Und daher brauchen wir das auf beiden Seiten.

Speaker C:

Oder wir brauchen für diese Ausgestaltung eines kulturell passenden teilautomatisierten Rechtssystems brauchen wir auf der rechtlichen Seite Juristinnen und Juristen, die verstehen, welche Art Automatisierung für welche Art Aufgabe geeignet ist.

Speaker C:

Umgekehrt brauche ich auf der technischen Seite Informatikerinnen und Informatiker, die verstehen, welches ihrer Tools aus ihrem Werkzeugkasten zu welcher gesellschaftlichen Aufgabe passt.

Speaker C:

Das ist genau dieselbe Frage aus unterschiedlichen jetzt wird es vermutlich nicht klappen oder nur für sehr wenige Personen klappen, dass wir ausgezeichnet, dass wir in derselben Person vereinen, eine ausgezeichnete ausgebildete Informatikerin und eine ausgezeichnete ausgebildete Juristin.

Speaker C:

Das wird möglicherweise nicht klappen, weil die Fächer für sich ja heute schon groß sind, sind beides ja schon große Studienprogramme.

Speaker C:

Daher brauche ich auch Zusammenarbeitskompetenz.

Speaker C:

Ich muss anderen Leuten zuhören.

Speaker C:

Ich muss, ich muss bereit sein, meine Vokabeln anzupassen und ich muss bereit sein, Common Ground zu finden im Verständnis.

Speaker C:

Und das dritte ist etwas, was wir ohnehin gesellschaftlich sagen, dass das zunehmend wichtiger wird für eine ausdifferenzierte Gesellschaft oder dass man miteinander sprechen kann und will.

Speaker C:

Und das andere sind disziplinare Fähigkeiten, die übergreifen zwischen diesen beiden Disziplinen von beiden sind.

Speaker B:

Und es ist ja auch mega spannend zu sehen.

Speaker B:

Also wenn du ein bisschen in neue Forschungsprojekte, neue Forschungsprojekte schaust, dann siehst du, dass genau solche interdisziplinäre Teams eigentlich ganz anders an die Umsetzung und die Automatisierung des Rechts hingehen.

Speaker B:

Also es gibt wirklich auch Studien, die zeigen, wenn man nur Juristen an sein Automatisierungsproblem setzt oder nur Informatiker, kommen ganz, ganz unterschiedliche Sachen dabei heraus.

Speaker B:

Einige sagen, das geht gar nicht, andere versuchen und machen irgendwas.

Speaker B:

Aber dann, wenn man interdisziplinäre Teams hat, sieht man, dass da viel eigentlich die spannenderen und viel angepassteren Entwicklungen oder zumindest Ideen und Prototypen hergestellt werden.

Speaker B:

Und ich glaube, das sind eigentlich gute, das zeigt eigentlich sehr schön auf, inwiefern das auch wichtig ist.

Speaker B:

Aber wie Simon sagt, das ist gar nicht so einfach.

Speaker B:

Einerseits, weil quasi auch Universitäten in disziplinären silos arbeiten, andererseits, weil es auch für uns ein sehr langer Prozess ist, war und immer noch ist und kontinuierlich sein wird, diese Annäherungen, diese Anknüpfungspunkte wirklich zu finden.

Speaker A:

Gut, wenn wir zum Schluss vielleicht noch in die Zukunft schauen, was dann aus dieser wichtigen interdisziplinären Zusammenarbeit vielleicht dann irgendwann rauskommt.

Speaker A:

Was wäre eure Vision für die Zukunft des Rechts unter dem Zeichen der KI?

Speaker C:

Ich habe keine Visionen, ich habe mögliche Szenarien, wie das ausgehen könnte.

Speaker C:

Aus meinem Hintergrund.

Speaker C:

Ich beschäftige mich mit der, also in der disziplinärwissenschaftlich, in der Informatik beschäftige ich mich mit der Durchdringung unseres Alltags durch Computer, mit ubiquitous oder pervasive computing.

Speaker C:

Und aus der Sicht heraus sehe ich die Möglichkeit einer Ultra Kontextualisierung des Rechts und des Rechtssystems.

Speaker C:

Was ich damit meine ist, je mehr ich messe in einer zunehmend durch Computer durchdrungenen Welt, desto mehr könnte ich das Recht kontextuell anpassen.

Speaker C:

Und das kann jetzt positiv und negativ ausgehen, oder?

Speaker C:

Deswegen mache ich diese Szenarien.

Speaker C:

Also ein positives Szenario und für mich durchaus positives Szenario, das wäre, dass ich bei mir zu Hause das recht ultra kontextualisieren kann und bei mir zu Hause über das schweizer recht hinausgehende Normen setzen könnte.

Speaker C:

Da könnte ich zu Hause sagen, hier bei mir gibt es kein Social Media, so was auf die Art.

Speaker C:

Oder es gibt hier keine Videoaufnahmen zwischen zwischen 5 Uhr und 8 Uhr früh, sowas auf diese Art.

Speaker C:

Das ist interessant, das finde ich durchaus interessant.

Speaker C:

Das heißt, ich passe so fast schon personalisiert, weil personalisiertes Recht ist ein überladenes Konzept, deswegen benutze ich es nicht, aber ich passe mir das Recht an, ich überdefiniere das Recht für die Kontexte, wo ich es gerne hätte.

Speaker C:

Also für mich ein positiver Ausgang, oder?

Speaker C:

Das hat bestimmte praktische Probleme, wie man das jetzt konfiguriert oder wie genau das technisch abläuft, aber das finde ich durchaus interessant.

Speaker C:

Umgekehrt könnte sich das recht jetzt aber auch bösartigerweise auf Einzelsituationen adaptieren oder es könnte so rauskommen, dass Personen vielleicht auf statistischer Basis vielleicht dann so, dass ich auf der Autobahn nur 80 fahren darf, du aber 120, weil du schon ein.

Speaker A:

Gewisses Alter dann hast und nicht mehr so gut siehst.

Speaker C:

Genau, weil das System weiß, schlecht sehe oder weil das System weiß, dass ich, dass ich älter bin.

Speaker C:

Und da könnten ganz furchtbare Diskriminierungen rauskommen, die wir wiederum kulturell vermutlich ablehnen oder viele davon würden wir ablehnen.

Speaker C:

Andere Länder nicht.

Speaker C:

Andere Länder nicht, aber wir hier in diesem mitteleuropäischen Raum würden vermutlich viel ablehnen.

Speaker C:

Das denke ich mir, das würde ich durchaus erwarten, so eine Ultrakontextualisierung.

Speaker C:

Das könnte schon sein.

Speaker B:

Persönlich.

Speaker B:

Ich finde eben diese Ultra Kontextualisierung kann eben auch Angst machen, wie das zweite Szenario, das Simon genau sagt.

Speaker B:

Aber ich glaube schon auch eben diese Begriffe wie Access to justice, die wir auch vorhin schon erwähnt haben, und diese Möglichkeiten, Recht zu demokratisieren in diesem Sinne, dass eigentlich mehr Leute verstehen können, was wir in diesen Gesetzen wirklich haben und wie man an sein Recht wieder in Anführungszeichen hier kommen kann.

Speaker B:

Ich glaube, das ist für mich eine positive Vision, das Recht zu sagen, ja gut, vielleicht ist es neu, vielleicht kriegen wir das nicht hin.

Speaker B:

Aber wenn man es hinkriegen könnte, mehr Leute auch auf ihr Recht zugreifen können und ihre rechtlichen Fragen stellen können und hier Antworten kriegen können, die sie auch umsetzen können.

Speaker B:

Das wäre eigentlich schön.

Speaker B:

Wir arbeiten auch an diesen Themen.

Speaker B:

Es gibt viele Bereiche, wo vor allem auch Leute, die im Leben weniger Glück hatten als wir und halt schwierige Lebenssituationen haben, darüber hinaus kommt es noch, dass sie sich mit dem Rechtssystem vielleicht in einem Land nicht gut auskennen.

Speaker B:

Insbesondere dort sehen wir schon Möglichkeiten, anhand von unterschiedlichen Tools ihr Leben Ein bisschen zu vereinfachen oder das Leben von Leuten, die in solchen pro Bono Organisationen arbeiten und die Leute ohne rechtlichen Kenntnisse unterstützen.

Speaker A:

Gut, ich denke, das wäre ein gutes Schlusswort.

Speaker A:

Aurelia und Simon, ich danke euch ganz herzlich für das Gespräch.

Speaker C:

Danke dir vielmals.

Speaker B:

Danke dir.

Speaker A:

HSG Research Insight, ein Wissenschaftspodcast der Universität St.

Speaker A:

Gallen.

Links

Chapters

Video

More from YouTube

More Episodes
6. HSG Research Insight #6 | Wie Künstliche Intelligenz unser Rechtssystem verändert
00:54:23
5. HSG Research Insight #5 | Passen Kreislaufwirtschaft und Kapitalismus zusammen?
00:48:16
4. HSG Research Insight #4 | Die Geschichte der modernen Geldwirtschaft
00:56:13
3. HSG Research Insight #3 | Methoden der Wissenschaft
00:53:28
2. HSG Research Insight #2 | Verzerrungen im Wissenschaftsbetrieb
01:00:56
1. HSG Research Insight #1 | Wissenschaft und Demokratie
00:36:59