Der Begriff „Künstliche Intelligenz (KI)“ bezeichnet Computersysteme und -programme, die mithilfe unterschiedlicher Techniken kognitive Vermögen von Personen modellieren und simulieren. KI-Forschung wird aus diesem Grund als Teilbereich der Kognitionswissenschaften, bisweilen sogar als Herz der Kognitionswissenschaften bezeichnet. Vor diesem Hintergrund lassen sich die beiden grundlegenden allgemeinen technischen Ansätze der KI-Forschung kognitionswissenschaftlichen Paradigmen zuordnen. Es lassen sich hierbei grob zwei Paradigmen unterscheiden: Das symbolische und das konnektionistische Paradigma.

Dem symbolischen Paradigma zufolge besteht Kognition in der logischen Manipulation von Symbolen, wobei diese dadurch bedeutsam werden, dass sie sich auf bestimmte Gegenstände beziehen. Mithilfe logischer Schlussregeln können so Algorithmen verfasst werden, die bestimmte kognitive Vermögen simulieren und damit in der Lage sind, spezifische Aufgabenstellungen zu lösen. Das symbolische Paradigma ist die Grundlage der klassischen Form von KI. Beispiele für klassische KI-Modelle dieser Art sind etwa medizinische Expertensysteme (XPS), die mithilfe so genannter Entscheidungsbäume (decision trees) die ärztliche Entscheidungsfindung unterstützen. KI-Systeme, die dem klassisch symbolischen Paradigma nachgebildet sind, zeichnen sich durch ihre grundsätzliche Erklärbarkeit aus. Dadurch also, dass die Schlussregeln, Symbole und Algorithmen von Programmierer*innen entworfen und implementiert werden, können sie die Arbeitsweise und Resultate des Programms prinzipiell voraussagen und nachvollziehen. Während Systeme dieser Art bis heute viele Aufgaben übernehmen können, weisen sie wesentliche Beschränkungen auf. So ist es solchen Systemen beinahe unmöglich, Sprach- oder Bilderkennungsarbeit zu leisten. Die Erkennung von Sprache und Bildern würde es beispielsweise erfordern, dass Programmierer*innen eine unüberschaubare Anzahl an expliziten Regeln einbauen, um etwa die vielfältigen Schreibweisen von Buchstaben zu erfassen. Die Fähigkeit, Muster richtig zu identifizieren und zu klassifizieren, ist für die medizinische Praxis von Bedeutung, da ein Teil der ärztlichen Arbeit darin besteht, Muster – etwa auf radiologischem Bildmaterial – zu erkennen und etwaigen Krankheitsbildern zuzuordnen.

Auf der anderen Seite steht das konnektionistische Paradigma. Dieser Ansatz orientiert sich an der neuronalen Struktur des Gehirns sowie der Art und Weise, wie Gehirne Informationen verarbeiten. Statt konkreter Symbole und logischen Verknüpfungen dieser Symbole wird im konnektionistischen Paradigma Informationsverarbeitung und Kognition allgemein als im gesamten neuronalen System verortet aufgefasst, sodass spezifische Informationen nicht eindeutig in einem System verortet und damit abgelesen werden können. Deshalb ist es, anders als im symbolischen Paradigma, auch für die Programmierer*innen nicht möglich, die genaue Funktionsweise – also die Informationsverarbeitungsprozesse – vorauszusagen oder nachzuvollziehen. Aus diesem Grund sind neuronale Netze sogenannte Black-Boxes, d.h. Systeme, deren Funktionsweise sowohl für die Programmierer*innen als auch die Nutzer*innen undurchsichtig ist.

KI-Systeme, die auf dem konnektionistischen Paradigma fußen, erfordern nicht die Eingabe expliziter Regeln durch Programmierer*innen, vielmehr sind solche Systeme „selbstlernend“. Selbstlernende KI-Systeme – der hier gebräuchliche Begriff ist der des „maschinellen Lernens“ – sind solche, die ohne explizite Programmierung in der Lage sind, in großen Datenmengen Muster zu identifizieren und zu klassifizieren und die auf Basis dieser Identifikation spezifische Outputs produzieren können. Während es eine Reihe unterschiedlicher Formen maschinellen Lernens gibt, ist für die Belange der ethischen Betrachtung nur wichtig anzumerken, dass selbstlernende KI-Systeme mit Input-Daten versorgt werden, beispielsweise einer Reihe von Bildern. Im Rahmen eines Trainingsprozesses „lernen“ diese Systeme dann, bestimmte Outputs – etwa die Klassifikation von Bildmaterial – zu erzeugen.  Neuronale Netze haben aufgrund dieser Funktionsweise im Vergleich zu klassischer KI einen wesentlichen Vorteil, wenn es darum geht, komplexe und nicht mithilfe expliziter Regeln darstellbare Muster zu identifizieren. So können Systeme dieser Art Bilder identifizieren und klassifizieren oder Sprache erkennen und verarbeiten. Aufgrund dieser Besonderheiten neuronaler Systeme konnte zeitgenössische KI für Einsatzbereiche nutzbar gemacht werden, für die klassische KI-Systeme nicht geeignet waren. Insbesondere im Rahmen der medizinischen Praxis haben sich machine learning (ML) Programme als vielversprechende Werkzeuge erwiesen. Insbesondere in der Radiologie finden solche Systeme heute schon Anwendung, etwa in der Identifikation von Krankheiten auf radiologischem Bildmaterial.

Benefizienz

Die ethische Analyse der zum Einsatz kommender Technologien in der medizinischen Praxis dient nicht allein dem Zweck, Grenzen, Verbote und problematische Aspekte offenzulegen, sondern auch darzulegen, unter welchen Bedingungen der Einsatz technologischer Hilfsmittel moralisch geboten sein kann. So sollte auch im Fall von KI-Technologien nicht der Eindruck entstehen, die ethische Auseinandersetzung betone allein ihre problematischen Aspekte. Unter dem Gesichtspunkt, dass die primäre ärztliche Pflicht im Wohlergehen der Patient*innen liegt, gilt es zu prüfen, ob und inwiefern KI die Erfüllung dieser Pflicht unterstützt. 

Der Einsatz von KI in der Medizin verspricht eine Reihe von Vorteilen sowohl für Patient*innen als auch für das ärztliche Fachpersonal und die Gesellschaft insgesamt. Aufseiten der Patient*innen ist es denkbar, dass bestimmte Diagnosestellungen schneller, präziser und weniger fehleranfällig erfolgen. Schon jetzt zeigt sich – und es steht zu vermuten, dass dieser Eindruck durch die Weiterentwicklung von ML-Algorithmen in Zukunft bestärkt wird –, dass KI-Systeme bisweilen besser darin sind, bestimmte Krankheitsbilder auf Bildmaterial zu identifizieren als selbst erfahrene Ärzt*innen. Im Allgemeinen gilt, dass der Einsatz neuartiger Technologien, durch die medizinische Abläufe schneller, präziser und weniger fehleranfällig gestaltet werden können und dadurch das Wohlergehen der Patient*innen befördern, genau aus diesem Grund zumindest prima facie ethisch geboten ist. 

Neben der Identifikation möglicher Erkrankungen auf Bildmaterial bieten sich der Einsatz selbstlernender KI-Systeme auch bei Verwaltungsaufgaben an. Durch ihre Fähigkeit, Sprache zu verarbeiten und auch handschriftliche Dokumente zu klassifizieren, könnte KI Ärzt*innen bei Verwaltungsaufgaben entlasten. Das würde nicht nur dem Wohlergehen der Ärzt*innen zugutekommen, sondern ihnen im besten Fall auch mehr Zeit verschaffen, sich um ihre Patient*innen zu kümmern. Nicht zuletzt besteht die Hoffnung, dass KI-Systeme durch die Verarbeitung und Analyse großer Datenmengen einer stärker auf das Individuum ausgerichteten, personalisierten Medizin Vorschub leistet. Es könnten aber nicht nur die Patient*innen und Ärzt*innen durch den Einsatz von KI in der Medizin entlastet werden. Unter der Bedingung, dass durch KI eine Reihe medizinischer Prozesse effizienter gestaltet werden kann, besteht weiterhin die Hoffnung, dass Kosten eingespart und damit gesamtgesellschaftlicher Nutzen durch eine günstigere medizinische Versorgung entsteht. Sollte sich bewahrheiten, dass diese mit KI verbundenen Hoffnungen erfüllt werden können, wäre dies unter dem Benefizienzgesichtspunkt ein starkes moralisches Argument für die Nutzung von KI in der Medizin. 

Gerechtigkeit

Die beiden miteinander verknüpften und sich auseinander ergebenden zentralen Gerechtigkeitsgesichtspunkte, die der Einsatz von KI in der Medizin aufwirft, betreffen die Verteilungsgerechtigkeit und Fragestellungen der Diskriminierung. Unter dem Gesichtspunkt der Verteilungsgerechtigkeit wird diskutiert, inwiefern KI-Systeme den Zugang zur bestmöglichen Gesundheitsversorgung beeinflussen können. Diese Fragestellung ergibt sich aus den spezifischen Trainingsverfahren, die genutzt werden, um selbstlernende Systeme zu trainieren. Die Wahl der Trainingsdaten etwa und die Art und Weise, wie diese Daten in bestimmten Lernverfahren gekennzeichnet und vorsortiert werden, kann zu unterschiedlich guten Leistungen des Systems bei verschiedenen Bevölkerungsgruppen führen. Wird ein System zur Erkennung von Hautkrankheiten beispielsweise ausschließlich mit Bildern von hellhäutigen Menschen trainiert, kann dies dazu führen, dass es auf Bildmaterial dunkelhäutiger Menschen weniger gut oder gar nicht in der Lage ist, Erkrankungen zu identifizieren. Auf diese Weise können sich strukturelle Ungleichbehandlungen von Personengruppen verschärfen, indem diese Personengruppen einen eingeschränkten Zugang zu Gesundheitstechnologien haben. Hierbei gilt es zu betonen, dass die fragliche Diskriminierung auch dann vorliegen kann, wenn keinerlei Diskriminierungsabsicht aufseiten der Programmierer*innen vorliegt. Um dieser Problematik vorzubeugen, müssen KI-Systeme, die zur Identifikation von Krankheiten und zur Diagnosestellung genutzt werden, daraufhin geprüft werden, wie zuverlässig ihre Ergebnisse bei verschiedenen Bevölkerungsgruppen ausfallen. Sollte sich herausstellen, dass eine KI bei bestimmten Gruppen unzulängliche Ergebnisse produziert, sollten technische Wege eingeschlagen werden – etwa eine Neuauswahl der Trainingsdaten –, um die Performanz zu verbessern. In jedem Fall sollten Patient*innen darüber aufgeklärt werden, wie zuverlässig eine KI in ihrem Fall ist.

Während die ethische Debatte um die Gerechtigkeitsaspekte bisweilen auf technisch-mathematische Begriffsbestimmungen und Lösungen von Gerechtigkeitsproblemen fokussiert ist – der Grundbegriff ist hier Bias, der in diesem Kontext die systematische Ungleichbehandlung von zumindest auf den ersten Blick Gleichem bezeichnet –, sollten solche Ansätze durch eine normativ-ethische Analyse ergänzt werden. Aus technisch-mathematischer Perspektive betrifft ein Bias eine Art statistisch unerwartetes Ergebnis, so etwa, wenn eine KI-Anwendung im Fall einer bestimmten Personengruppe nicht so erfolgreich darin ist, Krankheitsbilder zu identifizieren, wie vorgesehen. Gerade da nicht alle Formen von Ungleichbehandlung gleichermaßen moralisches Gewicht besitzen, wie etwa die Debatte um so genannte wünschenswerte Biases zeigt, ist eine ethische Analyse der problematischen Aspekte von Ungleichbehandlungen notwendig.

Vertrauen

Vertrauen ist ein Grundbegriff der Medizinethik. Die Vertrauenswürdigkeit der Akteur*innen des Gesundheitssystems zu gewährleisten, ist dabei ein moralisches Gebot. Vertrauenswürdigkeit ist eine normative Kategorie, die unabhängig von der Frage ist, ob und wem Personen tatsächlich vertrauen. Nicht jede Person, der vertraut wird, ist vertrauenswürdig und nicht jede Person, der kein Vertrauen entgegengebracht wird, hat diese Reaktion verdient. Während es die Aufgabe der Psychologie und Soziologie ist, durch empirische Forschung offenzulegen, welche Merkmale dazu führen, dass Personen anderen Personen oder Institutionen vertrauen, ist die Aufgabe der Philosophie, die Merkmale von Vertrauenswürdigkeit normativ-ethisch zu analysieren. Die philosophische Grundfrage ist also: Wem oder was sollten Personen vertrauen und warum?

Eine zweite wichtige Differenzierung betrifft den Unterschied zwischen Vertrauenswürdigkeit und Verlässlichkeit. Im philosophischen Diskurs gilt Vertrauen als die Einstellung, die wir gegenüber anderen Personen einnehmen und in der wir davon ausgehen, dass die Person, der wir vertrauen, grundsätzlich willens und in der Lage ist, das in sie gesetzte Vertrauen zu rechtfertigen. Vertraut etwa ein*e Patient*in einer*einem Ärzt*in vor einer Operation, so geht sie davon aus, dass der oder die Ärzt*in willens ist, die Operation erfolgreich durchzuführen und auch die relevanten Fähigkeiten hierzu besitzt. Nicht alle Formen von Vertrauen weisen aber zwingend diese Merkmale auf. In persönlichen Beziehungen, etwa der Beziehung zwischen Eltern und Kindern oder zwischen Psychiater*innen und ihren Patient*innen, ist es möglich, dass Vertrauen geschenkt wird, um dadurch entweder das Verhältnis zwischen den Personen zu verbessern oder um den Selbstwert der Personen zu stärken, denen vertraut wird. Wie diese Beispiele zeigen, können Personen zueinander aus unterschiedlichen Gründen und Motiven ein Vertrauensverhältnis aufbauen. Darüber hinaus sind Vertrauensverhältnisse mit interpersonalen reaktiven Einstellungen verknüpft. Wird ein Vertrauen gebrochen, so sind Personen darin gerechtfertigt, Enttäuschung, Wut oder andere negative reaktive Einstellungen zu zeigen.

Die genannten Merkmale unterscheiden Verlässlichkeitsverhältnisse von Vertrauensverhältnissen. Ein Verlässlichkeitsverhältnis liegt beispielsweise dann vor, wenn eine Person sich darauf verlässt, dass eine Brücke, über die sie geht, nicht einstürzen wird, oder ein Fahrzeug, in dem sie sich fortbewegt, nicht plötzlich stehen bleibt. Wie diese Beispiele zeigen, können Personen Verlässlichkeitsverhältnisse nicht nur, wie Vertrauensverhältnisse, gegenüber anderen Personen einnehmen, sondern auch gegenüber Werkzeugen. Das bedeutet aber nicht, dass gegenüber Personen nicht ebenfalls Verlässlichkeitsverhältnisse eingenommen werden können. Verlässt man sich etwa darauf, dass eine Person eine bestimmte Verhaltensweise an den Tag legen wird, ohne dass diese Person etwas davon weiß, besteht kein Vertrauensverhältnis, sondern ein Verlässlichkeitsverhältnis. Einer weit verbreiteten Anekdote zufolge verließen sich etwa die Einwohner*innen Königsbergs im 18. Jahrhundert darauf, dass Immanuel Kant täglich zu einer bestimmten Zeit spazieren ging. Würde Kant dies nun an einem Tag aus irgendeinem Grund nicht tun, hätten die Einwohner*innen keinen Grund, Kant gegenüber wütend zu sein, weil er sich anders verhielt, als sie es erwarteten. In einem Verlässlichkeitsverhältnis ist es also nicht angemessen, die reaktiven Einstellungen der Enttäuschung oder Wut gegenüber der Person einzunehmen, die sich nicht auf die erwartete Weise verhält. Natürlich kann man sich darüber ärgern, dass etwa ein Fahrzeug nicht mehr funktioniert, es wäre aber irrational, auf das Fahrzeug wütend zu sein. Ebenso wäre es unangemessen, auf eine Person wütend zu sein, die sich nicht so verhält, wie wir es erwarten, wenn diese Person von unserer Erwartung nichts wusste und keinen Grund hatte, sich zwingend auf die fragliche Weise zu verhalten. Darüber hinaus gibt es im Fall des Verlässlichkeitsverhältnisses eine einzige Grundlage, die es rechtfertigt, dass wir uns auf etwas oder jemanden verlassen: nämlich die Wahrscheinlichkeit, dass die erwartete Verhaltensweise im Fall von Personen bzw. Funktion im Fall von Artefakten tatsächlich eintritt. Der Grund, sich auf eine Brücke zu verlassen, liegt also allein darin, wie wahrscheinlich es ist, dass die Brücke nicht einstürzen wird. 

Damit sind die beiden zentralen Unterschiede von Verlässlichkeits- und Vertrauensbeziehungen benannt: Erstens kann ein Vertrauensverhältnis aus verschiedenen Gründen und Motiven eingenommen werden, während ein Verlässlichkeitsverhältnis allein dadurch gerechtfertigt werden kann, wie wahrscheinlich ein erwartetes Verhalten oder eine Funktionsweise ist. Zweitens ist es im Fall des Vertrauensverhältnisses, nicht aber des Verlässlichkeitsverhältnisses, angemessen, bestimmte reaktive Einstellungen einzunehmen. So wird deutlich, dass das Verhältnis von Personen zu KI nur dann im eigentlichen Sinn ein Vertrauensverhältnis sein kann, wenn KI als Subjekt im starken Sinn verstanden wird. Ein solches Subjekt ist nicht nur Ausgangspunkt von Handlungen und Entscheidungen und damit für diese kausal verantwortlich, es ist darüber hinaus ein*e moralische*r Akteur*in.

Während in der KI-Debatte im Allgemeinen umstritten ist, ob und inwiefern selbstlernende KI die relevanten Vermögen besitzen, um als Subjekte dieser Art bezeichnet zu werden und sogar, ob und inwiefern KI deshalb moralisch berücksichtigungswürdig ist, sollte zumindest im Fall der in der Medizin eingesetzten Form von KI klar sein, dass solche anspruchsvollen Zuschreibungen von Akteur*innenschaft und Subjekt-Sein nicht gerechtfertigt sind. In der Medizin eingesetzte KI-Modelle sind technische Werkzeuge, die für eng eingegrenzte Einsatzzwecke entworfen wurden – beispielsweise die Identifikation von Erkrankungen auf radiologischen Bildern –, nicht aber moralische Akteure in dem hier relevanten Sinn. Wenn solche KI-Systeme dementsprechend keine Subjekte sind, folgt daraus, dass es sinnlos ist, zu ihnen ein Vertrauensverhältnis einzunehmen. So ist es weder sinnvoll, wütend auf ein unzuverlässiges KI-System zu sein noch ergibt es Sinn, einem solchen System zu vertrauen, um die interpersonale Beziehung zu ihm zu verbessern. Wenn also darüber debattiert wird, was es heißt, dass eine KI „vertrauenswürdig“ ist, sollte dies so verstanden werden, dass wir danach fragen, wie verlässlich eine KI ist. Wie eingangs dargestellt, ist die normative Grundlage dafür, sich auf ein Artefakt zu verlassen, allein die erwartete Wahrscheinlichkeit, dass dieses Artefakt die Funktion erfüllt, zu deren Erfüllung wir es entwickelt haben. Während im ethischen Diskurs also der Begriff der vertrauenswürdigen KI verwendet wird, sollte dieser im Sinne der so genannten trust as reliance, also des Vertrauens als Verlässlichkeit, verstanden werden. 

Werden diese Erwägungen auf den Einsatz von KI in der Medizin angewandt, wird deutlich, dass eine solche KI genau dann in diesem Sinn von Verlässlichkeit vertrauenswürdig ist, wenn es gute Gründe dafür gibt, anzunehmen, dass sie ein zuverlässiges Werkzeug ist. Da unterschiedliche KI-Anwendungen zu unterschiedlichen Zwecken verwendet werden – so etwa Diagnosestellung, Bildklassifikation oder Verwaltung –, hängen die Kriterien ihrer Verlässlichkeit von bereichsspezifischen Aufgabenstellungen ab. Eine KI etwa, die nur in etwa der Hälfte der Fälle Bilder richtig klassifiziert, kann kaum als verlässliches Werkzeug zur Identifikation von Erkrankungen gelten und damit auch nicht als vertrauenswürdige KI. 

Ob eine KI in dem ausgeführten Sinn vertrauenswürdig ist oder nicht, ist aber nicht die einzige Dimension, in der Vertrauen im Rahmen des Einsatzes von KI in der Medizin einschlägig ist. KI-Systeme werden von Personen und Institutionen entwickelt, verkauft und genutzt. Wie bei allen Werkzeugen gilt, dass das zentrale Vertrauensverhältnis zwischen denjenigen Personen besteht, die in diese Interaktionen eingebunden sind. Im Fall der in der Medizin eingesetzten KI umfasst dieses Verhältnis diejenigen Personen und Gruppen, die KI entwickeln und verkaufen, diejenigen Ärzt*innen und Institutionen – Krankenhäuser, Forschungseinrichtungen etc. –, die die KI einsetzen, und die Patient*innen, für deren medizinische Betreuung die KI entworfen wurde. Werden diese interpersonalen Beziehungen in den Blick genommen, reicht der Verweis auf die Verlässlichkeit als Rechtfertigungsgrundlage von Vertrauen nicht mehr aus. Das heißt nicht, dass Verlässlichkeit für interpersonale Vertrauensrelationen irrelevant wäre, sondern dass neben dem Verlässlichkeitsaspekt weitere Gesichtspunkte zu betrachten sind.

Im Verhältnis zwischen Patient*innen und Ärzt*innen ist die Grundlage des Vertrauensverhältnisses das ärztliche Berufsethos und die charakterliche Disposition des medizinischen Fachpersonals. Dem ärztlichen Berufsethos zufolge gilt, dass Ärzt*innen wesentlich am Wohlergehen ihrer Patient*innen ausgerichtete Entscheidungen treffen, wobei sie dies nicht in einem paternalistischen Sinn tun sollten, sondern die Autonomie der Patient*innen dadurch achten, dass sie im Vorfeld von Eingriffen informierte Einwilligungen einholen und im Kontext des Ärzt*innen-Patient*innen-Gesprächs alle relevanten Informationen offenlegen, die etwa zu einer Diagnosestellung beigetragen haben. Kommt eine KI in diesem Rahmen zum Einsatz, kann es geboten sein, diese Information an die Patient*innen weiterzugeben. Das gilt insbesondere dann, wenn eine Diagnosestellung mithilfe eines KI-Systems erreicht wurde, dessen Funktionalität bei Personengruppen eingeschränkt ist, zu denen der oder die Patient*in gehört. Aber auch von solchen Fällen abgesehen, kann es sinnvoll sein, den Einsatz von KI anzusprechen. Im Fall von KI-Systemen, deren Einsatz noch keinen medizinischen Standard darstellt, ist eine solche Aufklärung verpflichtend.

Weiterhin gilt es zu beachten, dass die Entscheidungen für den Einsatz von KI von vertrauenswürdigen Entscheidungsträger*innen gefällt werden sollten. Diejenigen Ärzt*innen, die die Verantwortung für den Einsatz von KI in der Medizin tragen, sollten, um als vertrauenswürdige Akteur*innen gelten zu können, erstens sicherstellen, dass KI nicht allein dafür eingesetzt wird, Kosten einzusparen, während zugleich die medizinische Versorgung sich verschlechtert und zweitens prüfen, ob und inwiefern die Hoffnungen, die sich mit dem Einsatz von KI in der Medizin verbinden, tatsächlich realisiert wurden. Sollte sich etwa herausstellen, dass der Einsatz eines KI-Systems zu häufigen Fehlern führt, die dann wiederum durch das ärztliche Personal aufgefangen werden müssen, sollte der Einsatz der KI überdacht werden. Um die Vertrauenswürdigkeit der für die Gesundheitsversorgung zuständigen Institutionen zu gewährleisten, muss also eingehend geprüft werden, ob sich KI-Systeme so bewähren, dass sie das Wohlergehen der Patient*innen nachhaltig verbessern.

Mit Blick auf das Vertrauensverhältnis von Ärzt*innen und Patient*innen gegenüber den Entwickler*innen von KI ist die Errichtung unabhängiger Stellen ein zentraler Gesichtspunkt. Diese können zum einen etwaige strukturelle Diskriminierungsproblematiken identifizieren und benennen, die in der Entwicklung von KI auftreten; zum anderen wird dort wissenschaftlich validiert, ob die von Entwickler*innenseite gemachten Versprechen bezüglich der Performanz einer KI tatsächlich richtig sind. Schließlich kann das Vertrauensverhältnis zwischen den Beteiligten dieser Vertrauensbeziehung dadurch verbessert werden, dass erstens Ärzt*innen bereits bei der Entwicklung von KI eine zentrale Rolle einnehmen und sich so mit den Programmen vertraut machen sowie ihre Kenntnisse in die Entwicklung einfließen lassen und zweitens bei der Verteilung von Forschungsgeldern die moralischen Dimensionen des jeweiligen KI-Systems eine Rolle spielt. Auf diese Weise können strukturelle Anreize gesetzt werden, KI-Systeme zu entwickeln, die nicht bloß der reinen ökonomischen Gewinnmaximierung dienen, sondern tatsächlich den Patient*innen nutzen.

Transparenz

Fragestellungen der Transparenz sind in unterschiedlichen Hinsichten sowohl mit dem Prinzip der Achtung der Patient*innenautonomie als auch der Vertrauenswürdigkeit verknüpft. Insbesondere vor dem Hintergrund der Neuartigkeit von KI-Systemen in der Medizin erscheint es sinnvoll, dass sowohl die Entwicklung wie auch der Einsatz von KI im medizinischen Kontext Transparenzbedingungen unterliegt. Diese Transparenzforderung muss im Fall von KI aber dahingehend eingeschränkt werden, dass – zumindest zum aktuellen Zeitpunkt – die Leistungsfähigkeit vieler KI-Systeme sinkt, wenn ihre Erklärbarkeit steigt. Da diejenigen KI-Systeme, die zur Identifikation von Erkrankungen genutzt werden, Black-Box-Systeme sind, ist die Erklärbarkeit solcher Systeme ein Problem, das mit anderen ethisch relevanten Gesichtspunkten in ein Abwägungsverhältnis gebracht werden muss. Wenn also beispielsweise ein KI-System zur Identifikation von Krankheiten genutzt wird, muss abgewogen werden, ob und inwiefern die Möglichkeit, den Output der KI erklären zu können, den Nachteil einer weniger präzisen KI-Leistung aufwiegt. Die hier im Hintergrund stehenden Prinzipien sind das Benefizienzprinzip auf der einen Seite – eine präzise KI kommt den Patient*innen dadurch zugute, dass Krankheitsbilder schnell und mit einer hohen Genauigkeit identifiziert werden können – und das Transparenzprinzip, dass die Notwendigkeit medizinischer Eingriffe durch die behandelnden Ärzt*innen erklärt und gerechtfertigt werden muss, auf der anderen. Welches dieser beiden Prinzipien in einer gegebenen Situation schwerer wiegt, hängt von den spezifischen Merkmalen der Situation ab. Zugleich sollte weiter an technischen Lösungen gearbeitet werden, die die Abwägungsproblematik von Performanz und Erklärbarkeit von KI-Systemen entschärft. Darüber hinaus gilt es zu beachten, dass Transparenz und Erklärbarkeit Differenzierungen zulassen, sodass mehr oder weniger Transparenz bei unterschiedlichen Gesichtspunkten möglich sind. Vor diesem Hintergrund ist es denkbar, dass zumindest bestimmte Formen von Transparenz, die nicht zu sehr zulasten der Performanz einer KI gehen, im Rahmen einer informierten Einwilligung ethisch gefordert werden könnten.

Neben der Abwägungsfrage von Performanz und Transparenz betrifft ein zweiter Aspekt der Transparenzdebatte die Frage, welche Art von Transparenz wem gegenüber gefordert werden sollte. Relativ unstrittig ist, dass die von Ärzt*innen genutzten technischen Werkzeuge verlässlich sein müssen und dass der Grad der Verlässlichkeit zumindest auf Anfrage den Patient*innen offengelegt werden sollte. Gerade vor dem Hintergrund der möglichen Diskriminierungsproblematik, ist die Offenlegung der Genauigkeit eines KI-Systems gegenüber Patient*innen ethisch geboten. Weniger relevant sind hingegen technische Details des Systems, die im Zweifel den Patient*innen keine Hilfe bei der medizinischen Entscheidungsfindung bieten. Solche Details können aber relevant sein, wenn die Transparenzfrage nicht gegenüber Patient*innen, sondern gegenüber Ärzt*innen gestellt wird. Da diese Personengruppe umfangreiche medizinische Kenntnisse besitzt, über die Patient*innen im Allgemeinen nicht verfügen und Ärzt*innen die fraglichen KI-Systeme als Arbeitsmittel verwenden, um mit ihrer Hilfe Entscheidungen zu treffen, die sie selbst verantworten müssen, stellen sich in diesem Fall andere Transparenzerwägungen als im Fall von Patient*innen. Ärzt*innen müssen davon ausgehen können, dass ihre Arbeitsmittel den aktuellen Stand wissenschaftlicher Erkenntnisse berücksichtigen und im Fall neuer Erkenntnisse verbessert werden. Auch in dieser Fragestellung kann es sinnvoll sein, Ärzt*innen bereits in der Entwicklung von KI-Systemen einzubinden. 

Abhängig davon, wem gegenüber welche Art von Transparenz gefordert wird, gilt es schließlich zu gewährleisten, dass die offengelegten Informationen für die jeweilige Personengruppe nutzbar sind. In der Debatte zu transparenter KI wird hier ein Unterschied gemacht zwischen den Konzepten der Interpretierbarkeit und der Erklärbarkeit. Interpretierbarkeit bezeichnet dabei jene Art von Verständnis einer KI, in der die verstehende Person umfangreiche technische Kenntnisse haben muss und in der Lage ist, kausal und funktional nachzuvollziehen, wie eine KI funktioniert. Diese Art der Transparenz ist weder für Ärzt*innen noch für Patient*innen relevant. Erklärbarkeit auf der anderen Seite bezieht sich auf eine Art des Verstehens, die an spezifischen Fragestellungen orientiert ist. Im medizinischen Kontext betreffen diese Fragestellungen in erster Linie medizinische Entscheidungen. So kann es etwa für eine*n Patient*in und eine*n Ärzt*in sinnvoll sein, zu verstehen, dass eine selbstlernende KI auf Basis bestimmter Trainingsdaten in der Lage ist, Muster zu erkennen und so Krankheiten zu identifizieren. Ein solches Verstehen der Funktionsweise von KI ist nicht allzu anspruchsvoll, kann aber dennoch für medizinische Entscheidungen ausschlaggebend sein. Diese Überlegungen legen nahe, dass das Problem der Black-Box-KI einer differenzierten Analyse im Einzelfall bedarf. Dabei gilt es zu prüfen, welche Art von Transparenz wir fordern sollten, wem gegenüber wir transparent sein sollten und wie die relevanten Informationen offengelegt werden sollten.

Verantwortung

Sowohl das medizinische Fachpersonal als auch die Entwickler*innen von medizinischer Technologie tragen Verantwortung für den Einsatz der von ihnen genutzten oder geschaffenen Hilfsmittel. Im Fall von KI-Systemen ist allerdings eine Debatte aufgekommen, in der die Frage der Verantwortungszuschreibung im Fall einer defekten KI thematisiert wird. Hintergrund ist dabei der Gedanke, dass der Black-Box-Charakter selbstlernender KI-Systeme die gewöhnliche Zuschreibung moralischer Verantwortlichkeit untergraben könnte. Das liegt daran, dass moralische Verantwortung einer weit verbreiteten Ansicht zufolge voraussetzt, dass die Folgen einer Handlung im Wesentlichen absehbar sein müssen. Nur das, was wir vernünftigerweise voraussehen können, so der Gedanke, unterliegt unserer Kontrolle und kann Teil unserer Handlungsabsicht sein. Die grundsätzliche Unvorhersehbarkeit der Ergebnisse einer KI verhindert, so das Argument, jedoch genau aus diesem Grund die Zuschreibung moralischer Verantwortung. Wenn weder die Entwickler*innen noch das die KI nutzende ärztliche Fachpersonal voraussagen können, welche Ergebnisse eine KI produziert, kann keine dieser Akteursgruppen moralisch für die Fehlleistungen von KI-Systemen verantwortlich sein. Die Gefahr, die in dieser Überlegung zum Ausdruck gebracht wird, besteht darin, dass beim Einsatz von KI in der Medizin Verantwortungslücken entstehen könnten.  

Gegen dieses Argument werden eine Reihe von Einwänden ins Feld geführt, von denen zwei besonders einschlägig sind. Erstens gilt im Allgemeinen, dass die Produzent*innen von medizinischen Geräten Verantwortung dafür tragen, dass die von ihnen entwickelten Hilfsmittel die beworbene Funktion tatsächlich erfüllen. Darüber hinaus gilt, dass diejenigen Personen, die KI-Systeme nutzen, also die Verantwortungstragenden des Gesundheitssystems, dafür sorgen müssen, dass die von ihnen eingesetzten Systeme verlässlich betrieben werden können. Sollte das nicht der Fall sein, kann Verantwortung im Fall von Fehlern auch dann zugeschrieben werden, wenn die Funktionsweise einer KI nicht transparent ist. Aus dieser Perspektive verschiebt sich der Blickwinkel von der direkten Zuschreibung von Verantwortung im Fall von Fehlern zum verantwortungsvollen Einsatz von KI im Allgemeinen. Verantwortung, so der Gedanke, ist komplexer als die Idee der direkten Verantwortungszuschreibung auf Basis einzelner Handlungen. So mag es stimmen, dass wir einer Person eine Handlung nur dann zuschreiben können, wenn sie die Konsequenzen ihres Tuns voraussehen kann. Es mag auch stimmen, dass genau das im Fall von KI-Entwicklung und dem Einsatz von KI gerade nicht möglich ist. Das heißt aber nicht, dass die Entwickler*innen und die die KI nutzenden Ärzt*innen deswegen für den Einsatz von KI nicht verantwortlich wären. Vielmehr gilt es zu betonen, dass Entwickler*innen und Nutzer*innen von KI in unterschiedlichen Hinsichten für den Einsatz von KI ebenso verantwortlich sind, wie etwa Hundebesitzer*innen für ihre Tiere, über deren Verhalten die Tierbesitzenden ebenso wenig Kontrolle haben und welches sie ebenso wenig mit absoluter Genauigkeit voraussagen können, wie die Ergebnisse einer KI. Um dieser Verantwortung Rechnung zu tragen, kann gefordert werden, dass KI-Systeme von unabhängiger Stelle geprüft und validiert werden. Es kann weiterhin gefordert werden, dass bestimmte Aspekte einer KI transparent gemacht werden, so etwa die Auswahl der Trainingsdaten und die Erfolgsrate einer KI in unterschiedlichen Anwendungsfeldern. 

Eine zweite Form der Kritik an der Idee, es entstünden Verantwortungslücken, weil die Funktionsweise einer KI nicht vollständig verständlich und damit grundsätzlich weder kontrollierbar noch voraussagbar ist, kann aus der Beobachtung gewonnen werden, dass auch Personen bisweilen Black-Boxes darstellen. So wird beobachtet, dass etwa im Fall der Neuroradiologie Ärzt*innen keineswegs stets exakt offenlegen können, wie sie zu bestimmten Ergebnissen gelangt sind, weil sie in ihrer Ausbildung nicht etwa für jedes Krankheitsbild klare und eindeutige Regeln an die Hand bekommen, mit deren Hilfe sie Einzelfälle eindeutig zuordnen können. Stattdessen werden sie häufig mit einer bestimmten Menge an Bildern konfrontiert und lernen sukzessive dadurch, Erkrankungen zu identifizieren. Die Undurchsichtigkeit der ärztlichen Entscheidungsfindung verhindert hierbei nicht, dass sie für ihre Entscheidungen verantwortlich sind. Ebenso könnte argumentiert werden, dass keine Notwendigkeit bestehe, im Fall der Verantwortungszuschreibung völlig transparent zu machen, wie ein bestimmtes Ergebnis zustande kommt.

Auch wenn also KI-Systeme aufgrund ihres Black-Box-Charakters Merkmale besitzen, die für die Praxis der Verantwortungszuschreibung relevant sind, folgt daraus nicht, dass Personen deshalb keine Verantwortung für die Nutzung dieser Systeme tragen. Verantwortungszuschreibung ist vielmehr ein komplexes Phänomen, in dem Personen und Personengruppen auch dann für die Produktion und den Einsatz von Technologien verantwortlich gemacht werden können und sollten, wenn sie die Funktionsweise der fraglichen Technologien nicht in jedem Detail erklären oder antizipieren können.

Achtung der Autonomie

Das Prinzip der Achtung der Autonomie im Kontext der Medizinethik wird für gewöhnlich als ethisches Gebot verstanden, das die Achtung der Patient*innenautonomie in den Mittelpunkt rückt. Vor dem Hintergrund historischer Erfahrungen, in denen ein paternalistisch ausgerichtetes Ärzt*innen-Patient*innenverhältnis zu ethisch fragwürdigen Missverhältnissen in der Entscheidungsfindung und Achtung der Autonomie von Patient*innen geführt hat, ist diese Schwerpunktsetzung nicht überraschend. Insbesondere wenn der Einsatz von KI in der Medizin besprochen wird, kann die ethische Analyse sich aber nicht allein auf diese Perspektive beschränken. Vielmehr gilt es zu prüfen, ob und inwiefern KI in der Medizin auch die Autonomie des medizinischen Fachpersonals in problematischer Weise einschränken könnte.

Um diese Frage zu klären, muss zunächst darauf hingewiesen werden, dass sich um den Autonomiebegriff eine vielschichtige und differenzierte philosophische Debatte entwickelt hat, aus der eine Reihe unterschiedlicher Autonomiekonzeptionen hervorgegangen sind. Für den Einsatz von KI in der Medizin zentral ist hierbei das Verständnis von Autonomie als negativer Freiheit, Autonomie als positiver Freiheit und Autonomie als individuelle Entscheidung, informiert in medizinische Eingriffe einzuwilligen oder diese abzulehnen. Die relevante Form der Autonomie ist hierbei grundsätzlich eine individualistische. Damit ist nicht gesagt, dass relationale Autonomiekonzeptionen nicht einschlägig wären, sondern nur, dass in einem ersten Zugriff das individualistische Konzept der Autonomie einen guten ersten Orientierungspunkt in der ethischen Debatte bereitstellt. Wichtig ist schließlich, dass Achtung der Autonomie als ethisches Prinzip nicht alle Auffassungen von Freiheit und Selbstbestimmung umfasst, die im Diskurs diskutiert werden. So mag es eine Form von Freiheit sein, wenn eine Person frei von äußeren Einflüssen ihrer Neigung nachgeht, anderen Personen Schmerzen zuzufügen. Diese Form der Freiheit ist aber offensichtlich nicht moralisch achtenswert. Während also die Achtung menschlicher Freiheit und Selbstbestimmung grundsätzlich moralisch geboten ist, gilt es im Einzelfall zu prüfen, um welche Art von Freiheit es sich handelt.

Der Einfluss von KI-Systemen in der Medizin auf das ärztliche Fachpersonal betrifft in erster Linie die Frage, inwiefern solche Systeme die negative und positive Freiheit des Personals einschränken. Die Frage der negativen Freiheit betrifft primär die Freiheit von externen Einflüssen auf die Entscheidungsfindung des Personals. Diese Problematik betrifft nicht nur automatisierte Formen KI-gestützter Krankheitsdiagnosen, sondern auch die Automatisierung von Arbeitsabläufen im medizinischen Alltag. KI-Systeme, die Krankheiten identifizieren, und solche, die Arbeitsabläufe strukturieren, indem sie etwa Verwaltungsaufgaben automatisieren oder Arbeitszeiten planen, könnten, so der Gedanke, dem medizinischen Fachpersonal extern vorgeben, wie dieses den Arbeitsalltag zu organisieren hat und in alltägliche Arbeitsprozesse eingreifen. Als in der negativen Freiheit eingeschränkt kann das ärztliche Personal also deshalb gelten, weil es sich an den Vorgaben orientieren muss, die solche KI-Systeme geben. Allerdings sind solche externen Vorgaben und unselbstständig bestimmten Arbeitsabläufe keine Neuerung, die erst mit KI-Systemen Einzug hält. Dass das medizinische Fachpersonal äußeren Sachzwängen unterliegt, ist die Grundbedingung für das organisierte Funktionieren eines komplexen Systems wie das eines Krankenhauses. Die fragliche Einschränkung negativer Freiheit ist somit ethisch dann nicht zu beanstanden, wenn die eingesetzten KI-Systeme Verwaltungsaufgaben verlässlich erfüllen.

Die Problemkonstellation, die sich mit der möglichen Einschränkung der positiven Freiheit des ärztlichen Fachpersonals verbindet, betrifft in erster Linie die Sorge, dass Ärzt*innen medizinische Fähigkeiten verlieren könnten, wenn KI-Systeme bestimmte Aufgaben übernehmen. In diesem Verständnis betrifft die relevante positive Freiheit also jene Ermöglichungsbedingungen von Handlungen, die mit den Fähigkeiten des ärztlichen Personals zusammenhängen. Die Sorge ist, dass Ärzt*innen beispielsweise die Fähigkeit verlieren, bestimmte Erkrankungen auf Bildern zu erkennen, wenn KI-Systeme diese Aufgabe aufgrund ihrer höheren Genauigkeit und Effizienz vollständig übernehmen. Der in diesem Kontext aufgeworfene Begriff ist der des de-skilling, welcher den Verlust menschlicher Fähigkeiten im Zuge technologischer Lösungen umschreibt. Auch bei dieser Fragestellung liegt es nahe, davon auszugehen, dass Ärzt*innen über die Zeit hinweg bestimmte Fähigkeiten verlieren, wenn diese in zuverlässiger Weise von KI-Systemen übernommen werden. Die relevanten Fähigkeiten werden im Zuge dieser Entwicklung voraussichtlich nicht mehr Gegenstand der ärztlichen Ausbildung sein, und durch die fehlende tägliche Praxis liegt es nahe zu vermuten, dass selbst jene Ärzt*innen, die die jeweiligen Fähigkeiten einmal besessen haben, diese über die Zeit hinweg verlieren werden. Während also diese Art des Verlusts positiver Freiheit im Sinne bestimmter Fähigkeiten naheliegend ist, gilt auch in diesem Fall, dass solche Prozesse des de-skilling im medizinischen Alltag weder neu noch in jedem Fall problematisch sind. Das Aufkommen neuer technischer Möglichkeiten hat im Laufe der Medizingeschichte stets zu einer Verschiebung der Ansprüche an Ärzt*innen geführt. Statt etwa die Fähigkeit auszubilden, per Handabtastung Erkrankungen zu erkennen, müssen Ärzt*innen heute in der Lage sein, ein MRT zu bedienen und die vom MRT gelieferten Bilder zu interpretieren. Da das MRT genauere Informationen liefern kann als solche, die ein*e Ärzt*in durch ein bloßes Abtasten gewinnen könnte, ist der Verlust der Fähigkeit, Erkrankungen durch Abtasten zu erkennen, nicht problematisch. Ebenso gilt im Fall des Einsatzes von KI in der Medizin, dass Ärzt*innen im Laufe der Zeit bestimmte Fähigkeiten verlieren werden, wenn die KI in bestimmten Aufgabenbereichen bessere Informationen liefert, als Ärzt*innen ohne Hilfe der KI gewinnen können. Dieser Umstand schränkt aber die positive Freiheit der Ärzt*innen in keiner problematischen Weise ein und führt eher zu einem veränderten Aufgabenprofil – einem re-skilling oder up-skilling – statt zu einem völligen Verlust relevanter medizinischer Vermögen. 

Ethisch problematischer ist der Einfluss von KI-Systemen in der Medizin auf die Patient*innenautonomie. Im medizinischen Kontext wird die Autonomie der Patient*innen dadurch geachtet, dass das Einholen einer informierten Einwilligung im Vorfeld medizinischer Eingriffe verpflichtend ist. Eine informierte Einwilligung muss dabei bestimmte Merkmale erfüllen. Sie muss absichtlich erteilt werden, frei von manipulierenden und nötigenden Einflüssen sein und die einwilligende Person muss ein hinreichendes Verständnis davon haben, worin sie einwilligt bzw. was sie informiert ablehnt.  Der Einsatz von KI in der Medizin könnte, insbesondere im Fall von KI-Systemen, die zur Identifikation von Erkrankungen genutzt werden, den letztgenannten Punkt untergraben. Da Systeme dieser Art Black-Boxes sind, wurde die Frage aufgeworfen, ob und inwiefern Ärzt*innen ihre mithilfe solcher KI-Systeme getroffenen Entscheidungen für oder gegen einen medizinischen Eingriff erklären und rechtfertigen können. Da, so das Argument, ein hinreichendes Verständnis aufseiten der Patient*innen voraussetzt, dass ihre Ärzt*innen nachvollziehbar offenlegen können, wie sie zu einer bestimmten Diagnose gelangt sind, könnte so die Autonomie der Patient*innen untergraben werden. 

Die grundsätzliche Frage, die durch diese Problemkonstellation aufgeworfen wird, betrifft somit in erster Linie den Aspekt des Verstehens einer autonom erteilten, informierten Einwilligung. Die Frage ist dementsprechend, welche Art von Information Patient*innen offengelegt und von diesen verstanden werden müssen, damit eine informierte Einwilligung als Ausdruck von Autonomie gelten kann. Offensichtlich kann und sollte nicht erwartet werden, dass der oder die Patient*in alle technischen Details begreift, die ein*n Ärzt*in zu einer Diagnose geführt haben. Würde ein so hoher Maßstab an das Verstehen angelegt, würde kaum eine informierte Einwilligung das Verstehenskriterium erfüllen. So ist es auch nicht überzeugend, dass Patient*innen offengelegt werden muss, wie ein KI-System im Detail funktioniert und aus welchem Grund es eine bestimmte Erkrankung identifiziert hat. Darüber hinaus wird argumentiert, wie weiter oben bereits ausgeführt wurde, dass auch menschliche Ärzt*innen in gewissen Hinsichten Black-Boxes darstellen. So sind Ärzt*innen keineswegs in der Lage, ihre eigene Entscheidungsfindung kleinteilig so zu rekonstruieren, dass sie alle relevanten rechtfertigenden Gründe explizit offenlegen könnten. Gerade im Fall einer Identifikation von Krankheiten auf Bildern können Radiolog*innen oft nicht genau sagen, welche Merkmale eines Bildes genau auf eine Erkrankung schließen lassen. Dennoch sind die Einschätzungen von Radiolog*innen oft korrekt. Vor diesem Hintergrund erscheint es wenig überzeugend, eine informierte Einwilligung in dem einen Fall für angemessen zu halten und im anderen zu argumentieren, wesentliche Merkmale einer moralisch rechtfertigungsfähigen informierten Einwilligung seien nicht erfüllt. Das bedeutet natürlich nicht, dass Ärzt*innen die Grundlagen ihrer Entscheidung im Rahmen einer Informationsoffenlegung gegenüber Patient*innen nicht benennen können sollten, aber es heißt, dass die Gründe, die zur Entscheidung geführt haben, keiner kleinteiligen Darlegung aller relevanter Aspekte bedürfen. Insofern eine KI nachweislich verlässlich in der Identifikation von Erkrankungen ist, kann der Verweis darauf, dass die KI in solchen Fällen für gewöhnlich zuverlässig ist, für das für eine informierte Einwilligung relevante Verstehen ausreichend sein. Das setzt aber erstens voraus, dass die KI tatsächlich zuverlässig funktioniert und zweitens, dass der*die Ärzt*in keine unabhängigen Gründe hat, anzunehmen, dass sie eine fehlerhafte Identifikation vorgenommen hat.

Zitiervorschlag

Deutsches Referenzzentrum für Ethik in den Biowissenschaften (2025). Im Blickpunkt "KI in der Neuromedizin". https://www.drze.de/de/forschung-publikationen/im-blickpunkt/ki-in-der-neuromedizin [Zugriffsdatum]