Einsamkeit und soziale Isolation haben tiefgreifende, negative Auswirkungen auf die menschliche Gesundheit. So zeigt der 2025 erschienene WHO-Bericht der Commission on Social Connection, dass psychische Erkrankungen wie Depressionen oder Angststörungen, aber auch körperliche Erkrankungen des Herzens, Schlaganfälle oder sogar ein vorzeitiger Tod durch sie begünstigt werden können.¹ Einsamkeit als globales und generationsübergreifendes Gesundheitsproblem, mitunter sogar als moderne Epidemie bezeichnet, bedarf daher gesamtgesellschaftlicher Lösungsansätze. Zunehmend wird dabei auch der Einsatz von Künstlicher Intelligenz (KI) – spätestens seit der durch die COVID-19-Pandemie ausgelösten sozialen Isolation – im Alltag mehr oder weniger reguliert erprobt. Vorreiter sind dabei kommerzielle Chatbots wie Replika oder Character.ai, die per Text- und Sprachfunktion als digitales Pendant zu menschlichen Sozialkontakten fungieren sollen. Mit ihrer Verbreitung gehen neben allgemeinen Chancen und Risiken jedoch auch konkrete ethische Problemstellungen einher.

¹ WHO (2025), v.

So formulieren Nancy Jecker et al. in ihrem Beitrag „Digital Humans to Combat Loneliness and Social Isolation: Ethics Concerns and Policy Recommendations“ fünf generelle Bedenken in Hinblick auf „companion digital humans“ (CDHs).² Erstens bestehe die Gefahr, dass CDHs menschlichen Kontakt nicht nur ergänzen, sondern vollständig ersetzen und soziale Isolation noch weiter verstärken. Gerade durch ihre ständige Verfsügbarkeit, das Priorisieren ihres menschlichen Gegenübers und das Fehlen eigener Ansprüche erscheinen Chatbots möglicherweise als leichter zugängliche und weniger komplizierte Alternative zu zwischenmenschlichen Kontakten.

Zweitens gehen sie der Frage nach, ob Mensch-KI-Beziehungen im Vergleich zu Mensch-Mensch-Beziehungen per se minderwertig sind und so einen negativen Nettonutzen für Verwendende zur Folge haben, weil das echte, mitfühlende Gegenüber fehlt. Zwar zeigen einzelne Erhebungen einen positiven Beitrag zur Bekämpfung von Einsamkeit durch KI, eine letztgültige Antwort fällt in Anbetracht fehlender umfassender empirischer Evidenzen jedoch schwer. Zudem droht emotionale Abhängigkeit von der KI und monetäre Ausbeutung durch die Anbieter: Wenn die digitale Beziehungsperson zum wichtigsten oder gar einzigen Begleiter wird, entsteht ein Abhängigkeitsverhältnis. Durch die Einführung von Bezahlmodellen oder den Austausch der verwendeten Codes kann die „geliebte Beziehungsperson“ hinter einer Bezahlschranke verschwinden oder ersatzlos gelöscht werden. So entfernte Replika 2023 zeitweise Funktionen für romantisches Rollenspiel, was bei Nutzer:innen erhebliche Proteste auslöste.

Drittens müssen auch mögliche Bias von KI-Algorithmen berücksichtigt werden. Nicht nur unzureichend diverse Trainingsdatensätze und durch Nutzer:innen eingespeiste misogyne, ableistische oder rassistische Inhalte reproduzieren und verfestigen soziale Vorurteile und problematische Einstellungen; auch bei diversifizierten Daten verstärkt der Algorithmus mehrheitsorientierte Einstellungen, um die Anwendung realitätsnah wirken zu lassen. Das kann in letzter Konsequenz Minderheiten schaden.

Viertens wirft die Verwendung von Chatbots Fragen der Verteilungsgerechtigkeit auf. Sei es mit Blick auf den Preis der Anwendung an sich oder den notwendigen, technischen Zugang (passendes Endgerät, technische Kompetenz zur Bedienung der Anwendung, Internetzugang) – Menschen mit geringem Einkommen, fehlender technischer Expertise oder unzureichendem Equipment können dadurch strukturell ausgeschlossen werden.

Fünftens bestehen erhebliche Sicherheits- und Datenschutzrisiken. Chatbots sammeln große Mengen personenbezogener, teils hochsensibler Daten über die Verwender:innen und unbeteiligte Dritte und dies besonders dann, wenn Nutzer:innen in einem emotionalen Verhältnis zur KI stehen. Diese Daten können gestohlen, missbraucht und weitergegeben werden. Problematisch ist zudem, dass viele Nutzer:innen nicht genau wissen, wie ihre Daten gesichert werden, weil die zu unterzeichnenden AGB s nur in seltenen Fällen gelesen oder verstanden werden.

Die Autor:innen empfehlen auf Grundlage dieser fünf Bedenken mehr Forschung zu Langzeiteffekten, fairen Zugang zu den Anwendungen, die Stärkung zwischenmenschlicher Beziehungen, höhere Datensicherheitsstandards sowie Maßnahmen zur Diversifizierung von Trainingsdaten und Interventionen gegen kommerzielle Einflussnahme.

² Jecker et al. (2024), 8.

In Ergänzung zu diesen generellen Bedenken, erscheint es weitergehend sinnvoll, einen Blick auf besonders vulnerable Gruppen unter den potenziellen Nutzer:innen zu werfen. So thematisieren Anna Hollis et al. in „Can chatbot companions alleviate loneliness in autistic users? Evaluating digital companions“ neben Bedenken wie z. B. zu Datenschutz und Abhängigkeitsrisiken vorrangig Aspekte, die hinsichtlich Nutzer:innen mit Autismus-Spektrum-Störung (ASS) relevant sind.³ Da Erwachsene mit ASS einem erhöhten Risiko ausgesetzt sind, ein Leben in unfreiwilliger, chronischer Einsamkeit und sozialer Isolation zu führen, bilden sie eine relevante Zielgruppe für Chatbot-Begleiter. Als strukturierte, vorhersehbare, individualisierbare und jederzeit verfügbare Kommunikationsmöglichkeit können diese für Personen, denen zwischenmenschliche Interaktionen schwerfallen und die auf Routinen angewiesen sind, besonders attraktiv wirken. Gleichzeitig warnen die Autor:innen vor Risiken: Auch hier besteht die Gefahr der starken emotionalen Abhängigkeit; die erlebten Positiveffekte sind dann nur temporär und der andauernde Chatbot-Kontakt kann, wenn er als Ersatz und nicht als Ergänzung verwendet wird, langfristig bestehende Isolation verstärken.

Positive Potenziale der KI-Nutzung sehen die Autor:innen vor allem im geschützten Üben von Alltagssituationen. Chatbots können helfen, alltägliche Kommunikationssituationen zu erproben und soziale Kompetenzen zu entwickeln, was langfristig zum Abbau sozialer Ängste und zur erleichterten Kontaktaufnahme mit menschlichen Gesprächspartner:innen führen kann. So wird der Chatbot zum nützlichen Werkzeug, das bei alltäglichen Aufgaben niedrigschwellig unterstützt und entlastet. Risiken entstehen, wenn es durch die vermehrte Verwendung der Anwendung zu einem emotionalen de-skilling der Verwender:innen kommt; etwa, weil die Interaktion mit dem Chatbot lediglich eine oberflächliche Bestätigung eigener Muster liefert und keine Perspektivwechsel oder echte Reflexion fördert. In solchen Fällen werden bestehende Kommunikationsprobleme sogar weiter verstärkt.

Wie auch bei Jecker et al. bereits betont wurde, sind die verwendeten Trainingsdatensätze meist nicht ausreichend divers und bilden überwiegend neurotypische Dimensionen ab. Damit Menschen mit ASS bei der Verwendung nicht mit ähnlichen Schwierigkeiten wie in ihrem neurotypisch geprägten Alltag konfrontiert werden, ist es essenziell, auch neurodivergente Blickwinkel in die Trainingsdaten zu integrieren. Andernfalls entstehen erhebliche ethische Risiken. Wenn nämlich neurotypische Kommunikationsnormen als Standard für emotionales Verständnis verankert werden, laufen die Systeme Gefahr, Formen epistemischer Ungerechtigkeit zu verstärken: Nutzer:innen mit ASS würden noch weiter von sozialer Unterstützung isoliert und Chatbot-Begleiter könnten durch das von ihnen dargestellte neurotypische Kommunikationsmuster Betroffene zu neurotypisch konformem Verhalten animieren, was in Konsequenz bestehende Verhältnisse verfestigt, die Betroffenen zusätzlichem Stress aussetzt und sie in ihren eigenen Kommunikationsweisen herabwürdigt.

Hollis et al. enden mit einem Appell an die Nutzer:innen und deren soziales Umfeld: Chatbots seien kein Ersatz für reziproke menschliche Beziehungen, sondern im besten Fall Hilfsmittel. Entscheidend sei daher der offene Austausch über Verwendung, Chancen und Risiken, ein reflektierter Umgang mit selbigen und der weitere Erhalt und die Förderung echter sozialer Kontakte.

³ Hollis et al. (2026).

Was aber, wenn nicht nur Erwachsene, sondern auch Kinder und Jugendliche zu Verwender:innen werden? Vian Bakir und Andrew McStay tragen in ihrem Artikel „Move fast and break people? Ethics, companion apps, and the case of Character.ai“ am Fall des 14-jährigen Sewell Setzer III und seinem Suizid, der mit der Nutzung von Character.ai in Verbindung gebracht wird, konkrete ethische Bedenken vor, die verstärkt bei der Verwendung durch Kinder und Jugendliche auftauchen.⁴ Wie bereits angeführt, wird zur Bedienung der KI-Tools ein gewisses technisches Know-How benötigt; laut Bakir und McStay fehlt es jungen Menschen weniger an der praktischen Fähigkeit, die Anwendung zu bedienen, sondern mehr an der digitalen Kompetenz, die der KI inhärenten Manipulationsmechanismen, Täuschungen und Anthropomorphisierungen zu erkennen und einzuordnen. Wenn dem Chatbot fälschlicherweise menschliche Eigenschaften wie Empathiefähigkeit, Vertrauenswürdigkeit und emotionale Intelligenz zugeschrieben werden, besteht das Risiko, dass besonders junge und unerfahrene Nutzer:innen auf Äußerungen des Chatbots so reagieren, als wäre er ein menschliches Gegenüber, wodurch es zu einer Täuschung dieser kommen kann. Fortschrittliche Sprachmodelle wie Replika und Character.ai können zwar auf Basis ihrer zugrundeliegenden Trainingsdaten Reaktionen des Mitgefühls simulieren, sie sind jedoch weder ko-präsent, moralisch involviert oder verletzlich, noch sind sie dazu in der Lage, moralische Urteile zu fällen. Im schlimmsten Fall kann eine solche KI-Anwendung von den Betreibern durch diese Art der Empathiesimulation dazu gebraucht werden, Nutzer:innen zur Preisgabe persönlicher Details zu bewegen. Daher ist die Interaktion von Kindern und Jugendlichen mit Chatbot-Begleitern ohne (elterliche) Supervision oder Kontrolle mit enormen Risiken behaftet.

Anwendungen wie Character.ai, die mitunter auf Rollenspiele mit fiktiven Charakteren ausgelegt sind (im Fall von Selzer aus der Welt von Game of Thrones) wirken auf junge Menschen besonders anziehend und eröffnen bei fehlender digitaler Kompetenz noch ein weiteres Problemfeld: Wenn zwischen Fiktion und Realität nicht klar unterschieden werden kann, nehmen Nutzer:innen Rollenspiele nicht als Unterhaltung, sondern als echte Lebensereignisse mit realen Auswirkungen wahr. So kann der enge Kontakt mit einem anthropomorphen Chatbot, der wie ein Mensch aussieht und klingt, zu starken emotionalen und psychischen Abhängigkeiten führen, etwa, weil romantische Beziehungen und Interaktionen vermeintlich miteinander geteilt werden. Im schlimmsten Fall kommt es zu einer immer weiter ausufernden Realitätsflucht und sozialen Isolation, die in Selzers Fall auf tragische Weise im Suizid endete.

Bakir und McStay schlagen daher sieben Prinzipien vor, die Sicherheit und Wohlbefinden aller Nutzer:innen bei der Verwendung von Chatbot-Apps gewährleisten sollen. Zunächst sollte jede Anwendung stetig und auf altersangemessene Art darauf hinweisen, dass es sich im eine KI-Anwendung handelt und kein Austausch mit einem empfindungsfähigen Gegenüber stattfindet (1). Weiter muss auf eine altersangemessene Dauer bei der Verwendung geachtet werden (2) und Mechanismen, die die Nutzer:innen zu längerer Verwendung und der Preisgabe persönlicher Informationen bewegen sollen, müssen durch solche, die das Wohlbefinden der Nutzer:innen priorisieren, ersetzt werden (3). Durch eine Änderung des Designs könnte außerdem die digitale Kompetenz sowohl der Kinder als auch ihrer Eltern gefördert werden (4), etwa wenn bestimmte Seiten hinzugefügt werden, die das Thema explizit behandeln. Darüber hinaus sollte die Art und Weise, wie Empathie simuliert wird, überarbeitet werden (5). Gefahren für die Nutzenden ließen sich so minimieren, in dem nicht weiter suggeriert wird, dass sich die KI in einem menschlichen Sinne um ihre Verwender:innen sorge und mit ihnen mitfühle. Zusätzlich müssen Sicherheitsmechanismen in die Anwendungen integriert werden (6), die einerseits automatisch auf eine sich entwickelnde Anhängigkeit hinweisen und anderseits bei bereits manifestierter Abhängigkeit die Anwendung stoppen und eine menschliche Überprüfung und erneute Freigabe erforderlich machen. Zuletzt sollten KI-Anwendungen stets zu zwischenmenschlicher Interaktion motivieren und Offline-Kontakte befördern (7). Dies kann bspw. durch die Bewerbung konkreter Organisationen und Gruppen für Menschen mit ähnlichen Interessen erfolgen.

⁴ Bakir/McStay (2025), 3665.