Johanna Schmidhuber, wissenschaftliche Mitarbeiterin in der Abteilung Trustworthy Digital Health am Fraunhofer-Institut für Kognitive Systeme IKS

Frau Schmidhuber, wann ist medizinische KI vertrauenswürdig, und wann wird sie gefährlich? Vertrauenswürdig ist KI nur, wenn ihre Ergebnisse nachvollziehbar sind und auf sauberen, repräsentativen Daten basieren. KI muss zuverlässig, transparent und unter menschlicher Aufsicht arbeiten. Problematisch wird es, wenn Systeme scheinbar überzeugende Antworten liefern, ohne ihre Grundlage und Quellen offenzulegen. Das Risiko ist nicht nur die KI, sondern auch der Mensch, der ihr zu schnell vertraut.

Viele Anwendungen wirken überzeugend. Was ist der größte Trugschluss im Umgang mit medizinischer KI? Viele KI-Anwendungen bewähren sich heute schon im Einsatz, etwa in der Radiologie. Voraussetzung ist aber, dass überzeugend wirkende Ergebnisse nicht automatisch für richtig gehalten werden. Ein System kann leistungsfähig erscheinen und dennoch systematische Fehler enthalten. Wenn bestimmte Gruppen in den Trainingsdaten unterrepräsentiert sind, überträgt sich dieses Ungleichgewicht auf die Resultate. Das Problem ist: Verzerrungen sind oft erst sichtbar, wenn man den Datensatz gezielt daraufhin analysiert. Genau daran arbeiten wir am Fraunhofer IKS.

Wie lässt sich diese Unsicherheit konkret kontrollieren? Indem man KI-Systeme vor allem erklärbar macht und konsequent überprüft – vor dem Einsatz und im Alltag. In der medizinischen Bildanalyse lässt sich beispielsweise markieren, welche Bereiche eines MRTs oder CTs für die KI-Einschätzung entscheidend waren. Fachkräfte erkennen dann, ob die KI relevante Strukturen bewertet oder sich täuscht. Zusätzlich braucht es Tests unter realen Bedingungen. Erst im Zusammenspiel mit ärztlicher Erfahrung zeigt sich, ob ein System zuverlässig arbeitet.

Vertrauenswürdig ist KI nur, wenn ihre Ergebnisse nachvollziehbar sind und auf sauberen, repräsentativen Daten basieren.

Ein besonders kritischer Punkt ist die Frauengesundheit. Was kann KI hier besser machen? Viele medizinische Standards basieren historisch auf männlichen Daten. Beim Herzinfarkt etwa gelten Brustschmerz und ausstrahlender Schmerz im Arm als typische Symptome. Frauen zeigen aber häufig andere Anzeichen wie Übelkeit oder Erschöpfung. Die Folge: Herzinfarkte werden bei Frauen oft schlechter oder später erkannt. Geschlechterspezifische Unterschiede wurden lange unterschätzt. KI kann helfen, diese zu erkennen, und ermöglicht individuelle Diagnosen. Voraussetzung dafür ist, dass Datensätze ausgewogen sind. Sonst verstärkt die Technologie genau die Verzerrungen, die sie eigentlich beheben soll.

Wer trägt die Verantwortung, wenn eine KI eine falsche Empfehlung gibt? Und wie verändert das die Medizin der nächsten Jahre? Die medizinische Verantwortung liegt beim Arzt oder der Ärztin. KI liefert Hinweise, aber keine Entscheidungen. Gleichzeitig tragen Entwickler eine große Verantwortung, Systeme so zu gestalten, dass sie verlässlich arbeiten. Das braucht klare Qualitätskriterien, intensive Tests und eine Überwachung im Einsatz. In Zukunft wird sich der Einsatz ausweiten. KI wird zunehmend dabei helfen, Risiken früh zu erkennen und die Verwaltung zu entlasten. Entscheidend ist, dass wir nur KI-Systeme einsetzen, die zuverlässig funktionieren. Daraus entsteht Vertrauen – die Grundlage für die Akzeptanz von KI.