08015 Risikomanagement für KI-Systeme im Medizinbetrieb

Künstliche Intelligenz hat in der Medizin in den vergangenen Jahren einen enormen Reifegrad erreicht: KI-basierte Systeme unterstützen Radiologen bei der Befundung, schlagen Ärzten Therapieoptionen vor und optimieren klinische Abläufe von der Terminplanung bis zur Medikation. Was früher experimentell war, ist heute Teil des klinischen Alltags. Der Nutzen ist unbestritten: KI steigert Geschwindigkeit, entlastet Fachpersonal und kann durch Mustererkennung in großen Datenmengen Diagnosen und auch Therapien verbessern.

Sicherheit, Ethik, Transparenz?
Doch je tiefer solche Systeme in die Entscheidungsprozesse eingreifen, desto stärker wächst auch die Abhängigkeit medizinischer Abläufe von algorithmischen Entscheidungen. Ein falsch trainiertes Modell, ein verzerrter Datensatz oder eine unerkannte Modelländerung kann unmittelbar Einfluss auf die Patientensicherheit nehmen – mit potenziell schwerwiegenden Folgen. Diese neue Realität führt zu einer entscheidenden Frage: Wie lässt sich der medizinische Fortschritt durch KI mit dem Anspruch an Sicherheit, Ethik und Transparenz vereinbaren? Denn KI-Risiken sind nicht nur technischer Natur, sie berühren auch ethische Grundwerte und das Vertrauen zwischen Arzt und Patient. Ein Algorithmus, der Diagnosen priorisiert oder Behandlungen empfiehlt, verändert die Beziehung zwischen Mensch und Maschine fundamental.

Fehlentscheidungen, intransparente Modelle oder unzureichende Nachvollziehbarkeit können nicht nur medizinische Schäden verursachen, sondern auch das Vertrauen in KI-gestützte Medizin nachhaltig beeinträchtigen. Deshalb wird das Risikomanagement von KI-Systemen zum zentralen Steuerungsinstrument – für Hersteller wie auch für Betreiber. Es entscheidet darüber, ob KI in der Medizin als sichere Unterstützung wahrgenommen wird oder als unkontrollierbares Risiko.

Dieser Beitrag beleuchtet, wie Betreiber medizinischer Einrichtungen dieser Verantwortung gerecht werden können: durch ein strukturiertes Risikomanagement, das regulatorische Anforderungen, technische Bedrohungen und ethische Aspekte gleichermaßen berücksichtigt.

Hochrisiko-KI
Der europäische AI Act schafft erstmals einen verbindlichen Rechtsrahmen für den sicheren und vertrauenswürdigen Einsatz von Künstlicher Intelligenz in der EU. Für die Medizin ist er von besonderer Relevanz: KI-Systeme mit diagnostischem oder therapeutischem Zweck gelten gemäß Anhang III des AI Act grundsätzlich als Hochrisiko-KI. Das betrifft Systeme, die ärztliche Entscheidungen beeinflussen oder automatisiert klinische Prozesse steuern – also genau jene Anwendungen, die heute zunehmend in Diagnostik, Radiologie, Robotik oder Entscheidungsunterstützung eingesetzt werden. Damit überschneiden sich zwei Regulierungswelten: die EU-Medizinprodukteverordnung (MDR) und der AI Act. Während die MDR auf Sicherheit, Leistungsfähigkeit und klinische Evidenz medizinischer Produkte zielt, ergänzt der AI Act diese um Anforderungen an Transparenz, Governance und Risikoüberwachung über den gesamten Lebenszyklus eines KI-Systems. Hochrisiko-KI-Systeme unterliegen zudem auch Konformitätsbewertungsverfahren.

Für Hersteller bedeutet das eine doppelte Verantwortung: Die KI muss sowohl als Medizinprodukt sicher sein (MDR) als auch die Anforderungen an Hochrisiko-KI-Systeme erfüllen (AI Act).

Der AI Act trennt die Verantwortlichkeiten klar, doch in der Praxis greifen sie ineinander. Beide Seiten – Anbieter und Betreiber – tragen wesentliche Anteile an der Sicherheit und Verlässlichkeit medizinischer KI-Systeme.

Anbieter (Hersteller, Entwickler oder Importeure) müssen

Doch auch Betreiber – also Kliniken, Labore, Praxen oder andere medizinische Einrichtungen, die KI-Systeme einsetzen – tragen eigene Pflichten gemäß AI Act. Sie sind verantwortlich für

Entscheidend ist die Zusammenarbeit an der Schnittstelle zwischen beiden Parteien. Transparente Prozesse zur Data Provenance (Herkunft und Qualität der Daten), Change Management bei System-Updates und regelmäßige Risiko-Reviews sind unerlässlich. Gemeinsame Incident-Response-Prozesse stellen sicher, dass Vorfälle koordiniert bewertet, gemeldet und behoben werden – im Sinne der Patientensicherheit und der regulatorischen Compliance.

Damit wird klar: Der AI Act verlagert die Verantwortung für Patientensicherheit nicht allein auf den Entwickler, sondern teilt sie zwischen Anbieter und Betreiber auf.

Der Cyber Resilience Act (CRA) ergänzt den europäischen Regulierungsrahmen um horizontale Cybersicherheitsanforderungen für alle Produkte mit digitalen Elementen – von Software bis zu vernetzten Geräten. Sein Ziel: Mindeststandards für IT-Sicherheit über den gesamten Produktlebenszyklus, von der Entwicklung bis zu Updates und Schwachstellenmanagement.

Für medizinische KI-Systeme gilt allerdings eine wichtige Einschränkung: Der CRA ist nicht direkt anwendbar auf Produkte, die bereits unter spezialisierte EU-Regulierungen mit gleichwertigen Anforderungen fallen – insbesondere auf Medizinprodukte gemäß MDR und IVDR. Die MDR enthält bereits vergleichbare Pflichten in Bezug auf Produktsicherheit, klinische Bewertung und technische Dokumentation. Trotzdem bleibt der CRA indirekt relevant – insbesondere in drei Bereichen:

Für Betreiber bedeutet das: Wer KI-Systeme in medizinischen Prozessen einsetzt, sollte sicherstellen, dass alle Zulieferprodukte und Komponenten CRA-konform sind – auch wenn das eigene KI-System MDR-zertifiziert ist. Diese Vorgehensweise stärkt nicht nur die Nachweisführung gegenüber Behörden und Auditoren, sondern auch die Cybersicherheit in der Lieferkette.

So entsteht ein einheitlicher Sicherheitsrahmen:

Der sichere Einsatz von KI-Systemen in der Medizin hängt nicht allein von der Softwarequalität oder den regulatorischen Zulassungen ab, sondern von einem lebenden Risikomanagement, das technologische, organisatorische und ethische Risiken gleichermaßen berücksichtigt.

Der AI Act verpflichtet sowohl Anbieter als auch Betreiber, Risiken systematisch zu identifizieren, zu bewerten und zu dokumentieren – nicht einmalig, sondern fortlaufend über den gesamten Lebenszyklus des Systems. Für Betreiber medizinischer Einrichtungen wird Risikomanagement damit zu einem zentralen Steuerungsinstrument im täglichen Betrieb.