01005 MIT-Glossar

Mit dem AI Act (EU-Verordnung 2024/1689) hat die Europäische Union erstmals ein umfassendes Regelwerk für den Einsatz von Künstlicher Intelligenz (KI) geschaffen. Unternehmen, die KI-Systeme anbieten oder einsetzen, stehen nun vor der Herausforderung, eine Vielzahl neuer Vorschriften zu erfüllen. Verstöße gegen diese Vorgaben können mit erheblichen Strafen geahndet werden.

Der AI Act (Verordnung EU 2024/1689) etabliert ein risikobasiertes Rahmenwerk für KI, das die Bewertung und Regulierung von KI-Systemen direkt vom jeweiligen Anwendungsszenario ableitet. Im Krankenhausumfeld ist dieser Ansatz von besonderer Relevanz, da hier viele KI-Anwendungen in die Kategorie des Hochrisikos fallen dürften – beispielsweise Systeme zur Diagnostik, Triage oder Behandlungsplanung. Diese Systematik zielt darauf ab, den notwendigen technologischen Fortschritt und die Innovationen im Gesundheitswesen zu fördern und gleichzeitig essenzielle Grundrechte zu schützen. Dies umfasst insbesondere den Datenschutz, die Privatsphäre der Patienten sowie den Schutz vor Diskriminierung bei medizinischen Entscheidungen. Folglich sind Krankenhausträger und andere Gesundheitseinrichtungen als Anwender verpflichtet, die umfassenden neuen Anforderungen des AI Act konsequent zu implementieren und deren Einhaltung zu dokumentieren, um sowohl die Sicherheit der Patienten zu gewährleisten als auch empfindliche Sanktionen zu vermeiden.

Der AI Act sieht eine gestaffelte Einführung seiner Regelungen vor, die für Krankenhäuser und Kliniken mehrere kritische Stichtage markiert:

Der AI Act erfordert von Kliniken eine proaktive Überprüfung und Anpassung ihrer digitalen Infrastruktur, um die schrittweisen Anforderungen fristgerecht zu erfüllen.

Die Verordnung EU 2024/1689 ist keine isolierte Vorschrift, sondern fungiert als wichtige Ergänzung der bereits geltenden Datenschutz-Grundverordnung (DSGVO), insbesondere im Hinblick auf den Einsatz von KI in Krankenhäusern und Kliniken. Die DSGVO regelt den Umgang mit personenbezogenen Daten, wobei im Gesundheitswesen häufig sensible Gesundheitsdaten betroffen sind, was die Anforderungen besonders hoch ansetzt. Der AI Act verschärft und konkretisiert diese Anforderungen, indem er zusätzliche Pflichten zur Transparenz und zur Nachvollziehbarkeit algorithmischer Entscheidungen etabliert.

Für Kliniken bedeutet das, dass KI-Systeme, die etwa Diagnosen unterstützen oder Behandlungspfade vorschlagen – und damit Entscheidungen mit erheblichen Auswirkungen auf Patienten treffen –, nicht als „Black Box” funktionieren dürfen. Es muss lückenlos dokumentiert werden, wie der Algorithmus zu seinem Ergebnis gekommen ist.

Hier rückt die „Erklärbare Künstliche Intelligenz (Explainable AI, XAI)” in den Fokus, die im Krankenhaus- und Klinikalltag eine entscheidende Rolle einnimmt. XAI-Technologien ermöglichen es, den Anbietern von KI-Lösungen und den Kliniken als Anwendern, die Funktionsweise ihrer KI-Anwendungen so darzustellen, dass Ärzte, medizinisches Personal und – im Falle einer Betroffenheit – auch Patient die Gründe für eine bestimmte KI-gestützte Empfehlung verstehen und überprüfen können. Dieser Sachverhalt ist insofern von besonderer Bedeutung, wenn die KI als Medizinprodukt (Software als Medizinprodukt) in den Markt gebracht wird.

Durch die Integration von XAI-Methoden können Krankenhäuser die neuen rechtlichen Anforderungen des AI Act leichter erfüllen. Dies dient nicht nur der Compliance (sogenannte KI-Compliance – s. Kap. 05409), sondern schafft auch das notwendige Vertrauen und die Rechenschaftspflicht im klinischen Einsatz, was letztlich die Patientensicherheit maßgeblich erhöht und die Haftungsrisiken der Gesundheitseinrichtungen minimiert. Kliniken sind daher angehalten, bei der Beschaffung neuer KI-Systeme verstärkt auf die integrierte Erklärbarkeit der Anwendungen zu achten. Der Fokus liegt auch auf der KI, die als sogenannte integrierte KI in vernetzten Medizinprodukten, wie z. B. Magnetresonanztomografen oder Computertomografen Anwendung finden.

Für Krankenhäuser und Kliniken gewinnt der Einsatz von Artificial Intelligence for IT Operations (AIOps) zunehmend an Bedeutung, da die Zuverlässigkeit und Effizienz der digitalen Infrastruktur essenziell für die Patientenversorgung sind. AIOps nutzt Künstliche Intelligenz (KI), Maschinelles Lernen (ML) und die Verarbeitung von Big Data, um den gesamten IT-Betrieb zu überwachen, optimieren und automatisieren.

Im hochkomplexen Umfeld eines Krankenhauses, das eine Vielzahl kritischer Systeme wie Krankenhausinformationssysteme (KIS), elektronische Patientenakten (ePA), Bildgebungssysteme (PACS) und medizinische IoT-Geräte umfasst, fallen riesige Datenmengen an. AIOps-Lösungen sammeln und analysieren die von all diesen heterogenen Geräten und IT-Systemen gelieferten Betriebsdaten in Echtzeit. Herkömmliche IT-Überwachungssysteme wurden für feste, physische Infrastrukturen entwickelt. Sie sind oft überfordert, wenn es um moderne, ständig wechselnde Cloud- oder Micro-Service-Umgebungen geht. Der AIOps-Ansatz löst dieses Problem, indem er Künstliche Intelligenz (KI) und Maschinelles Lernen nutzt. Dadurch eignet sich AIOps ideal für die Überwachung und Optimierung komplexer und schnelllebiger IT-Landschaften.