Hintergrund und Projektinhalt

Methoden der künstlichen Intelligenz werden längst nicht mehr nur von Fachleuten verwendet, sondern immer öfter in Anwendungen oder Produkte des alltäglichen Gebrauchs integriert –  mitunter durch Entwickler*innen mir geringen KI-Kenntnissen, oder einfach extern zugekauft. Mit der Zunahme an KI-Anwendungen entstehen aber auch mehr Richtlinien und Gesetze, die den Einsatz von KI regeln (z.B., der AI-Act oder der Cyber Resilience Act), transparente Prozesse verlangen und dass die Systeme sicher genug sind, um Cyberangriffen standzuhalten. Zwar gibt es theoretischer Arbeiten zu dem Thema, es existiert allerdings kein in der Praxis einsetzbares Instrumentarium, um moderne AI-Systeme kontrollierbar und resilient (widerstandsfähig gegenüber Angriffen) zu machen

Die Forschung zu KI richtet ihr Augenmerk derzeit vor allem auf Fragen der Explainability und Trustworthiness (d. h. welche Faktoren die Entscheidungen einer KI erklären, ob diese transparent und nachvollziehbar sind und wie sich die Systeme insgesamt sicherer machen lassen). In der Praxis anwendbare Instrumentarien, um Angriffe zu erkennen und KI-Systeme kontrollierbar zu machen, sind dagegen nur selten Gegenstand von Forschungsarbeiten. Das wiegt umso schwerer, als unsichere KI-Systeme vielfältige Probleme verursachen können – insbesondere bei Anwendungen in kritischen Bereichen wie der Medizin, aber auch bei KI-Services, die die Recherche und das Zusammenführen von Informationen unterstützen. Es braucht daher Methoden, um hier für mehr Sicherheit zu sorgen.

Ziele

Hauptziel dieses Projektes ist es, Methoden zu erforschen mit denen AI-Systeme kontrollierbar und resilient gemacht werden können. Folgende Teilziele werden dafür abgearbeitet:

• Literaturrecherche zum Projektthema und Aufbau einer intelligenten, einfach und flexibel erweiterbaren Wissensbasis für Risikoidentifikation und Risikobewertung.
• Analyse möglicher Entwicklungsszenarien über den derzeitigen Stand hinaus.
• Untersuchung, welche Maßnahmen für sichere Datenintegration sinnvoll und unerlässlich sind.
• Untersuchung, wie Controllable AI umgesetzt und in der Praxis in realen Umgebungen eingesetzt werden kann.  
• Abklärung von sozialen, rechtlichen und politischen Risiken.

Resultate und Innovation

AISEC entwickelt einen neuen Ansatz für KI-Sicherheit, der mehrere Methoden zu einem praxistauglichen Gesamtpaket zusammenschnürt. Das umfasst moderne Wissensstrukturen und Analysemethoden. Dazu zählen Knowledge Graphs sowie RAG-Ansätze (Retrieval-Augmented Generation), die Informationen aus externen Quellen abrufen und KI-Systeme mit strukturiertem, nachvollziehbarem Wissen unterstützen. Darüber hinaus kommen Use-Case-Analysen, forensische Untersuchungen und Penetrationstests (kontrollierte Sicherheitstests, bei denen Fachleute gezielt Angriffe auf ein System simulieren) zum Einsatz. So werden Risiken systematisch identifiziert, sicherheitskritische Vorfälle besser verstanden und Schwachstellen gezielt behoben.

Ein weiterer Schwerpunkt liegt darauf, die in der Praxis häufig fehleranfälligen und leicht angreifbaren Datenpipelines robuster und sicherer zu gestalten. Dabei spielt das Konzept der Controllable AI eine zentrale Rolle. KI-Systeme werden so entworfen, dass sie Abweichungen erkennen, darauf reagieren und die vorgenommenen Anpassungen dennoch nachvollziehbar und transparent bleiben. Es werden jedoch nicht nur technische sondern auch soziale und rechtliche Fragen einer stärkeren KI-Kontrolle untersucht. Fest im System verankerte Funktionalitäten der Controllable AI können nämlich problematische Nebenwirkungen haben, etwa zu Verzerrungen im Normverhalten eines Systems führen oder Entscheidungsspielräume automatisiert einschränken.

Partner

Fördergeber