zur Hauptnavigation springen zum Inhaltsbereich springen

BayWISS-Kolleg Digitalisierung www.baywiss.de

Projekte im Kolleg Digitalisierung

© Alexander Debieve '

Anwenden von Adversarial Examples zum Testen der Robustheit von Objekterkennern und Identifizierung der Schwachstellen

Das Promotionsprojekt untersucht die Robustheit ML-basierter Objekterkennungsalgorithmen, insbesondere für LiDAR-Daten im Kontext des hochautomatisierten Fahrens. Da sicherheitskritische Systeme zuverlässig durch unbekanntes Umfeld navigieren müssen, ist die zuverlässige Erkennung von Objekten in Sensordaten essenziell. Sogenannte Adversarial Examples können Klassifikatoren und Objekterkenner jedoch durch minimale, für den Menschen kaum wahrnehmbare Veränderungen fehlleiten und so zu falschen Entscheidungen führen. Das Projekt zielt darauf ab, solche Schwachstellen zu identifizieren und Methoden zur Verbesserung der Robustheit zu entwickeln.

Methodisch werden Adversarial Examples genutzt, um die Robustheit zu bewerten: Ein Objekterkenner gilt als robust, wenn er trotz Störungen alle Objekte weiterhin erkennt. Aufbauend auf bestehenden Arbeiten wird untersucht, inwiefern sich 2D- und 3D-Angriffe unterscheiden und ob Adversarial Training die Robustheit steigern kann. Ein besonderer Fokus liegt auf der Effektivität von Angriffen, bei denen bereits wenige veränderte Punkte hohe Fehlerraten verursachen.

Ergänzend kommen Methoden der erklärbaren KI (XAI) zum Einsatz, etwa modellagnostische Salienzkarten, die durch Maskierung der Eingangsdaten erstellt werden. Diese ermöglichen es, nachvollziehen, auf welche Strukturen ein Algorithmus achtet. Dadurch können Schwachstellen gezielt identifiziert und behoben werden. XAI erhöht zugleich die Transparenz und die Nutzerakzeptanz neuer Technologien.

Das Vorhaben wird von drei Forschungsfragen geleitet: die Robustheitsanalyse mittels modellagnostischer XAI-Methoden, die kombinierte Anwendung von Adversarial Attacks und XAI zur Aufdeckung von Stärken und Schwächen sowie die Entwicklung konkreter Methoden zur Robustheitssteigerung gegenüber zufälligen und gezielten Veränderungen.

MITGLIED IM KOLLEG

seit

Betreuerin Otto-Friedrich-Universität Bamberg:

Prof. Dr. Ute Schmid

Forschungsschwerpunkte:


-- Interpretierbares maschinelles Lernen
-- Lernen aus relationen Daten
-- Multimodale Erklärungsgenerierung
-- Hypbrides tiefes und symbolisches Lernen
-- Intelligente Tutorsysteme
-- Anwendungen in bildbasierter Diagnostik in Medizin, Agrar, und Produktion
-- Mimikanalyse



https://www.uni-bamberg.de/en/cogsys/schmid-ute/cvdeu/

Betreutes Projekt:
Anwenden von Adversarial Examples zum Testen der Robustheit von Objekterkennern und Identifizierung der Schwachstellen

Benedikt Schlereth-Groh

Benedikt Schlereth-Groh

Technische Hochschule Nürnberg Georg Simon Ohm

Koordination

Treten Sie mit uns in Kontakt. Wir freuen uns auf Ihre Fragen und Anregungen zum Verbundkolleg Digitalisierung.

Katharina Raab

Katharina Raab

(aktuell nicht im Dienst)
Koordinatorin BayWISS-Verbundkolleg Digitalisierung
Julius-Maximilians-Universität Würzburg
Graduate Schools of Science and Technology
Beatrice-Edgell-Weg 21
97074 Würzburg

digitalisierung.vk [ at ] baywiss.de

Dr. Karin Streker

Dr. Karin Streker

(derzeitige Vertretung/ aktuelle Ansprechpartnerin)

Koordinatorin BayWISS-Verbundkolleg Digitalisierung

Julius-Maximilians-Universität Würzburg
Graduate Schools of Science and Technology
Beatrice-Edgell-Weg 21
97074 Würzburg

Telefon: +49 931 3189695
digitalisierung.vk [ at ] baywiss.de