Dr.-Ing. Benedikt Lorch
Dr.-Ing. Benedikt Lorch
Titel des Promotionsprojektes: Reliable Machine Learning Methods in Image Forensics
Fachmentorat: Christian Riess, Hany Farid, Hans Kudlich
Zeitraum der Mitgliedschaft im Kolleg: 01.10.2019–30.09.2022
Finanzierung (Art, Zeitraum): DFG, 01.10.2019–30.09.2022
Beginn und Zeitpunkt der Promotion: 01.09.2018–15.2.2023
Darstellung des Promotionsprojekts und der erzielten Forschungsergebnisse
Bei strafrechtlichen Ermittlungen kommen häufig Bilder vor, die wichtige Hinweise liefern und vor Gericht als Beweismittel dienen können. Um die Authentizität eines Bildes zu überprüfen und dessen Quelle zu identifizieren, wurde bisher ein breites Spektrum an forensischen Werkzeugen fur Bilder entwickelt. Seit einigen Jahren basieren die leistungsfähigsten dieser Werkzeuge auf maschinellem Lernen. Allerdings werfen Bedenken hinsichtlich der Zuverlässigkeit, der Sicherheit und der Undurchsichtigkeit von maschinellem Lernen die Frage auf, ob solche Werkzeuge bei strafrechtlichen Ermittlungen eingesetzt werden konnen.
Im Verlauf meiner Arbeit habe ich drei Aspekte der praktischen Anwendbarkeit von maschinellem Lernen in der Bildforensik untersucht, zwei davon aus technischer und einer aus rechtlicher Perspektive. Aus technischer Perspektive ist eine der größten Herausforderungen bei der Verwendung von maschinellen Lernmethoden ihre Fehleranfälligkeit, wenn die Testdaten von den Trainingsdaten abweichen. Das Problem ist besonders relevant in der Forensik, da die zu analysierenden Bilder meistens aus unbekannter Herkunft stammen, zum Beispiel aus dem Internet. Bei unbekannten Eingaben versagen maschinelle Lernmethoden oftmals stillschweigend. Als Lösungsansatz haben wir uns Bayesische maschinelle Lernverfahren anhand von drei beliebten forensischen Anwendungen angeschaut. Im Gegensatz zu klassischen maschinellen Lernmethoden geben diese Methoden, zusätzlich zur Vorhersage, eine Vorhersageunsicherheit mit aus. Mithilfe dieses Unsicherheitsmaßes kann ein forensischer Analyst abschätzen, inwieweit man der Vorhersage vertrauen kann.
Ein zweites Problem aus technischer Sicht ist die Anfälligkeit von maschinellem Lernen gegenüber Angriffen. Das Ziel der Manipulation von Bildern ist den Betrachter zu täuschen. Aber es besteht auch die Sorge, dass ein versierter Fälscher noch einen Schritt weitergeht und nicht nur versucht, den Betrachter zu täuschen, sondern auch die Werkzeuge eines forensischen Analysten. Zu diesem Thema haben wir uns die Widerstandsfähigkeit einer kürzlich vorgeschlagenen Verteidigung angeschaut und dabei drei subtile Fallstricke identifiziert, welche die Widerstandsfähigkeit untergraben. Darauf basierend haben wir eine verbesserte Variante dieser Verteidigung mit hoherer Widerstandsfähigkeit gegen Angriffe vorgeschlagen.
Aus rechtlicher Sicht ist bis vor kurzem unklar gewesen, ob maschinelle Lernmethoden bei Strafermittlungen eingesetzt werden konnen. Um diese Lücke zu schließen, hat die Europäische Kommission im April 2019 einen Entwurf für das KI Gesetz vorgestellt. Laut dem Gesetzesentwurf dürfen maschinelle Lernmethoden eingesetzt werden, müssen aber verbindliche Anforderungen erfüllen. Wir haben uns diese Anforderungen angeschaut und ihre Übereinstimmung mit jüngsten Forschungsarbeiten anhand von zwei Beispielen diskutiert, nämlich der Erkennung von KFZ Kennzeichen und der Erkennung von Deep Fakes. Die Diskussion zeigt die wichtigsten Herausforderungen und die Richtungen auf für künftige Forschungsarbeiten zur Erfüllung der Anforderungen aus dem KI Gesetz.
Mit meiner Dissertation hoffe ich, die praktische Anwendbarkeit von maschinellen Lernmethoden in der Bildforensik aus mehreren Perspektiven beleuchtet und das Forschungsfeld einen kleinen Schritt vorangebracht zu haben. Nichtsdestotrotz bleiben noch viele offene Herausforderungen. Unsere Methoden haben vielversprechende Ergebnisse geliefert, aber bei oft relativ eng gesteckten Problemstellungen. Ein naheliegender nachster Schritt wäre jetzt, die Methoden auf breitere Problemstellungen anzuwenden.
Bei meinem Promotionsprojekt konnte ich mit zwei anderen geförderten WissenschaftlerInnen aus dem GRK zusammengearbeiten. Bei der Analyse der rechtlichen Aspekte zur Verwendung von maschinellem Lernen in der Strafverfolgung habe ich mit Nicole Scheler zusammengearbeitet, die mich mit ihrem juristischen Hintergrund bei der Recherche zu den rechtlichen Rahmenbedingungen und der Interpretation des KI Gesetzes tatkraftig unterstützt hat. Aus der Zusammenarbeit ist auch ein Konferenzbeitrag entstanden. Zum anderen konnte ich Janine Schneider bei der Analyse ihrer Messdaten zur Manipulation von digitalen Spuren unterstützen. Janine hatte sich mit der Frage beschäftigt, wie leicht man digitale Spuren fälschen und damit einen forensischen Analysten täuschen kann. Hier haben wir auch einige Parallelen zu anti-forensischen Methoden in der Bildforensik identifiziert. Letztendlich ist aus ihrer Arbeit auch eine gemeinsame Publikation entstanden.
Publikationen
2023
Reliable Machine Learning Methods in Image Forensics (Dissertation, 2023)
URL: https://nbn-resolving.org/urn:nbn:de:bvb:29-opus4-217322 :
On the Security of the One-and-a-Half-Class Classifier for SPAM Feature-Based Image Forensics
In: IEEE Transactions on Information Forensics and Security (2023)
ISSN: 1556-6013
DOI: 10.1109/TIFS.2023.3266168
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2023-Lorch-OSO.pdf , , , :
Benchmarking Probabilistic Deep Learning Methods for License Plate Recognition
In: IEEE Transactions on Intelligent Transportation Systems (2023), S. 1-14
ISSN: 1524-9050
DOI: 10.1109/TITS.2023.3278533 , , , :
2022
Compliance Challenges in Forensic Image Analysis Under the Artificial Intelligence Act
European Signal Processing Conference (Belgrade, 29. August 2022 - 2. September 2022)
DOI: 10.23919/eusipco55093.2022.9909723
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2022-Lorch-AIA-EUSIPCO.pdf , , :
Bayesian Tools for Reliable Multimedia Forensics
2022 VIII International Conference on Information Technology and Nanotechnology (ITNT) (Samara, 23. Mai 2022 - 27. Mai 2022)
DOI: 10.1109/ITNT55410.2022.9848571
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2022-Maier-BNN-ITNT.pdf , , :
Prudent design principles for digital tampering experiments
DFRWS EU 2022 (Oxford, 29. März 2022 - 31. März 2022)
In: Elsevier (Hrsg.): Forensic Science International: Digital Investigation 2022
DOI: 10.1016/j.fsidi.2022.301334
URL: https://www.sciencedirect.com/science/article/pii/S2666281722000038 , , , , :
2021
Learning to Decipher License Plates in Severely Degraded Images
MultiMedia FORensics in the WILD (, 11. Januar 2021 - 11. Januar 2021)
In: Pattern Recognition. ICPR International Workshops and Challenges. ICPR 2021 2021
DOI: 10.1007/978-3-030-68780-9_43
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2021-Schirrmacher-LTD.pdf , , , :
Reliable Camera Model Identification Using Sparse Gaussian Processes
In: IEEE Signal Processing Letters (2021), S. 912-916
ISSN: 1070-9908
DOI: 10.1109/LSP.2021.3070206
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2021-Lorch-GPC.pdf , , , :
Reliable Camera Model Identification Through Uncertainty Estimation
IEEE International Workshop on Biometrics and Forensics (, 6. Mai 2021 - 7. Mai 2021)
DOI: 10.1109/IWBF50991.2021.9465097
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2021-Pan-IWBF.pdf , , , :
2020
Reliable JPEG Forensics via Model Uncertainty
IEEE International Workshop on Information Forensics and Security (online, 6. Dezember 2020 - 11. Dezember 2020)
DOI: 10.1109/wifs49906.2020.9360893
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2020-Lorch-BLR.pdf , , :
Toward Reliable Models For Authenticating Multimedia Content: Detecting Resampling Artifacts With Bayesian Neural Networks
IEEE International Conference on Image Processing (, 25. Oktober 2020 - 28. Oktober 2020)
DOI: 10.1109/icip40778.2020.9191121
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2020-Maier-BNN.pdf , , :
SR²: Super-Resolution With Structure-Aware Reconstruction
2020 IEEE International Conference on Image Processing (ICIP) (Online, 25. Oktober 2020 - 28. Oktober 2020)
DOI: 10.1109/ICIP40778.2020.9191253
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2020-Schirrmacher-SR2.pdf , , , , :
2019
Forensic Reconstruction of Severely Degraded License Plates
IS&T Electronic Imaging (Burlingame, CA, 13. Januar 2019 - 16. Januar 2019)
In: Society for Imaging Science & Technology (Hrsg.): Electronic Imaging 2019
DOI: 10.2352/issn.2470-1173.2019.5.mwsf-529
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2019-Lorch-LP.pdf , , :
Image Forensics from Chroma Subsampling of High-Quality JPEG Images
ACM Workshop on Information Hiding and Multimedia Security (Paris, 3. Juli 2019 - 5. Juli 2019)
DOI: 10.1145/3335203.3335722
URL: https://faui1-files.cs.fau.de/public/publications/mmsec/2019-Lorch-IFC.pdf , :
2017
Automated Detection of Motion Artefacts in MR Imaging Using Decision Forests.
In: Journal of Medical Engineering 2017 (2017), Art.Nr.: 4501647
ISSN: 2314-5129
DOI: 10.1155/2017/4501647 , , , , , :
2015
Projection and Reconstruction-Based Noise Filtering Methods in Cone Beam CT
Bildverarbeitung für die Medizin 2015 (Lübeck)
In: Bildverarbeitung für die Medizin 2015 2015
URL: https://www5.informatik.uni-erlangen.de/Forschung/Publikationen/2015/Lorch15-PAR.pdf , , , :
Unobtrusive Heart Rate Estimation during Physical Exercise using Photoplethysmographic and Acceleration Data
37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society EMBC ’15 (Milano)
In: 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society EMBC ’15 2015 , , , , , , , , , , , :