Smart Microscopy using Machine Learning for Volumetric Biological Samples

Katharina Schmidt

AutorIn

Katharina Schmidt

Titel

Smart Microscopy using Machine Learning for Volumetric Biological Samples

Zitierfähige Url:

https://nbn-resolving.org/urn:nbn:de:bsz:14-qucosa2-1055151

Erstveröffentlichung

2026

Datum der Einreichung

29.09.2025

Datum der Verteidigung

26.03.2026

Abstract (DE)

Die optische Lichtmikroskopie ist eine der grundlegendsten Techniken zur Untersuchung biologischer Proben und liefert sowohl strukturelle als auch funktionelle Informationen mit hoher räumlicher und zeitlicher Auflösung. In den letzten Jahrzehnten wurden zahlreiche Mikroskopiemodalitäten entwickelt, um die inhärenten Einschränkungen der Weitfeldbildgebung, wie unzureichende axiale Auflösung oder begrenzte Eindringtiefe von wenigen Mikrometern, zu überwinden. Beispielsweise verbessert die konfokale Mikroskopie die axiale Auflösung durch optische Schnitte mit Hilfe einer Blende vor dem Detektor. Dennoch wird die Bildqualität nach wie vor stark durch Aberrationen beeinträchtigt, welche durch Brechungsindex-Inhomogenitäten in der Probe und im Abbildungssystem entstehen. Darüber hinaus verlängert die manuelle Markierung von Proben durch chemische oder genetische Färbung den gesamten Untersuchungsprozess und verbraucht umfangreiche Ressourcen. Diese Arbeit entwickelt das Konzept der smarten Mikroskopie weiter, verstanden als die Integration von adaptiver Hardware und intelligenten Steuerungsalgorithmen zur Verbesserung der Bildqualität sowie fortschrittlichen Datenverarbeitung. Dabei werden adaptive optische Elemente untersucht, die eine axiale Abtastung für die volumetrische Bildgebung ermöglichen und Aberrationen korrigieren, welche die Bildgebung tief in Gewebe beinflussen. Die verwendeten adaptiven Linsen basieren auf piezokeramischen Aktoren und weisen daher eine inhärente Hysterese sowie weitere Nichtlinearitäten auf, die klassische Regelungsstrategien komplizieren. Um dieser Herausforderung zu begegnen, werden Methoden des maschinellen Lernens untersucht: Neuronale Netze werden zur Beobachtung des Linsenverhaltens eingesetzt, und Reinforcement Learning Agenten werden für die adaptive Steuerung implementiert. Diese Ansätze ermöglichen die Kompensation von Umwelteinflüssen und reduzieren den Bedarf an umfangreichen manuellen Kalibrierungen, stellen jedoch auch neue Herausforderungen in Bezug auf Trainingsstrategien und Datenerfassung dar. Neben der adaptiven Optik umfasst die smarte Mikroskopie in dieser Arbeit auch computergestützte Verfahren, die den sichtbaren Informationsgehalt mikroskopischer Bilder verbessern. Hier werden neuronale Netze für die „virtuelle Färbung“ eingesetzt, welche markierungsfreie Mikroskopiebilder in färbungsähnliche Darstellungen umwandeln und damit histologische Verfahren nachahmen. Verschiedene Architekturen und Trainingsdatensätze werden systematisch verglichen, und es werden Studien zur Erklärbarkeit durchgeführt, um Einblicke in die gelernten Bildtransformationen zu gewinnen. Diese Ergebnisse zeigen das Potenzial des virtuellen Färbens, die Abhängigkeit von arbeitsintensiven Laborprotokollen zu verringern, und unterstreichen gleichzeitig die Bedeutung eines robusten Netzwerkdesigns und interpretierbarer Vorhersagen von neuronalen Netzen. Dies kann in Zukunft die Diagnosestellung in verschiedenen Bereichen der Histologie und Zytologie beschleunigen. Darüber hinaus wird die biomedizinische Forschung in verschiedenen Bereichen wie Gewebeengineering, Onkologie oder Entwicklungsbiologie von automatisierter volumetrischer Bildgebung und virtueller Färbung profitieren. Insgesamt veranschaulicht diese Arbeit, wie smarte Mikroskopie durch die Kombination von adaptiver Optik mit lernbasierter Steuerung auf Hardwareebene und datengesteuerter virtueller Färbung auf Softwareebene realisiert werden kann. Die Ergebnisse zeigen, wie intelligente Methoden die Möglichkeiten der modernen Mikroskopie insbesondere für die Untersuchung volumetrischer Proben wie Organoide oder Modellorganismen erweitern können.

Abstract (EN)

Optical light microscopy is one of the most fundamental techniques for the investigation of biological samples, providing access to both structural and functional information with high spatial, and temporal resolution. In recent decades, numerous microscopy modalities have been developed to address the inherent limitations of widefield imaging, such as insufficient axial resolution or restricted penetration depth of a few micrometers. For example, confocal microscopy improves axial resolution through optical sectioning by the use of a pinhole in front of the detector. Nevertheless, image quality remains strongly affected by optical aberrations, which arise from refractive index inhomogeneities in the specimen and imperfections of the imaging system. Furthermore, manual labeling of samples by chemical or genetic staining extends the whole investigation process and consumes extensive resources. This thesis advances the concept of Smart Microscopy, understood as the integration of adaptive hardware and intelligent computational methods to enhance image quality and data usage. In this concept, adaptive optical elements are investigated to enable axial scanning for volumetric imaging and to correct aberrations, which limit the penetration depth. The adaptive lenses employed are based on piezoceramic actuators and thus exhibit inherent hysteresis and other nonlinearities, which complicate classical control strategies. To address this challenge, machine learning methods are investigated: neural networks are used to observe the lens behavior, and reinforcement learning agents are implemented for adaptive control. These approaches enable compensation of environmental influences and reduce the need for extensive manual calibration, while also posing new challenges in terms of training strategies and training data acquisition. In addition to adaptive optics, this thesis on Smart Microscopy also investigates computational techniques that directly enhance the visible information content of microscopic images. Here, neural networks are employed for virtual staining, in which label-free microscopy images are transformed into stained-like representations that mimic histological procedures. Different architectures and training datasets are systematically compared, and explainability studies are conducted to provide insight into the learned transformations. I found that the background provides important structural information for correct staining of cell structures. Also the choice of the network architecture has a large influence on the staining result. Generative adversarial networks outperform U-Net architectures and autoencoders, since they also recognize truncated cell structures. These results demonstrate the potential of virtual staining to reduce the reliance on labor-intensive laboratory protocols, while emphasizing the importance of robust network design and interpretable predictions. This can in the future accelerate histological diagnosis. Furthermore, biomedical research in multiple fields such as tissue engineering, oncology or developmental biology will benefit from automated volumetric imaging and virtual staining of samples. Overall, this thesis illustrates how Smart Microscopy can be realized by combining adaptive optics with machine learning–based image control on the hardware level and data-driven virtual staining on the computational level. The findings highlight how intelligent methods can extend the capabilities of modern microscopy in particular for the investigation of volumetric samples such as organoids or model organisms.

Freie Schlagwörter (DE)

Maschinelles Lernen, Optik, Mikroskopie, Virtuelles Färben, Neuronale Netze

Freie Schlagwörter (EN)

Machine Learning, Optics, Microscopy, Virtual Staining, Neural Networks

Klassifikation (DDC)

570

Klassifikation (RVK)

WC 7700

GutachterIn