1,721,010 research outputs found
Entwicklung eines Algorithmus namens Hanny-Score zur Verbesserung der Kategorisierung von Tiles im Preprocessing, welche aus Whole Slide Images von neuronalen Gewebeproben der Entität Gangliogliom generiert wurden
No full text1.1 Background and objectives
The threshold filters Otsu and Hysteresis are a frequently used method for digital image processing or in the preprocessing of neuronal networks to recognize tissue within a whole slide image (Dimitriou et al., 2019). These filters are not very computationally intensive and were originally developed for the abstraction of the subject and background on a digital image. But digital images from tissue samples in medicine differ from everyday subjects. Tissue that is leaky, torn, or washed out during the fixation process can create large gaps in which the background becomes visible. However, this type of background should be assessed differently than the background next to or away from a depicted subject. This difference pushes Otsu and Hysteresis to their limits and requires a different approach, as the Hanny-Score in this dissertation points out. This score not only analyzes the different colors of the background compared to the subject, but also its spatial distribution which is registered using lines instead of individual pixels. In addition, the filter can be adapted to tissue with gaps of different sizes and color wise, which leads to more flexibility and additional possible uses.
1.2 Design and methods
This dissertation included 167 histological tissue sections in hematoxylin-eosin staining with neuronal tissue of the entity ganglioglioma from the Erlangen Neuropathological Institute and other institutes. These were digitized into Whole Slide Images (WSIs) using a Hamamatsu S60 scanner. After analyzing the WSIs with the program NDP.view2 version 2.7.52 (Hamamatsu, 2019) and defining Regions Of Interests (ROIs), a total of 3.510.882 image sections (tiles) with a size of 272x272 pixels were created using the program QuPath version 0.2.3 (Bankhead et al., 2017). After collecting a sample of 100 tiles per WSI using a selfwritten program in the Python programming language version 3.11.3 (Van Rossum and Drake, 2009), 5 WSIs including their tiles were excluded because the background was too colorful. Of the remaining 16.200 tiles, 14.755 tiles could be clearly assigned manually to the categories “No Background” and “Background” with 12.264 and 2.941 tiles respectively, thus serving as Ground Truth for evaluating the filters. 1.445 tiles were excluded from the evaluation due to a lack of clear assignment. The selfwritten programs required for this, including their results, were saved in Jupyternotebooks version 6.5.4 (Kluyver et al., 2016).
1.3 Observations and results
When comparing the filters Otsu, Hysteresis and Hanny-Score using another selfwritten program in Python with the additional libraries Matplotlib (Hunter, 2007), Scikit-image (van der Walt et al., 2014) and Numpy (Harris et al., 2020), it was shown in fictitious examples and the real data set with the previously determined Ground Truth that the Hanny-Score has a higher probability of assigning the correct category “No Background” or “Background”. Overall, the assignment on the real data set improved to 99,66% with the Hanny score compared to Otsu with 85,28% and Hysteresis with 90,21%. It should be noted that the best individual Cut-Off for separating the two categories was calculated and used for the Otsu and Hysteresis filter. The standard Cut-Off is 30% and with this the results would have been 16,75% instead of 85,28% and 74,04% instead of 90,21%. Thereby the improvement would have been significantly greater.
1.4 Conclusions
When selecting suitable data in preprocessing, in this dissertation tissue sections, it is important to analyze them precisely and then apply suitable filters to ensure the most representative and stable data basis possible for further processing operations, such as the use of neural networks. This means more time is spent, but inadequately selected or unsuitable data inevitably leads to unsatisfactory results in the final output. The Hanny-Score requires increased computational effort, but significantly facilitates and improves the selection of suitable digital image sections of tissue samples.2.1 Hintergrund und Ziele
Die Schwellenwertfilter Otsu und Hysteresis sind in der digitalen Bildverarbeitung oder im Preprocessing von neuronalen Netzwerken ein häufig verwendetes Verfahren zur Erkennung von Gewebe innerhalb eines Whole Slide Images (Dimitriou et al., 2019). Diese Filter sind wenig rechenintensiv und ursprünglich für die Abstraktion von Motiv und Hintergrund auf einem digitalen Bild entwickelt worden. Digitale Bildausschnitte aus Gewebeproben in der Medizin unterscheiden sich jedoch von alltäglichen Motiven. Durch aufgelockertes, zerrissenes oder während des Fixierungsprozesses ausgewaschenes Gewebe können große Zwischenräume entstehen und durch diese der Hintergrund sichtbar werden. Diese Art von Hintergrund ist jedoch anders zu bewerten als der Hintergrundanteil neben bzw. abseits eines abgebildeten Motives. Dieser Unterschied bringt Otsu und Hysteresis an ihre Grenzen und erfordert eine andere Herangehensweise, wie es der Hanny-Score in dieser Dissertation verdeutlicht. In diesem Score wird nicht nur die unterschiedliche Farbgebung des Hintergrundes im Vergleich zum Motiv analysiert, sondern auch dessen räumliche Verteilung, welche anhand von Linien statt einzelnen Pixeln erfasst wird. Zudem ist der Filter an Gewebe mit unterschiedlich großen Zwischenräumen und farblich anpassbar, was zu mehr Flexibilität und weiteren Einsatzmöglichkeiten führt.
2.2 Materialien und Methoden
In die Dissertation wurden 167 histologische Gewebeschnitte in Hämatoxylin-Eosin-Färbung mit neuronalem Gewebe der Entität Gangliogliom aus dem neuropatholotischen Institut Erlangen und weiteren Instituten aufgenommen. Diese wurden mit einem Hamamatsu S60-Scanner in Whole Slide Images (WSIs) digitalisiert. Nach Analyse der WSIs mit dem Programm NDP.view2 Version 2.7.52 (Hamamatsu, 2019) und Festlegen von Regions Of Interests (ROIs) wurden mit dem Programm QuPath Version 0.2.3 (Bankhead et al., 2017) daraus insgesamt 3.510.882 Bildausschnitte (Tiles) der Größe 272x272 Pixel erzeugt. Nach Erhebung einer Stichprobe von jeweils 100 Tiles pro WSI mit Hilfe eines selbstgeschriebenen Programmes in der Programmiersprache Python Version 3.11.3 (Van Rossum and Drake, 2009) wurden 5 WSIs inklusive deren Tiles aufgrund zu farbigen Hintergrundes ausgeschlossen. Von den verbleibenden 16.200 Tiles konnten manuell 14.755 Tiles eindeutig den Kategorien „Kein Hintergrund“ und „Hintergrund“ mit jeweils 12.264 und 2.941 Tiles zugeordnet werden und dienen damit als Ground Truth für die Bewertung der Filter. 1.445 Tiles wurden aufgrund der fehlenden eindeutigen Zuordnung für die Bewertung ausgeschlossen. Die dafür benötigten selbstgeschriebenen Programme wurden inklusive deren Ergebnisse in Jupyternotebooks Version 6.5.4 (Kluyver et al., 2016) gespeichert.
2.3 Beobachtungen und Ergebnisse
Beim Vergleich der Filter Otsu, Hysteresis und Hanny-Score mit einem weiteren in Python und den zusätzlichen Programmbibliotheken Matplotlib (Hunter, 2007), Scikit-image (van der Walt et al., 2014) und Numpy (Harris et al., 2020) geschriebenen Programmes konnte sowohl an fiktiven Beispielen als auch am echten Datensatz mit der zuvor festgelegten Ground Truth gezeigt werden, dass der Hanny-Score mit einer höheren Wahrscheinlichkeit die richtige Kategorie „Kein Hintergrund“ oder „Hintergrund“ zuordnet. Insgesamt verbesserte sich die Zuordnung am echten Datensatz mit dem Hanny-Score auf 99,66% im Vergleich zu Otsu mit 85,28% und Hysteresis mit 90,21%. Anzumerken ist hierbei, dass für die Filter Otsu und Hysteresis der beste individuelle Cut-Off für die Trennung der beiden Kategorien berechnet und benutzt wurde. Der Standard-Cut-Off beträgt 30% und mit diesem hätten die Ergebnisse 16,75% statt 85,28% und 74,04% statt 90,21% betragen. Die Verbesserung wäre damit noch einmal deutlich stärker ausgefallen.
2.4 Schlussfolgerungen
Bei der Auswahl geeigneter Daten im Preprocessing, in dieser Arbeit Gewebeausschnitte, ist es wichtig diese genau zu analysieren und daraufhin geeignete Filter anzuwenden, um einen möglichst repräsentative und stabile Datengrundlage für weitere Verarbeitungsprozesse, wie Anwendung neuronaler Netze, zu gewährleisten. Dies bedeutet zwar einen höheren Zeitaufwand, aber inadäquat ausgewählte oder ungeeignete Daten führen zwangsläufig zu unbefriedigenden Ergebnissen im endgültigen Output. Der Hanny-Score bedarf eines erhöhten Rechenaufwandes, erleichtert und verbessert aber signifikant die Auswahl geeigneter digitaler Bildausschnitte von Gewebeproben
Klassifikation von Gangliogliomen und dysembryoplastischen neuroepithelialen Tumoren (DNTs) anhand von H.E. gefärbten Proben mittels Deep Learning
No full textHintergrund und Ziele
Geringgradige epilepsieassoziierte Hirntumoren sind die zweithäufigste Ursache von arzneimittelresistenter fokaler Epilepsie. Unter den LEATs sind Gangliogliome mit 53,6% und Dysembryoplastische neuroepitheliale Tumoren mit 30,6% die bedeutendsten Tumorentitäten. Diese beiden Entitäten ähneln sich histologisch jedoch sehr, sodass selbst bei einem Vergleich spezialisierter Zentren die Diagnosen nur in 40% der Fälle übereinstimmen. Nachdem die Nutzung von Deep-Learning in den vergangenen Jahren bei verschiedensten
Klassifikationsproblemen innerhalb und außerhalb der Medizin beachtliche Erfolge zeigte, wollten wir prüfen, ob diese Methode auch in diesem Fall helfen könnte.
Methoden
Wir trainierten verschiedene konvolutionale neuronale Netzwerke anhand von mit Hämatoxylin und Eosin gefärbten Schnitten von 57 Patienten, um zwischen dysembryoplastischen neuroepithelialen Tumoren (DNTs) und Gangliogliomen (GGs) zu unterscheiden. Dafür erzeugten wir Tiles (kleine Bildausschnitte) der Größe 272x272 Pixel (ca. 60x60µm) von Whole-Slide-Images aus 24 DNT-Fällen und 33 GG-Fällen, welche von Neuropathologen des deutschen Neuropathologie Referenzzentrums für Epilepsie-Chirurgie in Erlangen annotiert wurden.
Wir verteilten die Tiles für den vollständigen Datensatz in einem Verhältnis von ca. 5:1:1 auf Trainings-, Validierungs- und Testdatensätze. So bildeten je vier Fälle (insgesamt ca.
100.000 Tiles) pro Tumorentität die Validierungs- und Testdatensätze. Die restlichen Fälle verwendeten wir im Trainingsdatensatz.
Zusätzlich bildeten wir für einen schnelleren Trainingsprozess noch einen kleineren Datensatz mit derselben Fallverteilung, jedoch maximal 10.000 Tiles pro Fall.
An diesem kleinen Datensatz trainierten wir mithilfe der Fastai Bibliothek sechs an ImageNet vortrainierte CNN-Modelle und wählten die beiden Modelle mit der besten Performance am Validierungsdatensatz, um sie am großen Trainingsdatensatz zu trainieren.
Diese acht Modelle bewerteten wir anhand ihrer Vorhersagen der acht Fälle im großen Testdatensatz auf Tile- und Fallebene. Zusätzlich testeten wir zwei der Modelle am großen Testdatensatz, indem nur die Tiles gewertet wurden, welche mit einer Wahrscheinlichkeitsschwelle über 80%, bzw. 90%, vorhergesagt wurden.
Als Folgeexperiment wurden zwei Modelle am kleinen Trainingsdatensatz mit vertauschtem Validierungs- und Testdatensatz trainiert, um zu prüfen, ob die stark unterschiedlichen Ergebnisse an Validierungs- und Testdatensatz durch die zufällige Verteilung der Fälle bedingt waren.
Ergebnisse
Die am kleinen Trainingsdatensatz trainierten Modelle erreichten am kleinen Validierungsdatensatz Accuracy-Werte (Anzahl richtige Vorhersagen / Anzahl Gesamtvorhersagen) zwischen 79,3% (VGG 19) und 74,7% (AlexNet) und AUROC zwischen 0,850 (VGG 19) und 0,795 (ResNet 34).
Die am großen Trainingsdatensatz trainierten Modelle erreichten am großen Validierungsdatensatz Accuracy-Werte von 72,5% (VGG 19) bzw. 70% (ResNeXt 101) und AUROCWerte von 0,790 (VGG 19), bzw. 0,751 (ResNeXt 101). Am Testdatensatz variierte die Accuracy auf Tile-Ebene zwischen 61,9% (ResNeXt 101, am
vollen Datensatz trainiert) und 47,6% (AlexNet). Die AUROC variierte zwischen 0,640 (ResNeXt 101) und 0,563 (AlexNet).
Bei der Vorhersage auf Fallbasis erzielte das am großen Datensatz trainierte ResNeXt 101 mit 75% den besten Wert. Die restlichen Modelle bestimmten bei vier oder fünf von acht Fällen die richtige Tumorentität. Die Modelle, welche am kleinen Trainingsdatensatz mit vertauschten Validierungs- und
Testdatensätzen trainiert wurden, zeigten deutlich bessere Ergebnisse am neuen Testdatensatz (durchschnittlich: Accuracy = 73,3%, AUROC = 0,786) als am neuen Validierungsdatensatz (durchschnittlich Accuracy = 61,2%, AUROC = 0,656).
Auf Fallebene erreichten diese Modelle eine Accuracy von 100% (VGG 19), bzw. 87,5%
(ResNeXt 101).
Schlussfolgerungen
Unser erfolgreichstes Modell (ResNeXt 101, am großen Datensatz trainiert) erreichte Werte von 70% Accuracy / AUROC = 0,753 am großen Validierungsdatensatz, 61,9% Accuracy/ AUROC = 0,64 am Testdatensatz und auf Fallebene eine Accuracy von 75%. Diese Werte beurteilten wir als nicht ausreichend für eine sinnvolle Unterstützung in der medizinischen Diagnostik. Da wir hierdurch aber nur diesen spezifischen Ansatz als nicht erfolgreich genug bewerteten, jedoch keine allgemeine Aussage zum möglichen Einsatz von Deep Learning bei der Unterscheidung zwischen DNTs und Gangliogliomen treffen konnten, entschloss sich unsere Forschungsgruppe weitere Daten zu sammeln, um mit einem größeren Datensatz und leicht modifiziertem Ansatz die Fragestellung erneut zu bearbeiten. Eine Bewertung unserer Ergebnisse im Vergleich mit diesem neuen Ansatz von Neuner et al. bringt einige Erkenntnisse zu möglichen Einflussfaktoren:
Wir vermuten, dass der wichtigste Einflussfaktor der deutlich größere Datensatz bei Neuneret al. ist.
Zusätzlich könnte eine größere Tile-Größe von Vorteil sein, da eine solche Größe mehr Übersicht erlaubt.
Durch unser Folgeexperiment mit vertauschten Validierungs- und Testdatensätzen konnten wir zeigen, dass die deutlich schlechtere Performance am Testdatensatz des ursprünglichen Experimentes zufällig durch die Verteilung der Fälle begründet war. Die Nutzung von kfacher Kreuzvalidierung könnte diese Zufallskomponente minimieren.Objectives
Low-grade epilepsy-associated brain tumors (LEATs) are the second most common cause of drug-resistant focal epilepsy. Among LEATs, gangliogliomas (GGs) with 53.6% and dysembryoplastic neuroepithelial tumors (DNTs) with 30.6% are the most significant tumor entities. However, these two entities are histologically very similar, so that even when
specialized centers are compared, diagnoses are matched in only 40% of cases.
As the use of deep learning has shown considerable success in recent years for a wide variety of classification problems, both within and outside medicine, we wanted to test
whether this method could also help in this case.
Design and Methods
We trained different convolutional neural networks (CNN) on hematoxylin and eosin (H&E) stained slides from 57 patients to distinguish between dysembryoplastic neuroepithelial tumors (DNTs) and gangliogliomas (GGs).
For this purpose, we generated tiles (small image sections) of size 272x272 pixels (approximately 60x60µm) of whole slide images (WSIs) from 24 DNT cases and 33 GG cases,
which were annotated by neuropathologists from the German Neuropathology Reference Center for Epilepsy Surgery in Erlangen, Germany.
We distributed the tiles among training, validation, and test datasets in a ratio of approximately 5:1:1 for the complete dataset Four cases each (approximately 100,000 tiles in total)
per tumor entity formed the validation and test datasets. The remaining cases were used in the training dataset.
Additionally, for a faster training process, we formed a smaller dataset with the same case distribution, but with a maximum of 10,000 tiles per case.
On this small dataset, we trained six CNN models, pre-trained on ImageNet, using the Fastai library and selected the two models with the best performance on the validation dataset to train on the large training dataset. We evaluated these eight models based on their predictions of the eight cases in the large test dataset at the tile and case levels. In addition, we tested two of the models on the large test dataset by evaluating only the tiles that were predicted with a probability threshold above 80%, respectively 90%.
As a follow-up experiment, two models were trained on the small training dataset with the validation and test datasets interchanged to test whether the strongly different results on the validation and test datasets were due to the random distribution of the cases.
Observations and Results
The models trained on the small training dataset achieved accuracy values (correct predictions / all predictions) between 79.3% (VGG 19) and 74.7% (AlexNet), and AUROC values between 0.850 (VGG 19) and 0.795 (ResNet 34) on the small validation dataset. On the large validation dataset, the models trained on the large training dataset achieved
accuracy values of 72.5% (VGG 19) and 70% (ResNeXt 101), and AUROC values of 0.790 (VGG 19) and 0.751 (ResNeXt 101). Tile-level accuracy of the test dataset varied between 61.9% (ResNeXt 101, trained on the full dataset) and 47.6% (AlexNet). The AUROC varied between 0.640 (ResNeXt 101) and 0.563 (AlexNet).
For case-based prediction, ResNeXt 101 trained on the large dataset scored the best at 75%.
The remaining models determined the correct tumor entity in four or five of eight cases.
The models trained on the small training dataset with the validation and test datasets interchanged showed significantly better results on the new test dataset (average: Accuracy =
73.3%, AUROC = 0.786) than on the new validation dataset (average Accuracy = 61.2%, AUROC = 0.656).
On the case level, these models achieved an accuracy of 100% (VGG 19) and 87.5% (ResNeXt 101), respectively.
Conclusions
Our most successful model (ResNeXt 101, trained on the large dataset) achieved values of 70% Accuracy / AUROC = 0.753 on the large validation data set, 61.9% Accuracy/ AUROC = 0.64 on the test data set and an Accuracy of 75% on the case level. We judged these values to be insufficient for meaningful support in medical diagnostics. However, since we could only evaluate this specific approach as not successful enough but could not make a general statement on the possible use of Deep Learning for the differentiation between DNTs and gangliogliomas, our research group decided to collect further data in order to work on the same question again with a larger data set and a slightly modified approach. An evaluation of our results in comparison with this new approach by Neuner et al (8) brings some insight into possible influencing factors:
We suspect that the most important influencing factor is the significantly larger data set in Neuner et al. In addition, a larger tile size might be advantageous as it allows for a greater overview.
Through our follow-up experiment with reversed validation and test datasets, we were able to show that the significantly worse performance on the test dataset of the original experiment was due to chance in the distribution of cases. The use of k-fold cross-validation could minimize this factor of randomness
Deep Learning Studie zur Hämatoxylin-Eosin histomorphologischen Klassifikation von Urothelkarzinomentitäten mittels Whole-Slide Image Managing Pipeline
No full textAbstract
Background: Processing pathological Whole Slide Images (WSI) to train neural networks currently requires a lot of work and high expertise in the programming of digital systems. The use of predesigned and customizable pipelines minimizes the entry hurdle of programming for medical professionals. The aim of this doctoral thesis is to generate a reliable classification of the hematoxylin-eosin (HE) stained sections of the various urothelial carcinomas within the Deep Learning Morphology (DLM) pipeline of the Friedrich-Alexander-University Erlangen-Nürnberg without incurring high costs or increased expenditure of time for the immunohistochemical and molecular pathological processing in the future.
Methods: At the beginning, this paper offers an indespensable historical overview, which gives a well-founded scientific classification of artificial intelligence and the deep neural networks of BigData, which has a rapidly growing impact on the medical field in the context of the fourth industrial revolution (cf. Kim 2022: 1; Topol 2020: 22). The paper furthermore presents the urothelial carcinoma with high international and national incidence, which is highly relevant for the deep learning application of image recognition (cf. Grignon et al. 2016: 81; RKI 2021: 24). The pipeline is trained and evaluated for a classification task using artificial intelligence with the following twelve urothelial carcinoma entities: not otherwise specified urothelial carcinoma (NOS), squamous urothelial carcinoma, sarcomatoid urothelial carcinoma, micropapillary urothelial carcinoma (MPUC), plasmacytoid urothelial carcinoma (PUC), neuroendocrine carcinoma (NEC), large nested urothelial carcinoma (LNUC), nested urothelial carcinoma (NUC), glandular urothelial carcinoma, lymphoepithelioma-like urothelial carcinoma, glycogen rich (clear cell) urothelial carcinoma and trophoblastoid urothelial carcinoma. A short section about the hardware and the software provides an overview of the necessary technology for processing and annotating WSI. Fine, manual annotation of the WSI was performed with the QuPath program using the GAOMON S620 pen pad. The chapter on the Whole-Slide Image Managing Pipeline lays out the basic working steps of a customizable digital pathology framework suitable, so that a clinical pathologist with no programming experience can use it to explore digital projects without major obstacles. The DLM pipeline generates four-field tables with true and false-positive rates, as well as Receiver Operating Curves (ROC) and precision-recall curves (PR-Curves) for interpreting the results.
Results: A reliable classification cannot be achieved with this dataset. Even with a highly unequal distribution of the quantity of tumor entities - with underrepresented entities of ≤ 5 % and weakly represented entities - the framework still achieved a very high score of almost 100 %, which, however, must be attributed to a high probability of correct guessing by the artificial intelligence.
Conclusions and discussion: The results are a definite clue for the necessity of approximately equal distribution of different entities. Furthermore the paper also presents some difficulties and dead ends, which may occur during the process. As an example, a loss of depth of field through data transfer to an external storage medium is corrected by using jpeg-compression of the SlideConverter from 3D-Histech. Also, the distortion of the coordinates, which occurs by implementing the Mirax file formats (.mrxs) into the pipeline, is corrected using the pre-programmed scirpt of the DLM framework by removing the black and white padding around the pathological slides added by OpenSlide. The conclusion offers an outlook into the future development of deep learning applications for medical disciplines involving pattern (cf. Topol 2020: 109-129).
Zusammenfassung
Hintergrund und Ziele: Die Verarbeitung von pathologischen Whole Slide Images (WSI) für das Training neuronaler Netzwerke setzt aktuell einen hohen Arbeitsaufwand und hervorragende Kenntnisse der Programmierung digitaler Systeme voraus. Die Verwendung von vorgefertigten und anpassbaren pipelines minimiert diese Hürde der Progammierarbeit für Mediziner. Diese Promotionsarbeit verfolgt das Ziel, eine sichere Klassifikation der Hämatoxylin-Eosin (HE) gefärbten Schnitte der verschiedenen Urothelkarzinome innerhalb der Deep Learning Morphology (DLM) pipeline der Friedrich-Alexander-Universität Erlangen-Nürnberg zu generieren, ohne in Zukunft hohe Kosten oder erhöhten Zeitaufwand durch die immunhistochemische und molekularpathologische Aufarbeitung zu erzeugen.
Methoden: Zu Beginn befasst sich diese Arbeit mit einem unverzichtbaren historischen Exkurs, der eine fundierte wissenschaftliche Einordnung der künstlichen Intelligenz und der tiefen neuronalen Anwendungen von BigData innerhalb des schnell wachsenden, jungen medizinischen Fachgebietes im Rahmen der vierten industriellen Revolution bietet (vgl. Kim 2022: 1; Topol 2020: 22). Anschließend folgt eine Darstellung des Urothelkarzinoms, dessen hohe internationale und nationale Inzidenz von großer Relevanz für die Deep Learning Anwendung einer Bilderkennung ist (vgl. Grignon et al. 2016: 81; RKI 2021: 24). Insgesamt werden folgende zwölf Urothelkarzinomentitäten für eine Klassifizierungsaufgabe mittels künstlicher Intelligenz in der pipeline trainiert und evaluiert: not otherwise specified urothelial carcinoma (NOS), squamous urothelial carcinoma, sarcomatoid urothelial carcinoma, micropapillary urothelial carcinoma (MPUC), plasmacytoid urothelial carcinoma (PUC), neuroendocrine carcinoma (NEC), large nested urothelial carcinoma (LNUC), nested urothelial carcinoma (NUC), glandular urothelial carcinoma, lymphoepithelioma-like urothelial carcinoma, glycogen rich (Clear cell) urothelial carcinoma und trophoblastoid urothelial carcinoma. Ein kurzer Abschnitt über die verwendete Hard- und Software schafft einen Überblick über die angewendete Technik zur Prozessierung und manuellen Annotation der WSI. Mit dem Stiftzeichenpad GAOMON S620 erfolgte eine feine manuelle Annotation der WSI mit dem Programm QuPath. Das Kapitel Whole-Slide Image Managing Pipeline legt die grundlegenden Arbeitsschritte eines anpassbaren framework für digitale Pathologie dar, derer sich ein in Programmierung unerfahrener klinischer Pathologe in der Erforschung digitaler Projekte ohne große Hindernisse bedienen kann. Die DLM pipeline erzeugt Vierfeldertafeln mit true and false-positive rates, sowie reciever operating curves (ROC) und precision-recall curves (PR Curves) zur Interpretation der Ergebnisse.
Ergebnisse und Beobachtungen: Eine sichere Klassifizierung wird mit diesem Datensatz nicht erreicht. Wegen der überaus ungleichen Mengenverteilung der Tumorentitäten erzielt der framework für die unterrepräsentierten Entitäten mit ≤ 5 % und für die schwach repräsentierten Entitäten sehr hohe Trefferquoten von nahezu 100 %, die jedoch einer hohen richtigen Ratewahrscheinlichkeit der künstlichen Intelligenz zuzuschreiben sind.
Schlussfolgerungen und Diskussion: Die gewonnen Resultate liefern allerdings Aufschluss über die Notwendigkeit einer annähernd gleichen Verteilung verschiedener Entitäten. Weiterhin werden die aufgetretenen Probleme und Irrwege dargestellt, die bei der Prozessierung auftreten. Zum einen erfolgt die Korrektur eines Tiefenschärfeverlustes durch Datenübertragung auf externe Speichermedien mittels jpeg-Kompression des SlideConverter von 3D-Histech. Ebenso findet eine Korrektur der Koordinatenverschiebung mittels DLM framework eigenem script statt, da die Verwendung von OpenSlide bei der Implementierung der Mirax-Dateiformate (.mrxs) ein schwarzes und weißes padding um die pathologischen slides erzeugt. Den Abschluss bildet ein Ausblick auf die zukünftige Entwicklung der Deep Learning Anwendungen für die medizinischen Disziplinen mit Mustern (vgl. Topol 2020: 109-129)
Ein Versuch zur Klassifizierung des MGMT-Promotorgens in Glioblastomen mit Hilfe von Deep-Learning
No full textZusammenfassung
Hintergrund und Ziele
Das Glioblastoma multiforme ist ein Gehirntumor der bei seiner Therapiemöglichkeit immer noch an seine Grenzen stößt. Ein wichtiger Punkt um die Therapie möglichst frühzeitig zu beginnen, ist die frühe Diagnostik der Erkrankung. Eine erste Sicherung der Diagnose erfolgt durch das Schnellschnittverfahren. Um einen genauen Therapieplan zu erstellen, ist jedoch eine weitere Diagnostik vonnöten. Im Labor wird der Schnitt mit der Pyrosequenzierung auf mögliche Mutationen untersucht. Dabei ist ein Gen von besonderer Bedeutung: die O-6-Methylguanin-DNA-Methyltransferase (MGMT). Es ist ein Enzym, welches zu den DNA-Reparaturproteinen zählt. Es hat die Funktion das karzinogene O-6-Methylguanin wieder zu dem ursprünglichen Guanin zu restaurieren. Die Bildung von O-6-Methylguanin kann durch alkylierende Reagenzien ausgelöst werden. Der Promotor für MGMT kann in methylierter oder nicht methylierter Form vorliegen. Das bedeutet, das Gen für das MGMT kann in aktiviertem oder nicht aktiviertem Zustand sein. Die Base Cytosin ist hierbei besonders wichtig. Sie kann als 5-Methylcytosin vorliegen und dadurch in methylierter Form das MGMT inaktivieren. Um das Vorliegen von 5-Methylcytosin herauszufinden, wird eine Pyrosequenzierung durchgeführt. Diese ist eine gängige Methode, um DNA-Sequenzen auf Mutationen zu untersuchen. Dabei wird die zu untersuchende DNA zuerst mit der Bisulfit-Konversion behandelt. Im Anschluss folgt die Polymerasekettenreaktion, sodass genug DNA-Material für die Pyrosequenzierung vorhanden ist, um die eingebauten Basen mit Lichtblitzen zu erfassen. Die Pyrosequenzierung untersucht an sieben Stellen des Promotors ob eine Methylierung vorliegt. Ab 10% gilt der Promotor als methyliert.
Liegt eine Methylierung des MGMT-Promotorgens vor, ist für die Therapie ein besseres Ansprechen auf das Zytostatikum Temozolomid zu erwarten. Dadurch kann die Prognose nach einer Tumordiagnostik verbessert werden.
Ein solches Verfahren ist kosten- und zeitintensiv. Es wurde daraufhin die Überlegung angestellt, Künstliche Intelligenz zum Einsatz zu bringen und diese Untersuchungsmethode zu vereinfachen. In diesem Gebiet gibt es bereits Untersuchungen, die MGMT-Promotormethylierung mit Hilfe von Deep-Learning zu untersuchen. Dabei wurden MRT-Datensätze verwendet und die Ergebnisse waren sehr vielversprechend.
Deep-Learning ist eine Form der Künstlichen Intelligenz, die durch intensives Training erreicht, Bilder, Töne und Text zu verarbeiten, um aus den Inputs Zusammenhänge zu erkennen. Die Grundstruktur von Deep Learning basiert auf einer komplexen Architektur, die als neuronales Netz bezeichnet wird. Der Grund für die Namensgebung ist eine Analogie in der Grundstruktur zu einem menschlichen Nervensystem. Dieses Netzwerk verfügt über Schichten von künstlichen Neuronen, die in hierarchischer Weise miteinander verbunden sind und komplexe Funktionen ausführen können. Ein charakteristisches Merkmal von Deep Learning ist die Tiefe des neuronalen Netzwerks, das sich durch eine Vielzahl von Schichten auszeichnet. Die Vielzahl der Schichten ist gefaltet, weshalb im Englischen auch der Name „Convolutional Neural Network“ (CNN) geläufig ist. Diese Schichten ermöglichen es, abstrakte und hierarchische Merkmale in den Eingangsdaten zu extrahieren und auf diese Weise komplexe Muster und Zusammenhänge zu erkennen.
Nun ist die Überlegung, bei Hämatoxylin-Eosin-Schnitten auf mikroskopischer Ebene Deep Learning einzusetzen und den gleichen Erfolg zu erzielen wie mit den MRT-Daten. Es kann sogar erwartet werden, dass durch die höhere Detailtreue eines mikroskopischen Schnittes die Ergebnisse besser ausfallen.
Methoden
Die mikroskopischen HE-Schnitte wurden vom Neuropathologischen Institut der Universitätsklinik Erlangen-Nürnberg zur Verfügung gestellt. Insgesamt lagen zwei Datensätze vor, die Patientenfälle aus dem Zeitraum zwischen 2008 und 2012 sowie aus den Jahren 2018 und 2019 umfassten. Der erste Datensatz aus dem Zeitraum 2008-2012 bestand aus insgesamt 95 Patientenfällen, bei denen jeweils eine diagnostizierte Epilepsie vorlag. Dieser Datensatz wurde im Rahmen der Analyse in zwei Gruppen unterteilt abhängig davon, ob das MGMT-Promotorgen methyliert oder nicht methyliert vorlag. Die eine Gruppe umfasste 37 Patientenfälle, bei denen das MGMT-Promotorgen methyliert vorlag, während die andere Gruppe 58 Patientenfälle mit nicht methyliertem MGMT-Promotorgen enthielt.
Der zweite Datensatz lag mit 100 Patientenfällen aus den Jahren 2018 und 2019 vor. Dabei wurde die Gruppe mit dem methylierten MGMT-Promotorgen an sieben Stellen genau auf die Methylierung untersucht. Die methylierte Gruppe beinhaltete 51 Patientenfälle, demgegenüber standen 49 nicht methylierte Patientenfälle in der anderen Gruppe.
Die mikroskopischen Schnitte wurden mittels eines Hamamatsu Scanner S60 digitalisiert. Anschließend wurden mit dem Programm QuPath die Interessenregionen in jedem Schnitt digital ausgewählt. Diese spezifischen Bereiche waren auf den mikroskopischen Schnitten in der Regel zuvor mit einem wasserlöslichen Folienstift markiert worden. Diese Markierungen dienten der Kennzeichnung der Positionen, an denen die Pyrosequenzierung durchgeführt worden war.
Die Interessenregionen wurden dann in kleine Kacheln, genannt Tiles, zurechtgeschnitten um dem künstlichen neuronalen Netz zum Training übergeben zu werden. Die Pixelgröße lag bei 272x272 Tiles.
Zum Training wurde eine Netzwerkarchitektur mit Hilfe der Programmierbibliotheken von Fastai und PyTorch entworfen.
Es wurde das bereits vortrainierte Netz ResNet-50 verwendet. Dies hat den Vorteil, dass ein Netz bereits Grundstrukturen erkennen kann und darauf nicht mehr trainiert werden muss. Für die vorliegende Forschungsarbeit wurde die letzte Schicht des vortrainierten Netzes unfreezed. Das bedeutet sie wurde entfernt und nochmal mit den vorhanden speziellen Daten trainiert.
Ergebnisse und Beobachtungen
Das Ergebnis des Trainings konnte keinen Lernerfolg des CNN zeigen: Es konnte im ersten Datensatz zu 50% genau die Methylierung voraussagen. Das CNN hat sich sehr schnell überangepasst, wofür es verschiedene Gründe geben kann.
Schlussfolgerung und Diskussion
Ein erhebliches Problem, das die vorliegende Arbeit prägte, war die unzureichende Datenverfügbarkeit und das Fehlen einer standardisierten Datengrundlage. Aufgrund dieses Datenmangels kann angenommen werden, dass das CNN die begrenzten verfügbaren Daten so präzise analysierte, dass es sie im Grunde auswendig lernte. In Situationen mit unzureichender Datenqualität, die auf die mangelnde Standardisierung der Gewebeschnitte zurückzuführen ist, konnte vermutet werden, dass das CNN seine Aufmerksamkeit auf nicht-repräsentative Merkmale richtete, was zu falschen Schlussfolgerungen führte.
In diesem Zusammenhang könnte eine Vereinheitlichung der Datenqualität einen neuen Anstoß geben. Eine Standardisierung der Daten könnte die Fähigkeiten von CNNs verbessern und somit dafür sorgen, dass diese bessere Entscheidungen treffen.
Alles in allem lässt sich aktuell die Methylierung des MGMT-Promotorgens anhand von HE-Schnitten durch den Einsatz von Deep Learning noch nicht erkennen. Die Gründe für den Misserfolg sind verschieden. Durch den digitalen Fortschritt in der Pathologie wird die digitale Datenlage für mikroskopische Schnitte in den nächsten Jahren deutlich anwachsen und für CNNs in der Pathologie eine bessere Grundlage schaffen.
Der digitalen Pathologie stehen noch viele Entwicklungsmöglichkeiten offen, die in Zukunft noch weiter erforscht werden können
Automatic mitosis detection in human meningiomas: towards objectivity with the help of artificial intelligence; KI-gestützte Mustererkennung bei Meningeom Mitosen
No full textBei Meningeomen, handelt es sich um die häufigste Tumorerkrankung des
zentralen Nervensystems des Menschen, welche oft mit unspezifischen
neurologischen Symptomen einhergehen und zeigen meist einen benignen
Verlauf zeigen. Meningeome werden in der Pathologie durch Mitosehäufigkeiten
im Präparat nach ZNS-WHO Grad 1-3 eingeteilt. Im Rahmen einer Projektarbeit
zur Mustererkennung bei humanen Meningeomen des Lehrstuhls der
Neuropathologie mit dem Lehrstuhl für Informatik 5 (Mustererkennung) der
Friedrich-Alexander-Universität Erlangen-Nürnberg wurde diese Arbeit mit dem
Ziel einer sicheren Datenbasis in Form von Annotationen auf der Grundlage von
digitalisierten histopathologischen Präparaten für einen Vergleich dreier
unterschiedlicher Ansätze KI-gestützter Mustererkennung angefertigt.
Hierzu wurde im Rahmen dieser Arbeit die Digitalisierung der
histopathologischen Präparate nach der Recherche im Archiv der
Neuropathologie des Universitätsklinikums Erlangen, sowie die Befundung und
das Anfertigen der entsprechenden Annotationen für die computergestützte
Mustererkennung durchgeführt. Für die Digitalisierung der entsprechenden
Schnitte wurde der im Universitätsklinikum vorhandene Scanner zur kompletten
Digitalisierung verwendet. Im Anschluss erfolgte die Annotation von Mitosen der
65 WSI mittels der Softwarelösung Sliderunner. Die daraus resultierende
Datengrundlage legte den Grundstein für den Trainingssatz des neuronalen
Netzwerks der Arbeitsgruppe. Alle zusätzlich durch das neuronale Netzwerk
gefundenen Mitosefiguren wurden nochmals in die Kategorie „Mitose“, oder
„Keine Mitose“ eingeteilt.
Anhand dieser Datenbasis, die 178.826 Annotationen enthält, wurde das
neuronale Netzwerk anhand 951 digitalisierten Objektträgern trainiert und es
konnte eine hohe Korrelation durch die von Arbeitskreismitarbeitern erstellte
Algorithmen mit dem WHO-Grad erzielt werden.
Durch weitere Verbesserung im Bereich der Mustererkennung können für die
Zukunft unterstützenden Programme die Arbeit von Pathologen bei der
Diagnosestellung und eine bessere Vergleichbarkeit erreicht werden. Hierzu wird
die Sicherstellung einer kritischen Betrachtungsweise der KI-generierten
Ergebnisse durch den Pathologen bei zunehmender Leistungsfähigkeit der
Programme eine Herausforderung darstellen
Die Rolle künstlicher Intelligenz zur Prognose und Optimierung der Skoliosechirurgie
No full textPurpose
When surgically correcting idiopathic scoliosis, many factors are involved in preoperative decision-making regarding the length of fusion needed. Keeping in mind the need for preserving as many motion segments as possible, however simultaneously preventing distal adding-on and maintaining coronal and sagittal balance; the preoperative planning could be challenging. The goal of or study is to be able to predict, with the help of an AI-based decision-making aid, the postoperative radiological outcome after idiopathic scoliosis correction, enabling the surgeon to adapt the preoperative planning to match the desired postoperative outcome.
Methods
The data of 300 AIS patients that have received a scoliosis corrective surgery have been identified, and after specific inclusion criteria, enrolled in a single center retrospective comparative study. These were used to implement a deep-learning algorithm. A Random Forest Algorithm was chosen. The aim was to predict the postoperative Cobb angle of the major scoliosis curve, as a major postoperative correction indicator.
Results
A Random Forest Algorithm with a mean absolute error (MAE) of 2.6114415797358506 on the training data set and a MAE of 4.698643354716271 on the validation data set, has been used. The postoperative Cobb angle was defined to be the target predictive value. Our supervised learning model showed that the preoperative Cobb angle of the major curve would have the greatest impact on the prediction of the postoperative Cobb angle. Other relevant parameters included the Side-bending of the major curve, the preoperative Cobb angle of the minor curve and the preoperative flexibility of the major curve.
Discussion & Conclusion
The preoperative planning regarding the length of fusion in scoliosis correction surgery is a complex task. Our supervised learning model provides an AI-based tool that could be very helpful in the prediction of the scoliosis correction surgeries outcome; thus, enabling a more accurate preoperative planning. Such a tool is not restricted to the scoliosis surgery field, but can also be applied in other areas of spine and in general in other fields of medicine. This would have a positive impact on different areas of health care, both in the short and the long run.Hintergrund & Ziele
Bei der chirurgischen Korrektur einer idiopathischen Skoliose spielen viele Faktoren eine Rolle bei der präoperativen Entscheidung über die Länge der erforderlichen Fusion. Die präoperative Planung kann eine Herausforderung darstellen, wenn es darum geht, so viele Bewegungssegmente wie möglich zu erhalten, gleichzeitig aber eine Anschlusskrümmung zu vermeiden und das koronale und sagittale Balance zu wahren. Ziel dieser Studie ist es, mit Hilfe einer KI-basierten Entscheidungshilfe das postoperative radiologische Ergebnis nach einer idiopathischen Skoliosekorrektur vorherzusagen, damit der Chirurg die präoperative Planung an das gewünschte postoperative Ergebnis anpassen kann.
Methoden
Die Daten von 300 AIS-Patienten, die eine Skoliosekorrektur erhalten haben, wurden identifiziert und nach bestimmten Einschlusskriterien in eine retrospektive Vergleichsstudie an einem einzelen Zentrum aufgenommen. Diese wurden verwendet, um einen Deep-Learning-Algorithmus zu implementieren. Es wurde ein Random Forest Algorithmus gewählt. Ziel war die Vorhersage des postoperativen Cobb-Winkels der Hauptkrümmung der Skoliose als wichtiger Indikator für die postoperative Korrektur.
Ergebnisse
Es wurde ein Random-Forest-Algorithmus mit einem mittleren absoluten Fehler (MAE) von 2,6114415797358506 für den Trainingsdatensatz und einem MAE von 4,698643354716271 für den Validierungsdatensatz verwendet. Der postoperative Cobb-Winkel wurde als prädiktiver Zielwert definiert. Unser überwachtes Lernmodell zeigte, dass der präoperative Cobb-Winkel der Hauptkrümmung den größten Einfluss auf die Vorhersage des postoperativen Cobb-Winkels hat. Weitere relevante Parameter waren die Seiten-Bending der Hauptkrümmung, der präoperative Cobb-Winkel der Nebenkrümmung und die präoperative Flexibilität der Hauptkrümmung.
Schlussfolgerungen
Die präoperative Planung bezüglich der Fusionslänge bei Skoliosekorrektur ist eine komplexe Aufgabe. Unser Modell des überwachten Lernens bietet ein KI-basiertes Werkzeug, das bei der Vorhersage des Ergebnisses von Skoliosekorrekturen sehr hilfreich sein könnte und somit eine genauere präoperative Planung ermöglicht. Ein solches Werkzeug ist nicht auf den Bereich der Skoliosechirurgie beschränkt, sondern kann auch in anderen Bereichen der Wirbelsäule und allgemein in anderen Bereichen der Medizin eingesetzt werden. Dies würde sich sowohl kurz- als auch langfristig positiv auf verschiedene Bereiche des Gesundheitswesens auswirken
Therapieentscheidung bei Bandscheibenvorfällen der Lendenwirbelsäule mit künstlicher Intelligenz
No full textHintergrund und Ziele
Für Patienten im Graubereich zwischen konservativer und operativer Behandlung ist
die Studienlage nicht eindeutig. Sehr viele Patienten fallen in eben diesen Bereich: Einerseits
sind in der Frühphase nach ihrem Bandscheibenvorfall die Beschwerden nicht
so stark, dass eine eindeutige OP Indikation vorliegt. Andererseits sind die vorliegenden
Beeinträchtigungen zu schwerwiegend, als dass der Erfolg einer konservativen
Therapie zuverlässig vorhergesehen werden kann. Unser Ziel ist in diesen Fällen einen
frühzeitigen Hinweis auf die richtige Therapiemöglichkeit zu erhalten. Deshalb wurde
untersucht, ob Deep Learning Algorithmen helfen können, eine Entscheidung für die
erfolgreiche Behandlung frühzeitig zu treffen.
Methodik
Die Daten von 139 Patienten wurden in einer laufenden Beobachtungsstudie erhoben.
Diese wurden genutzt, um ein state-of-the-art Deep learning Algorithmus zu implementieren.
Es wurde ein Ansatz von überwachtem Lernen geschaffen. Dabei wurden mehrere
Möglichkeiten der Feature Selection getestet, um das bestmögliche Ergebnis zu
erzielen. Ziel hierbei war die Vorhersage des ODI in Abhängigkeit der Behandlung im
Zeitverlauf. Ein niedriger ODI spricht für einen guten Behandlungserfolg.
Ergebnisse und Beobachtungen
Unsere Ansätze waren von unterschiedlichem Erfolg. Der Beste mithilfe der K-Best Selektion
der Daten performte mit mittleren absoluten Abweichungen von sieben bis zehn
für jeden der Untersuchungswerte. Die ausgewählte Behandlungsoption des Testpatienten
konnte mit der entsprechend gegensätzlichen verglichen werden.
Diskussion und Schlussfolgerung
Deep learning kann auch im Bereich der Wirbelsäulenchirurgie verwendet werden, um
unnötig lange Schmerzverläufe für zunächst konservativ behandelte Patienten zu vermeiden.
Gleichzeitig können überflüssige Operationen vermieden werden. Für die Zukunft
bestehen noch ausreichend Möglichkeiten, den Algorithmus mit mehr Informationen
zu versorgen, um eine weitere Verbesserung zu erreichen. Durch die Arbeit wurde
eine Möglichkeit geschaffen, eine Entscheidung zwischen zwei Behandlungsmethoden
besser treffen zu können. Dies kann in Zukunft auch auf andere Felder der Medizin
übertragen werden.Purpose
For patients in the gray area between conservative and surgical treatment, the study
situation is not finally resolved. Many patients fall into this category: On the one hand, in
the early phase after their herniated disc, the symptoms are not so severe that there is a
clear indication for surgery. On the other hand, the existing impairments are too severe
for the success of conservative therapy to be reliably predicted. Our goal in these cases
is to obtain an early indication of the best therapy option. Therefore, we investigated
whether deep learning algorithms can help to make an early decision for successful
treatment.
Methods
Data from 139 patients were collected in an ongoing observational study. These were
used to implement a state-of-the-art deep learning algorithm. An approach of supervised
learning was chosen. We tested several possibilities to train a model. The goal was
to predict the Oswestry Disability Index (ODI) as a function of treatment over time. A low
ODI indicates a good treatment success.
Results and Observations
Our approaches were of variable success. Our best approach using K-best selection
of the data performed with mean absolute error of seven to ten for each of the study
values. The selected treatment option of the test patient could be compared with the
corresponding opposite one.
Discussion and Conclusion
Deep learning can also be used in the field of spine surgery to avoid unnecessarily long
pain courses for conservatively treated patients. At the same time unnecessary surgeries
can be avoided. For the future there are still possibilities to provide our algorithm
with more information in order to achieve a further improvement. Our work has created
a possibility to make a better decision between two treatment methods. This can be
transferred to other fields of medicine in the future
Going Beyond Counting First Authors in Author Co-citation Analysis
No full textThe present study examines one of the fundamental aspects of author co-citation analysis (ACA) - the way co-citation
counts are defined. Co-citation counting provides the data on which all subsequent statistical analyses and mappings
are based, and we compare ACA results based on two different types of co-citation counting - the traditional type that
only counts the first one among a cited work's authors on the one hand and a non-traditional type that takes into
account the first 5 authors of a cited work on the other hand. Results indicate that the picture produced through this non-traditional author co-citation counting contains more coherent author groups and is therefore considerably clearer. However, this picture represents fewer specialties in the research field being studied than that produced through the traditional first-author co-citation counting when the same number of top-ranked authors is selected and analyzed. Reasons for these effects are discussed
Variations on the Author
No full text“Variations on the Author” discusses two of Eduardo Coutinho’s recent films (Um Dia na Vida, from 2010, and Últimas Conversas, posthumously released in 2015) and their contribution to the general question of documentary authorship. The director’s filmography is characterized by a consistent yet self-effacing form of authorial self-inscription: Coutinho often features as an interviewer that rather than express opinions propels discourses; an interviewer that is good at listening. This mode of self-inscription characterizes him as an author who is not expressive but who is nonetheless markedly present on the screen. In Um Dia na Vida, however, Coutinho is completely absent form the image, while Últimas Conversas, on the contrary, includes a confessional prologue that moves the director from the margins to the center of his films. This article examines the ways in which these works stand out in the filmography of a director who offers new insights into the notion of cinematic authorship
- …
