223 research outputs found
Hochdimensionale Integration: Kubaturformeln für multisymmetrische Funktionen
No full textDie vorliegende Arbeit beschäftigt sich mit der Problemstellung der numerischen Integration multivariater Funktionen in hohen Dimensionen. Insbesondere soll eine neue Methode diskutiert werden, nämlich die der Kubaturformeln für multisymmetrische Funktionen. Die numerische Berechnung von Integranden, die eine große Zahl an Ar-umenten aufweisen, ist eine schwierige Herausforderung, die in natürlicher Weise im Gebiet “Uncertainty Quantification” auftritt, zum Beispiel beim (numerischen) Lösen von stochastischen partiellen Differentialgleichungen. Hochdimensionale Integration ist im Allgemeinen schwierig, jedoch gibt es bestimmte Klassen von Integranden für die sich das Problem der hochdimensionalen Integration als leichter herausstellt. Wir interessieren uns daher für Klassen von Funktionen, die bestimmte Permutationsinvarianzeigenschaften erfüllen wie etwa multisymmetrische Funktionen. Ziel dieser Arbeit ist zunächst einen kurzen Überblick über die beliebtesten Techniken zu geben, die bei hochdimensionaler Integration zum Einsatz kommen, und anschließend näher auf Kubaturformeln für multisymmetrische Funktionen einzugehen. Die Idee, Kubaturformeln für solche Familien von Funktionen zu betrachten wurde gemeinsam mit meinem Betreuer C. Heitzinger und meinem Kollegen G. Pammer entwickelt. Eine Publikation zu diesem Thema, die inhaltlich in weiten Teilen mit der vorliegenden Arbeit übereinstimmt, wird derzeit rezensiert.This thesis is focused on the problem of numerical multivariate integration in high dimensions. In particular, we introduce the idea of interpolatory cubature formulas for multsymmetric functions. The numerical calculation of integrands with a large number of arguments is a challenging problem that arises frequently in Uncertainty Quantification, e.g. in Bayesian Estimation or the solution of stochastic partial differ- ential equations. While high-dimensional integration is very difficult in general, there are certain types of integrand families that are more tractable than others, such as integrands satisfying permutation-invariance properties related to multisymmetry. The goal of this thesis is to provide a short overview over the most popular techniques in the field of high-dimensional numerical integration and then explain the idea of cubature formulas for multisymmetric functions in more detail, an idea that was developed in joint work with my supervisor C. Heitzinger and my colleague G. Pammer. This work closely follows a paper on this topic that is currently under review
Rekonstruktion für das Sequenzieren mit Nanoporen
No full textIn dieser Diplomarbeit geht es um Nanopore-Sequenzierung. Bei dieser Methode wird ein einsträngiges DNA-Oligomer durch eine winzige Pore gezogen. Elektrischer Strom fließt anschließend durch diese Pore und wird durch die darin befindlichen Basen unterschiedlich stark moduliert. Wird dieser Strom gemessen, so kann man anhand der Messwerte auf die DNA-Sequenz zurückrechnen. Dieser Vorgang wird Basecalling genannt. Das Ziel dieser Diplomarbeit ist es, Algorithmen für das Basecalling mit einer möglichst hohen Genauigkeit zu entwickeln, zu implementieren und auszuwerten. Derzeit liegt diese bei ungefähr 80% für einen einzelnen Read. Durch mehrfaches Sequenzieren desselben Abschnittes können Genauigkeiten von über 99% erreicht werden. Um den Basecaller zu entwickeln, werden in dieser Arbeit bidirektionale rekurrente neurale Netze (kurz RNN) verwendet. Neben deren Implementierung müssen zusätzlich die optimalen Hyperparameter, wie z.B. die Größe und Anzahl der Schichten, der Optimierer, die Verlustfunktion etc. bestimmt werden. Um das RNN trainieren zu können, muss zuvor ein Trainings-Datensatz erstellt werden. Dafür muss für jeden Read der zugehörige Abschnitt in der Referenzsequenz ermittelt werden, um die tatsächlichen Basen dem Read zuordnen zu können. Da die Basen mit unterschiedlichen Geschwindigkeiten durch die Pore wandern, muss man zuvor anhand der Rohdaten feststellen, wann eine Base die Pore erreicht. Dazu wird eine Break Point Detection durchgeführt. Diese erkennt, wenn sich ein Signal signikant ändert. Als Methode wurde für diese Arbeit ein Window-based Break Point Detection-Algorithmus verwendet, der sich durch seine hohe Geschwindigkeit auszeichnet. Die Auswertungen der erhaltenen Testdaten haben gezeigt, dass die Präzision des erstellten Basecallers die des von Oxford Nanopore mitgelieferten Basecallers Metrichor nicht übersteigt. Durch die Verwendung eines anderen Break Point Detection-Algorithmus könnte eine Verbesserung erzielt werden.This master thesis is about nanopore sequencing. In this method, a single-stranded DNA oligomer is pulled through a tiny pore. Electric current flows through the pore and is modulated to different degrees by the different bases contained therein. By measuring the current one can draw conclusions on the DNA sequence. This process is called basecalling. The goal of this thesis is to develop, implement and evaluate algorithms for basecalling. Currently this value is about 80% for a single read. By sequencing the same section multiple times an accuracy of over 99% can be reached. In order to develop a basecaller bidirectional recurrent neural networks are used in this thesis. In addition to their implementation, the optimal hyperparameters, e.g. the size and number of layers, the optimizer, the loss function, etc. are determined. To train the RNN a training dataset must be created first. For each read, the corresponding section in the reference sequence must be determined in order to assign the actual bases to the read. Since the bases translate the pore at different speeds, it is necessary to first determine from the raw data when a base reaches the pore. Therefore a break point detection is applied. This method detects when the current changes significantly. The method used for this work is a window-based break point detection algorithm, which is characterized by its high speed. The evaluations of the test data obtained have shown that the precision of the developed basecaller does not exceed the precision of the basecaller Metrichor, supplied by Oxford Nanopore. An improvement could be achieved by using a different break point detection algorithm
Practical Considerations in Cloud Utilization for the Science Gateway nanoHUB.org
No full textnanoHUB.org is arguably the largest online nanotechnology user facility in the world. Just between July 2010 and June 2011 it served 177,823 users. 10,477 users ran 393,648 simulation jobs on a variety of computational resources ranging from HUBzero-based virtual execution hosts for rapid, interactive runs as well as grid-based resources for computationally-intense runs. We believe that as such our users experience a fully operational scientific “cloud”-based infrastructure even though it is not using “standard” computational cloud infrastructures such as EC2. In this paper we explore the use of standard computational cloud-based resources to determine whether they can deliver satisfactory outcomes for our users without requiring high personnel costs for configuration. In a science gateway environment, the assignment of jobs to the appropriate computational resource is not trivial. Resource availability, wait time, time to completion, and likelihood of job success must all be considered in order to transparently deliver an acceptable level of service to our users. In this paper, we present preliminary results examining the benefits and drawbacks of utilizing standard computational cloud resources as one potential venue for nanoHUB computational runs. In summary we find that cloud resources performed competitively with other grid resources in terms of wait time, CPU usage, and success in a multiple job submission strategy
Stochastische partielle Differentialgleichungen für die Modellierung von Transport
No full textThe understanding of charge transport plays an essential role in the design of many electronic and nanoscale devices such as electrical-impedance tomography (EIT) sensors, nanowire field-effect (bio- and gas) sensors and nanopore sensors for instance in medical applications and nanotechnology. Thus, carefully and realistic modeling and analysis of charge transport in nanoscale devices are of great importance. In this regard, we extend the transport model, namely the drift-diffusion-Poisson system to the frequency domain and analyze the existence and local uniqueness of its solution in the alternating-current (AC) small-signal regime, which were only demonstrated experimentally recently. To further improve the model, we develop the stochastic drift-diffusion-Poisson system in order to model uncertainty in the nanoscale devices. To this end, we first analyze the stochastic PDE system by presenting existence and local uniqueness of its solution, and then develop optimal stochastic numerical methods such as multilevel Monte-Carlo and multilevel randomized quasi Monte-Carlo finite-element methods to model randomness in charge transport. In fact the total errors of the presented stochastic methods including different (statistical and discretization) sources have to be balanced in order to improve the computational efficiency of the methods. This leads to finding the optimal discretization parameters and number of samples and consequently optimal stochastic methods. Realistic modeling of medical and electronic devices such as EIT sensors is also essential in this field. In this dissertation, we develop an EIT inverse model problem in an infinite-dimensional setting by extending the standard forward model to a nonlinear elliptic partial differential equation. The uncertainty in the presented nonlinear EIT model is due to the material and inclusion properties such as permittivities, charges and sizes of inclusions in the main body, which are essential in medicine, EIT and bioimpedance tomography to screen the interior body and to detect tumors or to determine body composition. These geometrical and physical governing parameters are extracted simultaneously by solving the resulting EIT inverse problem by means of an adaptive Markov-chain Monte-Carlo finite-element method (MCMC-FEM), including an MCMC sampling technique for the probability space and a Galerkin finite-element approximation for the discretization of the physical space. Furthermore, we formulate the EIT inverse model in a measure-theoretic framework and prove well-definedness and well-posedness of the posterior measure and the Bayesian inversion. The Bayesian inference also proves its ability to interpret the statistical variability in the measured outputs of biofilms growth and degradation. To this end, we present a system of PDEs as a mathematical model for biofilms, which describes the time dependent evolution of the size of the biofilm including quorum sensing and cooperation of bacteria against antibiotics. The results of biofilm inverse problem prove the ability of the proposed uncertainty quantification method to accurately estimate relevant system parameter in the model
Calibration, Compensation, Parameter Estimation, and Uncertainty Quantification for Nanoelectrode Array Biosensors
No full textThis paper presents the use of a statistical approach to estimate physical/electrochemical parameters of impedance spectroscopy experiments performed with a realistic nanoelectrodes array biosensor platform. The Bayesian estimation methodology is based on the combination of nanobiosensor simulations, performed with the ENBIOS tool, with Markov-Chain Monte Carlo (MCMC) analyses. A simple 1D electrode-electrolyte geometry is first considered as a validation test case, allowing the accurate estimation of Stern layer permittivity and salt concentration, as set by a reference analytical model. Then, full 3D analyses of the nanoelectrodes’ array system are performed in order to estimate a number of relevant parameters for measurements in electrolyte. Furthermore, moving to more challenging test cases, size/permittivity of microparticles suspended in electrolyte will also be discussed. This methodology allows for the determination of impedance spectroscopy data parameters, and quantification of parameter uncertainties in these multi-variable detection problems. It is thus a very promising approach in order to improve the precision of biosensor measurement predictions, which are intrinsically affected by many parameters
Reinforcement learning for games with imperfect information – Teaching an agent the game of Schnapsen
No full textIn dieser Arbeit verwenden wir Reinforcement Learning, um einem Agenten das Spiel Schnapsen, das nationale Kartenspiel Österreichs, beizubringen. Es gehört zu den Spielen mit unvollständiger Information, da jeder Spieler nur die Karten in seiner Hand sieht, während jene des Gegners unbekannt sind. Wir vergleichen verschiedene Methoden des Reinforcement Learning und evaluieren sie hinsichtlich ihrer Fähigkeit, das Spiel zu erlernen. Die Ergebnisse unserer Arbeit können auch in anderen Bereichen interessant sein, etwa bei automatisierten Auktionen, da diese ebenfalls als Spiele mit einfachen Regeln und unvollständigen Informationen über die Gebote anderer Teilnehmer angesehen werden können.In this work we use reinforcement learning to teach an agent the game of Schnapsen, the national card game of Austria. It is a trick-taking card game with imperfect information, since each player can only see the cards in their hand while the cards held by the opponent are unknown. We evaluate various methods of reinforcement learning regarding their suitability for this purpose. The results of our work may also be interesting in other areas like automated auctions, which may be viewed as games with simple rules and imperfect information about the bids of other participants
One-Class Domain Adaptation durch Meta-Lernen
No full textIn recent years, the integration of IoT (Internet of Things) sensor platforms into industrial plants has opened up new opportunities for applying machine learning models to various tasks, such as anomaly classification. However, the deployment of these models in such systems poses significant challenges due to distribution shifts, as the training data acquired in controlled laboratory settings may significantly differ from real-time data in production environments. Furthermore, many real-world applications cannot provide a substantial number of labeled examples for each anomalous class in every new environment. It is therefore crucial to develop adaptable machine learning models that can be effectively transferred from one environment to another, enabling rapid adaptation using normal data. I extended this problem setting to an arbitrary multi-class classification task and formulated the one-class domain adaptation (OC-DA) problem setting. To the best of my knowledge, my work is the first to address one-class adaptation across domains. I took a meta-learning approach to tackle the challenge of OC-DA, and proposed a task sampling strategy to adapt any bi-level meta-learning algorithm to OC-DA. I modified the well-established model-agnostic meta-learning (MAML) algorithm and introduced the OC-DA MAML algorithm. I provided a theoretical analysis showing that OC-DA MAML optimizes for meta-parameters that enable rapid one-class adaptation across domains. I empirically evaluated OC-DA MAML on the Rainbow-MNIST meta-learning benchmark and on a real-world dataset of vibration-based sensor readings. The results show that OC-DA MAML significantly outperforms MAML using the standard task sampling strategy.Die Integration von IoT (Internet of Things) Sensorplattformen in industrielle Anlagen eröffnet neue Möglichkeiten für den Einsatz von Modellen des maschinellen Lernens, insbesondere in der Anomalie-Klassifizierung. Der erfolgreiche Einsatz dieser Modelle in solchen Systemen ist jedoch mit erheblichen Herausforderungen verbunden. Insbesondere weichen die in kontrollierten Laborumgebungen gesammelten Trainingsdaten häufig erheblich von den Echtzeitdaten in Produktionsumgebungen ab. Zudem ist es oft nicht möglich, für jede Anomalie-Klasse in neuen Umgebungen eine ausreichende Menge an Daten zu beschaffen. Daher ist es von entscheidender Bedeutung, anpassungsfähige Modelle zu entwickeln, die sich effektiv von einer Umgebung in eine andere übertragen lassen und eine schnelle Anpassung unter Verwendung normaler Daten ermöglichen. Diese Arbeit erweitert diese Problemstellung auf allgemeine Klassifikationsaufgaben und formuliert die Fragestellung der "One-Class Domain Adaptation'' (OC-DA). Nach meinem Kenntnisstand handelt es sich bei dieser Arbeit um die erste, die sich mit OC-DA befasst. Im Rahmen dieser Arbeit wird eine Task-Sampling-Strategie vorgeschlagen, die es ermöglicht, jeden zweistufigen Meta-Learning-Algorithmus an die Anforderungen von OC-DA anzupassen. Konkret wird der "Model-Agnostic Meta-Learning'' (MAML) Algorithmus modifiziert und der OC-DA MAML Algorithmus entwickelt. Eine theoretische Analyse zeigt, dass OC-DA MAML Meta-Parameter findet, die es dem Modell ermöglichen, sich mit nur wenigen Trainingsdaten einer einzigen Klasse an eine neue Umgebung anzupassen. Der OC-DA MAML wird empirisch anhand des Rainbow-MNIST Meta-Learning-Benchmarks und eines realen Datensatzes aus vibrationsbasierten Sensormesswerten evaluiert. Die Ergebnisse zeigen, dass OC-DA MAML signifikant bessere Leistungen erbringt als MAML mit der herkömmlichen Task-Sampling-Strategie
Zeitreihenvorhersage mit aufmerksamkeitsbasierenden Transformer-Modellen
No full textDiese Arbeit erforscht die Anwendung von Transformer-basierten Modellen zur Vorhersage von zwei sehr unterschiedlichen Datensätzen. Zum besseren Vergleich wurden zusätzlich zwei weitere Modelle erstellt und die Vorhersageergebnisse mithilfe eines statistischen Tests kontrolliert. Die geringsten RMSE-Werte wurden vom SARIMA-Modell erreicht, knapp dahinter folgten die Transformer-basierten Modelle. Ein weiteres zentrales Thema dieser Arbeit war die visuelle Untersuchung der Aufmerksamkeit des Transformers. Die Ergebnisse zeigen, dass es einen Zusammenhang zwischen der Anzahl der Aufmerksamkeitsköpfe und der Verteilung der Aufmerksamkeit gibt. Zusätzlich wurde eine Periodizität in der Aufmerksamkeit nachgewiesen, wenn diese bereits in den Quelldaten vorhanden war. Am Ende der Arbeit wurden diese Modelle in einer Handelssimulation mit realenRegeln getestet, bei der es darum ging, Aktien zu kaufen und zu verkaufen. Alle Modelle erzielten einen negativen Gewinn, was auf die Schwierigkeit derart nicht-linearer und komplexer Finanzdaten hinweist.This thesis explores the application of Transformer models for forecasting two different data sets. For a comparison, two other state-of-the-art (SARIMA and LSTM) models were created and compared with help of statistical tests. The results show, that the SARIMAmodel achieves the lowest RMSE-scores for both data sets, while the Transformer performs close to it. Another big topic was to analyze the attention of the Transformer model by a visual inspection. Additionally, the results show that there is a relationship between the number of attention-heads and the distribution of the attention. They also show if there exists a periodicity in the source data there is also a measurable periodicity in the attention. At the end of the study tested these models were tested in a training simulation with real-world rules. All models produce a negative profit after one month of trading indicating the difficulty of such non-linear and complex finance data
Deterministische und robuste Optimierung komplexer nanoskaliger photonischer Strukturen
No full textThanks to their versatile light-manipulation abilities, photonic structures show considerable promise in a variety of fields such as optical computing, imaging, and cloaking. The optical behaviors of these structures are a result of complex interactions between many variables, which poses a significant hurdle to finding optimal designs. In this work, our goal is to provide an automated approach for the nominal and robust optimization of a large class of composite photonic structures. The thesis is cumulative and consists of five published or submitted papers.The first paper (Chapter 2) contains the backbone of our approach. We begin by specifying the fast electromagnetic solver used to model a given structure, which combines integral equation discretization for each inclusion, multiple scattering theory to compute inclusion interactions, and the Fast Multipole Method in order to accelerate the solver. Then, the parameters of each inclusion are optimized with a gradient-based method, where the gradient is calculated by the adjoint-state method. We demonstrate our method by designing two structures that maximized the intensity of the electric field at given points. The resulting designs were noticeably irregular, which supports the use of optimization.We published the Julia source code used to run our simulations as an open-source research software package with an accompanying software journal paper (Chapter 3). This package provides users with the ability to solve and optimize the class of problems discussed in Chapter 2. After publication, the software was expanded to support problems discussed in later chapters. The conference paper in Chapter 4 extends the optimization to multi- frequency problems, and presents a preliminary approach for designing photonic crystal-based demultiplexers.Our fourth paper (Chapter 5) generalizes the objective functions in our approach to include power flow, thus enabling optimization of practical structures whose behavior cannot be specified solely by pointwise field amplitude. With this capability, we were able to improve upon an existing two-frequency demultiplexer design as well as design a structure that exhibits substantial asymmetric light transmission, which is also known as an optical diode.During our work, we noticed that many of these optimized devices are sensitive to changes in the parameters, rendering them ineffective in practice, where fabrication errors are to be expected. This realization motivated the incorporation of two robust optimization strategies into our approach (Chapter 6), such that resulting designs would continue to perform in the presence of such errors. Specifically, we designed photonic structures that exhibited asymmetric light transmission even with independent random perturbations applied to each rod radius.Dank ihrer vielseitigen Fähigkeiten zur Lichtmanipulation sind photonische Strukturen in einer Vielzahl von Bereichen wie optische Datenverarbeitung, Bildgebung und Tarnung vielversprechend. Das optische Verhalten dieser Strukturen ist das Ergebnis komplexer Wechselwirkungen zwischen vielen Variablen, was eine bedeutende Hürde bei der Suche nach optimalen Designs darstellt. In dieser Arbeit ist es unser Ziel, einen automatisierten Ansatz für die nominelle und robuste Optimierung einer großen Klasse zusammengesetzter photonischer Strukturen bereitzustellen. Die Dissertation ist kumulativ und besteht aus fünf veröffentlichten oder eingereichten Arbeiten. Die erste Arbeit (Chapter 2) enthält das Rückgrat unseres Ansatzes. Wir beginnen mit der Spezifizierung des schnellen elektromagnetischen Lösers, der zur Modellierung einer gegebenen Struktur verwendet wird, welcher die Diskretisierung von Integralgleichungen für jeden Einschluss, die Mehrfachstreutheorie zur Berechnung von Einschlusswechselwirkungen und die Fast-Multipole-Method zur Beschleunigung des Lösers kombiniert. Dann werden die Parameter jedes Einschlusses mit einer gradientenbasierten Methode optimiert, wobei der Gradient mit der adjungierten Methode berechnet wird. Wir demonstrieren unsere Methode, indem wir zwei Strukturen entwerfen, die die Feldintensität an gegebenen Punkten maximieren. Die resultierenden Designs waren auffallend unregelmäßig, was den Einsatz der Optimierung unterstützt. Wir veröffentlichten den Julia-Quellcode, der zur Ausführung unserer Simulationen verwendet wurde, als Open-Source-Forschungssoftwarepaket mit einem begleitenden Software-Journal-Papier (Chapter 3). Dieses Paket bietet den Benutzern die Möglichkeit, die in Chapter 2 besprochene Klasse von Problemen zu lösen und zu optimieren. Nach der Veröffentlichung wurde die Software erweitert, um die in späteren Kapiteln behandelten Probleme zu unterstützen. Das Konferenzpapier in Chapter 4 erweitert die Optimierung auf Mehrfrequenzprobleme und stellt einen vorläufigen Ansatz für den Entwurf von Demultiplexern auf der Basis photonischer Kristalle vor. Unser vierter Beitrag (Chapter 5) verallgemeinert die Zielfunktionen in unserem Ansatz, um den Leistungsfluss einzubeziehen und so die Optimierung von praktischen Strukturen zu ermöglichen, deren Verhalten nicht allein durch die punktweise Feldstärke spezifiziert werden kann. Mit dieser Möglichkeit waren wir in der Lage, ein bestehendes Zweifrequenz-Demultiplexer-Design zu verbessern und eine Struktur zu entwerfen, die eine erhebliche asymmetrische Lichtdurchlässigkeit aufweist, die auch als optische Diode bekannt ist. Während unserer Arbeit stellten wir fest, dass viele dieser optimierten Bauelemente empfindlich auf Änderungen der Parameter reagieren, was sie in der Praxis, wo Herstellungsfehler zu erwarten sind, unwirksam machen. Diese Erkenntnis motivierte uns zur Aufnahme von zwei robusten Optimierungsstrategien in unseren Ansatz (Chapter 6), so dass die resultierenden Designs auch bei Vorhandensein solcher Fehler weiterhin funktionieren würden. Insbesondere entwarfen wir photonische Strukturen, die, selbst bei unabhängigen zufälligen Störungen an jedem Stabradius, eine asymmetrische Lichtdurchlässigkeit aufwiesen
Reinforcement Learning und Evaluation für die Nierenersatztherapie
No full textAkutes Nierenversagen (Acute Kidney Injury, AKI) ist eine schwerwiegende Erkrankung, die bis zu 50% der Patienten auf der Intensivstation betrifft und häufig eine Nierenersatztherapie(RRT) erfordert, um lebensbedrohliche Komplikationen zu verhindern. Trotz klinischer Leitlinien bleibt die Entscheidungsfindung zur RRT hochvariabel, da sie stark auf der Intuition und Erfahrung der Ärzte basiert. Diese Variabilität kann zu suboptimalen Behandlungszeitpunkten, erhöhter Morbidität und ineffizienter Ressourcennutzung führen. Diese Arbeit untersucht die Anwendung von Reinforcement Learning (RL) zur Optimierung der RRT-Entscheidungsfindung in der Intensivmedizin. Dabei werden Patientendatenaus der MIMIC-IV-Datenbank genutzt, um verschiedene RL-Modelle zu entwickeln und zu evaluieren. Deep Q-Networks (DQN), Proximal Policy Optimization (PPO), Advantage Actor-Critic (A2C) und Distributional RL (C51) werden hinsichtlich ihrer Effektivität in der klinischen Entscheidungsfindung verglichen. Die Modelle wurden anhand ihrer Übereinstimmung mit den klinischen Entscheidungen sowie unter Berücksichtigung von Präzision, Recall, F1-Score, Trainingseffizienz und Interpretierbarkeit bewertet. Jedes der untersuchten Algorithmen zeigte dabei spezifische Eigenschaften, die unterschiedliche Abwägungen zwischen Exploration, Interventionsstrategien und der Modellierung von Unsicherheiten widerspiegeln. Anstatt einen einzelnen Ansatz hervorzuheben, unterstreicht die Evaluation die Vielfalt der Methoden des Reinforcement Learning im Umgang mit der Komplexität der Entscheidungsfindung bei RRT. Die SHAP-Analyse bestätigte, dass Kreatinin, Blut-Harnstoff-Stickstoff (BUN), der SOFA Score und die Flüssigkeitsbilanz die wichtigsten Faktoren für die RL-Entscheidungsfindung sind, was mit klinischen Best Practices übereinstimmt. Diese Arbeit liefert eine neue Benchmark für RL-gestützte RRT-Entscheidungssysteme und hebt sowohl die Vorteile als auch die Einschränkungen hervor. Zukünftige Forschungen sollten sich darauf konzentrieren, die klinische Ausrichtung der Modelle zu verbessern, die Erklärbarkeit zu erhöhen und eine Echtzeit-Integration mit klinischem Feedback zu ermöglichen. Die Erkenntnisse tragen zur Entwicklung und zum Überbrücken der Lücke zwischen datengesteuerter Intelligenz und menschlicher Expertise in der Intensivpflege bei.Code Reference: https://github.com/MimiSadikovikj/Master-Thesis-RL-RRTAcute Kidney Injury (AKI) is a critical condition affecting up to 50% of ICU patients, often requiring Renal Replacement Therapy (RRT) to prevent life-threatening complications.Despite existing clinical guidelines, RRT decision-making remains highly variable, relying heavily on clinician intuition and experience. This inconsistency can lead to suboptimal treatment timing, increased patient morbidity, and resource inefficiency. This research explores the application of Reinforcement Learning (RL) for optimizing RRT decisions in ICU settings, leveraging MIMIC-IV patient data to develop and evaluate RL models. The study investigates Deep Q-Networks (DQN), Proximal Policy Optimization(PPO), Advantage Actor-Critic (A2C), and Distributional RL (C51) to determine their effectiveness in clinical decision-making. The models were assessed based on agreement with clinician decisions, precision, recall,F1-score, training efficiency, and interpretability. Each algorithm exhibited distinct characteristics, reflecting different trade-offs between exploration, intervention strategies, and uncertainty modeling. Rather than favoring one approach, the evaluation highlights the diversity of reinforcement learning methods in addressing the complexity of RRT decision-making. SHAP analysis confirmed that Creatinine, Blood Urea Nitrogen (BUN), SOFA score, and fluid balance were the most influential factors in RL decision-making, aligning with clinical best practices. This study provides a novel benchmark for RL-driven RRT decision support, highlighting key advantages and limitations. Future research should focus on improving model alignment with clinical decision-making, enhancing explainability, and integrating real-time clinician feedback for adaptive learning. The findings contribute to the development and to bridging the gap between data-driven intelligence and human expertise in critical care. Code Reference: https://github.com/MimiSadikovikj/Master-Thesis-RL-RR
- …
