Technische Universität Dresden: Qucosa
Not a member yet
16344 research outputs found
Sort by
Von der Forschung in die Praxis - Umsetzung einer Checkliste zur Bewertung von Ablenkung durch Fahrzeugbedienung in Euro NCAP
No full textHermann Glöckner. Ensemble aus acht farbigen Baukörpern
No full textDie Arbeit widmet sich der skulpturalen Plastik „Ensemble aus acht farbigen Baukörpern“ (1978) des Dresdner Künstlers Hermann Glöckner. Im Mittelpunkt steht die Frage nach einer möglichen Aufstellung dieser lose gruppierten Körper. Da keine expliziten Vorgaben des Künstlers überliefert sind, wird auf der Grundlage einer Analyse von Glöckners künstlerischer Praxis, biografischem Hintergrund und formalen Gestaltungsprinzipien ein Vorschlag für eine Aufstellung entwickelt
Wie hat sich das pandemiebedingte Distance-Schooling auf die Digitale Bildung im Grundschulalter ausgewirkt?: Ein systematisches Review
No full textDurch die Schließung öffentlicher Institutionen während der Covid-19-Pandemie ist die Relevanz digitaler Medien für die schulische Bildung gestiegen. Den abrupten Veränderungen des Lernens mit und über Medien in dieser Zeit widmeten sich zahlreiche Studien. Für diesen Beitrag wurde zur Systematisierung der vorliegenden Erkenntnisse ein Literaturreview durchgeführt, das die Frage ins Zentrum stellt: Wie hat sich das pandemiebedingte Distance-Schooling auf die Digitale Bildung im Grundschulalter ausgewirkt? Der Beitrag zeigt auf, welche methodischen und thematischen Schwerpunkte bisherige Studien gelegt haben. Hiervon ausgehend ergeben sich drei konkrete Forschungsdesiderata, deren Bearbeitung retrospektiv dazu beitragen würde, ein tieferes Verständnis dafür zu entwickeln, wie das Distance-Schooling umgesetzt wurde und wie Digitale Bildung im Grundschulalter langfristig gestaltet werden kann.The closure of public institutions associated with the Covid-19-pandemic has significantly increased the relevance of digital media for school education. Numerous studies have been devoted to the abrupt changes in learning in the context of digital media during this time. Therefore, a literature review was carried out to systematize the findings. The review focuses on the question: How has distance schooling during the COVID-19-pandemic affected digital education of primary school children? The article shows the methodological and thematic focus of previous studies. Following on from this, three concrete research desiderata are derived, the processing of which would contribute to developing a deeper understanding of the experiences of distance schooling and their importance for the digital education in a longer-term perspective
Keynote - The Fao-Itto-Iufro Global Assessment of Forest Education – Reflections to University Education
No full textThe FAO-ITTO-IUFRO Global Assessment of Forest Education (GAFE) 2020-2021 aimed at assessing the goals, achievements and gaps of forestry education at all levels of formal education. The project was also aiming to catalyse and enhance forestry education. Main results concerning university level education were identifying gaps in education, such as social issues and traditional knowledge in forestry curricula. The study revealed a need to improve some generic competences, increase practical experience, digital readiness and improve gender and minority equality
Efficient Neural Network Inference on Resource-Constrained Devices
No full textLarge-scale Artificial Neural Networks (ANNs) have gone from academic subject to surpassing human performance in a large number of domains within little more than a decade. What powered this meteoric rise was the availability of enormous—and exponentially growing—amounts of computational capacity.
During the same time, many scandals around data breaches have undermined the public’s trust in the confidentiality of their data, once transferred to the cloud platforms on which ANNs usually run. This trend has sparked interest in running Machine Learning (ML) models not just on centralized and powerful compute systems, but on the edge, close to where the data originates. These devices are often battery-powered and provide several orders of magnitude less compute and memory, compared to modern High Performance Computing (HPC) systems. Training a model based on local data is rarely feasible on such constrained systems. Querying an existing, static model for predictions—a process known as inference—is, however, often achievable, especially for comparatively simple tasks like image recognition and keyword spotting.
This thesis discusses several adaptations to the inference of ANNs to suit the requirements of these resource-constrained systems. First, integer quantization and the use of Approximate Multipliers (AMs) are discussed as a means of reducing the energy consumption of the arithmetic hardware of resource-constrained systems. These hardware multipliers do not provide mathematically exact results under all conditions, which allows them to improve upon accurate hardware in other metrics. When they are used to run a model that was trained using accurate multiplication, they do, however, tend to cause a significant degradation of accuracy. To improve the final model’s accuracy when using AMs, a Graphics Processing Unit (GPU)-backed simulation of their behavior is integrated into the popular ML framework PyTorch. For some designs, the throughput of this simulation is improved upon by up to four times through a novel simulation model in the floating-point domain, which plays to the strengths of the GPUs that are commonly used to carry out the training.
This AM simulation software library is then used to combine the heterogeneous choice of AMs for different layers in a neural network with retraining to improve the model’s performance. Considering the accuracy requirements of each layer in a neural network, rather than uniformly deploying a single AM model throughout improves the accuracy for a given reduction in energy and vice versa. An up to 79% reduction in the energy consumption for multiplications at a less than 1 p.p. drop in accuracy was achieved when combining heterogeneous AM assignment with retraining.
Besides compute, another scarce quantity in a resource-constrained system is memory. Results from previous research suggest that many parameters in a neural network might be redundant and can be replaced with zeroes, leaving a network with sparse tensors. Most research focuses on using this sparsity to accelerate computations, while its use for compression is rarely discussed. This is addressed by developing two encoding schemes for sparse neural network tensors, which achieve both high compression ratios and can utilize the parallel hardware available in many devices to accelerate decompression at runtime. The combination of both schemes achieves a more than 25% reduction in memory consumption at a less than 1 p.p. loss in model accuracy for several different image recognition architectures.
Finally, sparsity and heterogeneous choice of AMs are combined and extended to include a third desirable property in resource-constrained systems: flexibility. The AM choice algorithm is enhanced to allow for a constrained number of AMs to be chosen from a larger search space. If the compute platform allows for reconfiguring the precision of the approximate operator at runtime, The optimization result is used to provide several different assignments from AMs to layers—the model’s operating points. Each of these points strikes a different balance between energy consumption and accuracy and allows for adjusting the Quality of Service (QoS) of the model at runtime. The increase in parameters caused by retraining the same model for different inference environments is addressed with a weight-sharing scheme that keeps the majority of parameters identical between models as well as the use of pruning and compression of the model’s sparse tensors. With this combination, both an up to 50% reduction in energy consumption and a 25% reduction in memory footprint are achieved, at the cost of a worst-case accuracy loss of 1.10 p.p.
This thesis integrates several, usually distinct, aspects of neural network inference from model training to hardware parameters optimization and low-level software. Simultaneously considering these different components that need to come together in a system’s design helps build a deeper understanding away from domain-specific optimizations, and towards optimization of neural network inference on resource-constrained devices as a whole.:ABSTRACT
ACKNOWLEDGMENTS
1 INTRODUCTION
1.1 The Unreasonable Effectiveness of Neural Networks
1.2 Processors at the End of Dennard Scaling
1.3 Intelligent Devices: The Drive Towards On-Device Inference
1.4 Shrinking Neural Networks
1.5 Research Challenges
1.6 Proposed System Design Methodology
1.7 Key Contributions and Thesis Overview
2 PRELIMINARIES
2.1 Neural Networks
2.1.1 Inference
2.1.2 Learning through Backpropagation
2.1.3 Convolutional Neural Networks
2.2 Quantization
2.2.1 Fixed-Point and Floating-Point Representations
2.2.2 Post-Training Quantization and Quantization-Aware Training
2.3 Pruning
2.3.1 Sensitivity Analysis
2.3.2 Iterative Pruning and Fine-Tuning
2.4 Approximate Multiplications
2.4.1 Truncated Multiplier
2.4.2 Logarithmic Multiplier
3 APPROXIMATE MULTIPLICATIONS DURING NETWORK TRAINING
3.1 Introduction
3.2 Related Work
3.2.1 Approximate Multipliers
3.2.2 Approximate Neural Network Training
3.3 Granular Quantization for Approximate Neural Networks
3.3.1 Motivation
3.3.2 Approximate Per-Channel Quantization
3.4 From Fake-Quantization to Fake-Approximation
3.4.1 Rationale
3.4.2 Modeling Approximate Multiplications as a Composition of Transformations and Accurate Product Functions
3.4.3 Required Properties and Limitations
3.5 Analytic Implementation of Fake-Approximation
3.5.1 Modeling Logarithmic Approximate Multipliers
3.5.2 Performance Considerations for GPUs
3.6 Data-driven Implementation of Fake-Approximation
3.6.1 Modeling Truncated Multipliers
3.6.2 Determining Model Parameters through Linear Regression
3.7 Generalization of Fake-Approximation to Arbitrary Circuits
3.8 Design Considerations for the TorchApprox Software Toolkit
3.9 Accuracy Impact of Quantization Granularity
3.9.1 Aggregate Evaluation on a Population of Models
3.9.2 Impact on Individual Models
3.10 Fidelity and Throughput of the Proposed Floating-Point Models
3.10.1 Experimental Setup
3.10.2 Evaluation
3.11 Inference Throughput of Approximate Deep Learning Frameworks
3.11.1 Experimental Setup
3.11.2 Evaluation
3.11.3 Comparison with TFApprox
3.12 Conclusion
4 MODEL SENSITIVITY TO APPROXIMATE MULTIPLICATIONS
4.1 Introduction
4.2 Related Work
4.2.1 Retraining for Approximate Multiplications through Gaussian Noise
4.2.2 Heterogeneous Approximate Multiplier Assignment
4.3 Modeling Approximate Multiplication as Noise
4.3.1 Propagation of Small Numerical Errors in a Neuron
4.3.2 Handling of the Error Mean
5.7 Case Study: Large Sparse vs. Small Dense MobileNetV2 on CIFAR-10
5.8 Hybrid Compression for Image Classification Tasks
5.8.1 Accuracy and Sparsity
5.8.2 Extraction Throughput
5.9 Conclusion
6 ADAPTIVE APPROXIMATE COMPUTING AND SPARSITY
6.1 Introduction
6.2 Related Work
6.3 n-constrained Multiplier Selection
6.3.1 Rationale
6.3.2 Input Preparation and Clustering
6.3.3 Interpretation of Clustering Results
6.4 Extending to Multiple Approximate Operating Points
6.5 Model Size Reduction
6.5.1 Rationale
6.5.2 Importance of Error Mean
6.5.3 Fine-Tuning Scheme
6.5.4 Sparsity for Shared Weights
6.6 Optimization of a Single Operating Point
6.6.1 Training Setup
6.6.2 Reference Optimization Techniques
6.6.3 Achieved Accuracy
6.7 Impact of Multiple Operating Points
6.7.1 Training Setup
6.7.2 Accuracy and Model Size
6.7.3 Model Compression through Sparsity and Hybrid Encoding
6.8 Conclusion
7 CONCLUSION AND OUTLOOK
7.1 Conclusion
7.2 Outlook
BIBLIOGRAPHY
APPENDIX
A Use of Large Language Models in the Writing of This Thesis
B Approximate Multiplication Training Framework
B.1 Network Training Setup
B.2 Experimental Results
C Compressed Sparsity
C.1 Likelihood of Element Groups
C.2 Spacing of Elements
C.3 Impact of Group Occupancy θ on Partitioning
C.4 Binary Group Mask
C.5 Keyword Spotting Reference Architectur
Innovative Ansätze für das Bauwerksmonitoring im Netz der ASFINAG
No full textAls innovativer Straßeninfrastrukturbetreiber hat sich die ASFINAG in Zusammenarbeit mit Dienstleistern und Forschungseinrichtungen an einer Vielzahl von Methoden des Bau werksmonitorings versucht. Im Beitrag werden zwei vielversprechende Methoden der jüngeren Vergangenheit zur Überwachung und Zustandsbewertung von Brücken vorgestellt, die im Netz der ASFINAG bereits im Einsatz sind. Zum einen ist das die verteilte faseroptische Messung, welche an Brücken angebrachte oder eingebettete faseroptische Kabel nutzt, um Belastungen, Temperaturänderungen und Schwingungen in Echtzeit räumlich hochaufgelöst zu messen. Der hohe Informationsgehalt dieser Messungen ermöglicht ein breites Einsatzspektrum, wie die experimentelle Erfassung von Lasteinflusslinien oder die langfristige Beobachtung von Dehnungsänderungen und Rissen zur Unterstützung der Brückenprüfung. Ein weiterer neuartiger Monitoringansatz ist die berührungslose Messung mit Radarsatelliten. Mit diesen können, wie in einem Pilotprojekt demonstriert, Verformungen mit einer Genauigkeit von unter 3 mm nachgewiesen werden. Diese Technologie hat das Potential, Verformungen und Setzungen an einer Vielzahl von Bauwerken gleichzeitig zu bestimmen
Exploring the magneto-transport of planar and cylindrical graphite in quantizing fields
No full textThe quantum Hall effect (QHE) observed in a two-dimensional electron gas (2DEG) stands as a pivotal discovery in twentieth-century physics. This phenomenon propelled a significant advancement in understanding electrons confined to a 2D space subjected to a transverse magnetic field (B) and their interactions with disorder and sample boundaries. The precisely quantized value of the Hall resistivity led to a new definition of the resistance standard, incorporating the concept of topology into condensed matter physics. This breakthrough not only initiated a new realm of exploration into topological materials but also inspired in-depth theoretical and experimental investigations across various facets of the observation.
Traditionally, the QHE was believed to be exclusively confined to a 2DEG.
However, recent measurements have challenged this long-standing belief by quantitatively explaining the plateau-like features in the Hall conductivity (σxy) of low carrier density semi-metals and lightly doped semiconductors with a 3D Fermi surface. This is termed the quasi-quantized Hall effect (qQHE). The hypothesis underlying the qQHE suggests that, in the quantum limit, σxy approximately scales with the Fermi wave-vector along B. Predictions also include the presence of localized states, and surface states analogous to the edge states in the QHE. The qQHE is declared as a generic phenomenon applicable to all low carrier density systems possessing a 3D Fermi surface.
The first part of this thesis delves into investigating whether the qQHE quantitatively explains the σxy in graphite. The motivation arises from the following reasons. Firstly, prior magneto-transport studies have revealed plateau-like features in the σxy of graphite; however, the quantitative explanation of its height remains unexplained. Secondly, graphite, being semi-metal with low carrier density, aligns with the prerequisites set forth by previous qQHE investigations. Thirdly, the electronic properties of graphite are accurately captured by the Slonczewski-Weiss-McClure (SWM) model. This model facilitates the theoretical estimation of σxy as hypothesized within the qQHE framework, enabling a direct comparison with experimental data to scrutinize the validity of the hypothesis. Moreover, this study goes beyond the conventional boundaries by extending its scope to material systems featuring multiple Fermi pockets-a domain yet unexploredpocketshe context of the qQHE. Intriguingly, the investigation reveals a spread in the σxy values across samples with similar Fermi surfaces, approaching the predicted qQHE values. This challenges existing explanations derived from the qQHE. The thesis delves into a thorough discussion of various possibilities aimed at addressing the σxy in graphite.
Notably, a novel power-law-like scaling of σxy is observed, hinting at potential analogies with the power-law scaling known from the anomalous Hall effect—a facet that adds an interesting layer to the exploration.
In the second part of this thesis, the focus shifts toward examining whether hypothesized surface states exist in the qQHE. Graphite’s ability to be processed into various 3D shapes is noted, and a cylindrical geometry is chosen. For an out-of-plane orientation relative to the cylinder length axis, the number of occupied Landau bands is angle-dependent due to the angle-dependent Landau quantization. In 2D, regions that indicate a change in the number of occupied Landau levels must necessarily host edge states because of a topological phase transition. The examination aims to discern whether analogous effects arise due to hypothesized surface states and the parallels drawn between the qQHE and QHE, particularly concerning Berry curvature effects. During the course of my measurements, a significant gap in understanding the experimental signatures of charge transport under the combined influence of B and curvature is identified. Specifcally, I noted that current redistribution plays a crucial role in this process. To address this issue, I developed a network model that qualitatively explains the longitudinal and Hall measurements in cylindrical graphit
Rom (Komturei, Italien)
No full text:Bauliche und territoriale Entwicklung
Beziehungen und Konflikte
Architektonische Überrest
Die strukturelle und funktionelle Charakterisierung der Extrazellulären Matrix aus dem Knochenmark von Patient*innen mit Myelodysplastischer Neoplasie
No full textDie myelodysplastischen Neoplasien (MDS) sind eine heterogene Gruppe an
Knochenmarkserkrankungen mit dem klinischen Erkrankungsbild von peripheren Zytopenien und Zelldysplasien mit variabler Symptomausprägung und einem 30% Risiko für den Progress
in die akute myeloische Leukämie (AML). Die Pathogenese des MDS basiert auf der klonalen Dominanz und des selektiven Vorteils der malignen hämatopoetischen Stammzellen (HSPCs), was zu einer Verdrängung der physiologischen Hämatopoese führt. MDS-HSPCs sind jedoch in vitro durch eine schlechte Differenzierungskapazität und ineffizientem Wachstum gekennzeichnet, was für eine große Diskrepanz zwischen dem in vivo und dem ex vivo Verhalten spricht. Um diese Diskrepanz besser nachvollziehen zu können, rückt die Rolle der Knochenmarksnische und ihrer zellulären und nicht-zellulären Komponente in den Fokus der Untersuchungen. In dieser Arbeit wurde insbesondere die extrazelluläre Matrix (ECM) von mesenchymalen Stromazellen (MSC) als wichtiger Bestandteil der Knochenmarksnische in ihrer Kommunikationsfähigkeit mit den HSPCs beleuchtet. Das Ziel dieser Untersuchung bestand darin, die ECM in ihrer Struktur und ihrer Funktion zu charakterisieren und die Wirkung des hypomethylierenden Chemotherapeutikums Azacitidin auf die ECM-Beschaffenheit zu analysieren. Zur Generierung der ECM wurden MSCs von Patienten*innen mit HR-MDS sowie von
alterskorrelierenden, hämatologisch gesunden Spendern gewonnen und kultiviert. Ein Teil der HR-MDS-MSCs wurden in einem Azacitidin-haltigem Kulturmedium kultiviert. Nach der 10- tägigen konnten die Proben dezellularisiert werden, um zellfreie ECM zu erhalten. Die ECM wurde sowohl strukturell als auch funktionell untersucht. Die strukturelle Charakterisierung beinhaltete die Quantifizierung einzelner ECM-Komponenten, wie Kollagen I, Kollagen IV und Glykosaminoglykane (GAG). Die Quantifizierung der ECM-Bestandteile erfolgte unter Verwendung der photometrischen Kit-Systeme Sircol und Blyscan, jeweils für Kollagene und Glykosaminoglykane. Zudem wurden Kollagen I und IV sowohl mittels Immunfluoreszenzfärbungen visualisiert als auch mithilfe von Western-Blot semi-quantitativ analysiert. Es erfolgten spezifische Immunfluoreszenzfärbungen von Glykosaminoglykanen mittels Lektin-WGA (Wheat Germ Agglutinin) für Heparansulfat, Keratansulfat und Hyaluronsäure und Lektin-PNA (Peanut Agglutinin) zur Identifizierung von Chondroitinsulfat, Keratansulfat und Dermatansulfat. Die genaue ECM-Oberflächenstruktur konnte mithilfe von Rasterelektronenmikroskopie visuell dargestellt werden. Zur funktionellen Charakterisierung wurden HSPCs gesunder Spender*innen auf den unterschiedlichen ECM-Entitäten kultiviert und auf ihre Proliferation, ihre Fähigkeit zur Ausbildung von Oberflächenproteinen. Die Ausbildung der Oberflächenproteine wurde durchflusszytometrisch erfasst. Zudem wurdenColony-forming unit Assays (CFU-Assays) durchgeführt, um das Potential zur Differenzierung von Zellkolonien der auf ECM kultivierten HSPCs zu untersuchen. Strukturell wiesen die HR-MDS-ECM-Proben im Vergleich mit HD-ECM-Proben einen weitaus höheren Gehalt an Kollagen I und IV, sowie an GAGs auf. Eine Behandlung der HR-MDSMSCs mit Azacitidin resultierte in der reduzierten Sekretion sowohl von Kollagen I und IV als auch von GAGs. Bei der funktionellen Charakterisierung konnte eine erhöhte Wachstumsrate der HSPCs auf HR-MDS-ECM im Vergleich zur HD-ECM sowohl nach 7 als auch nach 14 Tagen der Zellkultivierung nachgewiesen werden. Die aus der vorherigen Azacitidin Behandlung entstandene ECM bot einen zum ersten Messzeitpunkt den geringsten Support für die HSPCProliferation.
Zum zweiten Zeitpunkt der Zellzählung lag die HSPC-Zellzahl auf HR-MDS+Aza- ECM über derjenigen auf HD-ECM. Zudem variierte die Expression von bestimmten Oberflächenproteinen auf den HSPCs je nach ECM-Entität und je nach ECM-Kontakt. Es wurden deutlich weniger CD34+/CD38+ HPCs und CD34+/CD38- HSCs auf HR-MDS-ECM, als auf HD-ECM in der ECM-adhärenten Zellfraktion identifiziert. Innerhalb der HSCs und HPCs wurden vermehrt ECM-adhärente Zellen mit der Expression von CD29, CD61 und CD44 auf HR-MDS-ECM nachgewiesen. Eine verringerte
Marker-Positivität auf ECM-adhärenten HSPCs auf HR-MDS-ECM wurde bei CD41, CD51und CD117 festgestellt. HSPCs, die auf HR-MDS+Aza-ECM kultiviert wurden, verhielten sich in ihrer Markerexpression annähernd wie die HSPCs auf HD-ECM. Bei der Betrachtung der Oberflächenmarker in der Zellfraktion im Überstandsmedium, welche nicht in Kontakt zur ECM stand, konnte kein deutlicher Unterschied mehr zwischen den Vergleichsmatricen nachgewiesen werden. In den CFU-Assays bildeten HSPCs aus HR-MDS-ECM-Kultur mehr CFU-GM- und BFU-EKolonien im Vergleich zur HD-Kohorte. Die CFU-E Koloniebildung war bei HSPCs aus HRMDS- ECM-Kultur stark verringert. HSPCs aus HR-MDS+Aza-Kultur zeigten im CFU-Assay generell das geringste Koloniebildungspotential.
In dieser Studie konnte eine starke Variation der Struktur und der Funktion der ECM bei MDS nachgewiesen werden. Die ECM scheint sich bei MDS nicht nur in ihrer Morphologie, sondern auch in ihrem Einfluss auf die HSPCs-Entwicklung von gesunder ECM zu unterscheiden. Diese Befunde unterstreichen die Rolle der ECM in der Knochenmarksnische und geben Hinweise auf ihren möglichen Beitrag zur Pathogenese des MDS
Energy optimal 3D flight path planning for unmanned aerial vehicle in urban environments
No full textThis paper presents a general approach to compute energy optimal flight paths for unmanned aerial vehicle (UAV) in urban environments. To minimize the energy required, the flight path is optimized by exploiting local wind phenomena, i.e., upwind and tailwind areas from the airflow around buildings. A realistic wind field of a model urban environment typical for continental Europe is generated using PALM, a Large Eddy Simulation tool. The calculated wind field feeds into the flight path planning algorithm to minimize the energy required. A specifically tailored A-Star-Algorithm is used to optimize flight trajectories. The approach is demonstrated on a delivery UAV benchmark scenario. Energy optimal flight paths are compared to shortest way trajectories for 12 different scenarios. It is shown that energy can be saved significantly while flying in a city using knowledge of the current wind field