1,721,012 research outputs found
Coherent augmented reality rendering for mobile and non-mobile devices
Get PDFThe subject of this thesis is the interactive and visually coherent augmentation of
live camera images. Considering the dynamic environment, the goal is to embed
virtual objects seamlessly into the given image data. For this, it is necessary to
precisely acquire the geometry and material properties of the real surfaces in
order to subsequently perform illumination simulations in this reconstruction.
During the preparation and creation of visual effects in the film industry, this
real-world information already plays a significant role and enables a believable
combination of virtual and real elements. Since capturing the information is not
trivial and a correct lighting simulation is time consuming, a simplified visualization
of objects without regard to the real environment is used to achieve interactive
display rates in case of augmented reality. In many applications, such as
evaluating virtual design prototypes, this simplified visualization is insufficient.
The most correct rendering possible, that also considers the real surrounding of
the virtual objects, is necessary to serve as a basis for decision-making.
Accordingly, this dissertation explores new approaches to capture the realworld
environment of virtual objects and, based on this, to realize a coherent
interactive visualization. Particular attention is paid to direct and strong indirect
light sources, which have a significant influence on the appearance of the
virtual objects. The current state of the art is based on differential rendering, in
which global light transport simulations are conducted to determine the influence
of virtual objects on the real environment. The methods developed in the
scope of this dissertation are based on that technique, too. However, they are
designed to produce high-quality yet highly performant augmentations that are
suitable for interactive use on mobile devices. Because of the development and
dissemination of mobile devices, which provide many sensors and interaction
possibilities, they became an extremely relevant platform for augmented reality
solutions in various areas of our everyday life as well as for professional usage.
The methods presented in this dissertation seize the potential of the mobile platform
and use it in a way that no other previous publication has demonstrated.
The core of the presented work are two physically-based augmented reality
rendering frameworks: A distributed system that outsources the acquisition of
the environment and the computationally expensive extraction of light sources
to a stationary PC. The resulting compact parametrization of a lightweight illumination
model is constantly updated and transmitted to mobile devices, which
use their own computing capacity for an interactive and individual presentation
to the user. The second system is based on a mobile device equipped with a
depth sensor. It does not require any additional hardware. The environment is
recorded as a three-dimensional point cloud, which is then used as input for light
simulation methods. The adaptation of GPU-based Monte Carlo rendering provides
a trade-off between quality and performance, and thus interactive display
on mobile devices as well as a photorealistic rendering, that is otherwise known
only from offline methods. Furthermore, a method for estimating unknown color
transformations of cameras is presented, which is used during the scene acquisition
to measure surface radiance with high dynamic range. They are also used
as a color adjustment between virtual and real objects, making the boundaries
harder to perceive and the augmentation more seamless.
This dissertation introduces new methods that improve augmented reality
rendering on mobile devices in terms of quality and performance. Thus, they
improve the current state of the art and offer new possibilities for applications in
many fields in which interactive and coherent visualization of virtual elements is
of great importance, e.g., for the visualization of design prototypes, architecture,
interior design, cultural heritage as well as in museums and exhibitions.Gegenstand dieser Dissertation ist die interaktive und visuell kohärente Erweiterung
von Live Kamerabildern um virtuelle Objekte. Unter Berücksichtigung
der teils dynamischen Umgebung, besteht das Ziel darin, die hinzugefügten Elemente
möglichst nahtlos in die gegebenen Bilddaten einzubetten. Hierfür ist es
notwendig, die Geometrie und die Materialeigenschaften der realen Oberflächen
genau zu erfassen, um anschließend Beleuchtungssimulationen durchzuführen.
Während der Vorbereitung und der Erstellung von visuellen Effekten in der
Filmindustrie spielen diese realweltlichen Informationen bereits eine bedeutende
Rolle und ermöglichen eine glaubhafte Kombination aus virtuellen und realen
Elementen. Da das Erfassen der Informationen alles andere als trivial und eine
korrekte Beleuchtungssimulation zeitaufwendig ist, wird im Falle von Augmented
Reality häufig auf eine stark vereinfachte Visualisierung von Objekten ohne
Berücksichtigung der realen Umgebung zurückgegriffen. Dies ermöglicht das Erreichen
der zwingend erforderlichen interaktiven Darstellungsraten. In vielen
Anwendungsfällen, wie z.B. dem Evaluieren von virtuellen Design Prototypen,
ist diese vereinfachte Visualisierung ungenügend. Eine möglichst korrekte Darstellung
der virtuellen Objekte in der aktuellen realen Umgebung ist notwendig,
um als Entscheidungsgrundlage zu dienen.
Dementsprechend untersucht diese Dissertation neue Ansätze, um das realweltliche
Umfeld von virtuellen Objekten zu erfassen und darauf basierend, eine
kohärente interaktive Darstellung zu realisieren. Besonderes Augenmerk liegt
dabei auf den direkten und starken indirekten Lichtquellen, die einen wesentlichen
Einfluss auf das Erscheinungsbild der virtuellen Objekte haben. Eine
Beschreibung der Lage und Intensität dieser Lichtquellen ist unabdingbar, um
eine korrekte Verschattung zwischen virtuellen und realen Elementen der Szene
zu berechnen. Während viele aktuell genutzte Verfahren annehmen, dass
sich die Lichtquellen in unendlich weiter Entfernung befinden, ist es Ziel dieser
Arbeit ohne diese Annahme auszukommen und damit auch eine korrekte
Nahfeldbeleuchtung zu ermöglichen. Der aktuelle Stand der Technik basiert auf
Differenziellem Rendering, in dem globale Beleuchtungssimulationen durchgeführt
werden, um den Einfluss von virtuellen Objekten auf die reale Umgebung
zu bestimmen. Dieser Einfluss beinhaltet neben Verdeckung und Verschattung
auch indirekte Beleuchtung, die durch die Reflexion von Licht zwischen realen
und virtuellen Elementen entsteht. Auch die im Rahmen der vorliegenden Arbeit
entwickelten Verfahren beruhen auf dieser Technik. Sie zielen aber darauf ab,
qualitativ hochwertige und gleichzeitig performante Bildsynthesen zu erzeugen,
die für den interaktiven Einsatz auf mobilen Geräten geeignet sind. Durch die
Entwicklung und Verbreitung von mobilen Endgeräten mit einer Fülle an Sensoren
und Interaktionsmöglichkeiten, stellen diese eine äußerst relevante Plattform
für die Augmented Reality Lösungen in verschiedensten Bereichen des alltäglichen
Lebens und für den professionellen Einsatz dar. Die in dieser Dissertation
vorgestellten Beiträge greifen das Potenzial der mobilen Plattform auf und nutzen
es in einer Weise, die in bisher keiner anderen Publikation demonstriert
wurde.
Kern der vorliegenden Arbeit sind zwei physikalisch fundierte AR Rendering
Frameworks: Ein verteiltes System, welches das Erfassen der Umgebung und die
rechenintensive Extraktion von Lichtquellen auf einem stationären Computer
auslagert. Die resultierende kompakte Parametrisierung eines leichtgewichtigen
Beleuchtungsmodelles wird permanent aktualisiert und an mobile Geräte übertragen,
die die eigenen Rechenkapazitäten für eine interaktive und individuelle
Darstellung von virtuellen Objekten nutzen. Das zweite System basiert auf einem
mobilen Gerät mit Tiefensensor und kommt ohne zusätzliche Hardware aus.
In einer Initialisierungsphase wird die Umgebung als dreidimensionale Punktwolke
mit Oberflächennormale und Leuchtdichte für jeden gemessenen Punkt
aufgenommen. Diese Rekonstruktion wird im Anschluss als Eingabe für verschiedene
Lichtsimulationsverfahren genutzt. Die Adaption von GPU-basiertem
Monte Carlo Rendering für die Anwendung in Augmented Reality Szenarien
ermöglicht einen Trade-off zwischen Qualität und Geschwindigkeit und damit
sowohl interaktive Darstellung auf mobilen Geräten, als auch eine photorealisitische
Darstellung, die sonst nur aus Offline-Verfahren bekannt ist. Des Weiteren
wird ein Verfahren zur Schätzung von unbekannten Farbtransformationen von
Kameras vorgestellt, was während der Aufnahme genutzt wird, um Leuchtdichten
mit hohem Dynamikbereich zu messen. Während der Darstellung, wird die
geschätzte Transformation als Farbabgleich zwischen virtuellen und realen Objekten
genutzt, wodurch beide Teile visuell besser verschmelzen und die Grenzen
damit schwerer wahrnehmbar werden.
Diese Dissertation stellt damit neue Verfahren vor, die Augmented Reality
Darstellungen auf mobilen Endgeräten visuell als auch aus Sicht der Performanz
verbessern. Sie ergänzen damit den bisherigen Stand der Technik und
bieten neue Möglichkeiten für Anwendungen in vielen Bereichen in denen eine
interaktive und kohärente Visualisierung von virtuellen Elementen von großer
Bedeutung ist, z.B. Visualisierung von Design Prototypen, Architektur, Inneneinrichtung,
Denkmalpflege sowie in Museen und Ausstellungen
Visualization and inspection of the geometry of particle packings
Get PDFGegenstand dieser Dissertation ist die Entwicklung von effizienten Verfahren zur Visualisierung und
Inspektion der Geometrie von Partikelmischungen. Um das Verhalten der Simulation für die
Partikelmischung besser zu verstehen und zu überwachen, sollten nicht nur die Partikel selbst, sondern auch
spezielle von den Partikeln gebildete Bereiche, die den Simulationsfortschritt und die räumliche Verteilung
von Hotspots anzeigen können, visualisiert werden können. Dies sollte auch bei großen Packungen mit
Millionen von Partikeln zumindest mit einer interaktiven Darstellungsgeschwindigkeit möglich sein. . Da
die Simulation auf der Grafikkarte (GPU) durchgeführt wird, sollten die Visualisierungstechniken die Daten
des GPU-Speichers vollständig nutzen.
Um die Qualität von trockenen Partikelmischungen wie Beton zu verbessern, wurde der
Korngrößenverteilung große Aufmerksamkeit gewidmet, die die Raumfüllungsrate hauptsächlich
beeinflusst und daher zwei der wichtigsten Eigenschaften des Betons bestimmt: die strukturelle Robustheit
und die Haltbarkeit. Anhand der Korngrößenverteilung kann die Raumfüllungsrate durch
Computersimulationen bestimmt werden, die analytischen Ansätzen in der Praxis wegen der breiten
Größenverteilung der Partikel oft überlegen sind. Eine der weit verbreiteten Simulationsmethoden ist das
Collective Rearrangement, bei dem die Partikel zunächst an zufälligen Positionen innerhalb eines Behälters
platziert werden. Später werden Überlappungen zwischen Partikeln aufgelöst, indem überlappende Partikel
voneinander weggedrückt werden. Durch geschickte Anpassung der Behältergröße während der Simulation,
kann die Collective Rearrangement-Methode am Ende eine ziemlich dichte Partikelpackung generieren.
Es ist jedoch sehr schwierig, den gesamten Simulationsprozess ohne ein interaktives Visualisierungstool zu
optimieren oder dort Fehler zu finden.
Ausgehend von der etablierten rasterisierungsbasierten Methode zum Darstellen einer großen Menge von
Kugeln, bietet diese Dissertation zunächst schnelle und pixelgenaue Methoden zur neuartigen
Visualisierung der Überlappungen und Freiräume zwischen kugelförmigen Partikeln innerhalb eines
Behälters.. Die auf Rasterisierung basierenden Verfahren funktionieren gut für kleinere Partikelpackungen
bis ca. eine Million Kugeln. Bei größeren Packungen entstehen Probleme durch die lineare Laufzeit und
den Speicherverbrauch. Zur Lösung dieses Problems werden neue Methoden mit Hilfe von Raytracing
zusammen mit zwei neuen Arten von Bounding-Volume-Hierarchien (BVHs) bereitgestellt. Diese können
den Raytracing-Prozess deutlich beschleunigen --- die erste kann die vorhandene Datenstruktur für die
Simulation wiederverwenden und die zweite ist speichereffizienter. Beide BVHs nutzen die Idee des Loose
Octree und sind die ersten ihrer Art, die die Größe von Primitiven für interaktives Raytracing mit häufig
aktualisierten Beschleunigungsdatenstrukturen berücksichtigen. Darüber hinaus können die
Visualisierungstechniken in dieser Dissertation auch angepasst werden, um Eigenschaften wie das
Volumen bestimmter Bereiche zu berechnen.
All diese Visualisierungstechniken werden dann auf den Fall nicht-sphärischer Partikel erweitert, bei denen
ein nicht-sphärisches Partikel durch ein starres System von Kugeln angenähert wird, um die vorhandene
kugelbasierte Simulation wiederverwenden zu können. Dazu wird auch eine neue GPU-basierte Methode
zum effizienten Füllen eines nicht-kugelförmigen Partikels mit polydispersen überlappenden Kugeln
vorgestellt, so dass ein Partikel mit weniger Kugeln gefüllt werden kann, ohne die Raumfüllungsrate zu
beeinträchtigen. Dies erleichtert sowohl die Simulation als auch die Visualisierung.
Basierend auf den Arbeiten in dieser Dissertation können ausgefeiltere Algorithmen entwickelt werden, um
großskalige nicht-sphärische Partikelmischungen effizienter zu visualisieren. Weiterhin kann in Zukunft
Hardware-Raytracing neuerer Grafikkarten anstelle des in dieser Dissertation eingesetzten Software-Raytracing verwendet werden. Die neuen Techniken können auch als Grundlage für die interaktive
Visualisierung anderer partikelbasierter Simulationen verwendet werden, bei denen spezielle Bereiche wie
Freiräume oder Überlappungen zwischen Partikeln relevant sind.The aim of this dissertation is to find efficient techniques for visualizing and inspecting the geometry of
particle packings. Simulations of such packings are used e.g. in material sciences to predict properties of
granular materials. To better understand and supervise the behavior of these simulations, not only the
particles themselves but also special areas formed by the particles that can show the progress of the
simulation and spatial distribution of hot spots, should be visualized. This should be possible with a frame
rate that allows interaction even for large scale packings with millions of particles. Moreover, given the
simulation is conducted in the GPU, the visualization techniques should take full use of the data in the GPU
memory.
To improve the performance of granular materials like concrete, considerable attention has been paid to the
particle size distribution, which is the main determinant for the space filling rate and therefore affects two
of the most important properties of the concrete: the structural robustness and the durability. Given the
particle size distribution, the space filling rate can be determined by computer simulations, which are often
superior to analytical approaches due to irregularities of particles and the wide range of size distribution in
practice. One of the widely adopted simulation methods is the collective rearrangement, for which particles
are first placed at random positions inside a container, later overlaps between particles will be resolved by
letting overlapped particles push away from each other to fill empty space in the container. By cleverly
adjusting the size of the container according to the process of the simulation, the collective rearrangement
method could get a pretty dense particle packing in the end. However, it is very hard to fine-tune or debug
the whole simulation process without an interactive visualization tool.
Starting from the well-established rasterization-based method to render spheres, this dissertation first
provides new fast and pixel-accurate methods to visualize the overlaps and free spaces between spherical
particles inside a container. The rasterization-based techniques perform well for small scale particle
packings but deteriorate for large scale packings due to the large memory requirements that are hard to be
approximated correctly in advance. To address this problem, new methods based on ray tracing are provided
along with two new kinds of bounding volume hierarchies (BVHs) to accelerate the ray tracing process ---
the first one can reuse the existing data structure for simulation and the second one is more memory efficient.
Both BVHs utilize the idea of loose octree and are the first of their kind to consider the size of primitives
for interactive ray tracing with frequently updated acceleration structures. Moreover, the visualization
techniques provided in this dissertation can also be adjusted to calculate properties such as volumes of the
specific areas.
All these visualization techniques are then extended to non-spherical particles, where a non-spherical
particle is approximated by a rigid system of spheres to reuse the existing simulation. To this end a new
GPU-based method is presented to fill a non-spherical particle with polydisperse possibly overlapping
spheres efficiently, so that a particle can be filled with fewer spheres without sacrificing the space filling
rate. This eases both simulation and visualization.
Based on approaches presented in this dissertation, more sophisticated algorithms can be developed to
visualize large scale non-spherical particle mixtures more efficiently. Besides, one can try to exploit the
hardware ray tracing of more recent graphic cards instead of maintaining the software ray tracing as in this
dissertation. The new techniques can also become the basis for interactively visualizing other particle-based
simulations, where special areas such as free space or overlaps between particles are of interest
Going Beyond Counting First Authors in Author Co-citation Analysis
Get PDFThe present study examines one of the fundamental aspects of author co-citation analysis (ACA) - the way co-citation
counts are defined. Co-citation counting provides the data on which all subsequent statistical analyses and mappings
are based, and we compare ACA results based on two different types of co-citation counting - the traditional type that
only counts the first one among a cited work's authors on the one hand and a non-traditional type that takes into
account the first 5 authors of a cited work on the other hand. Results indicate that the picture produced through this non-traditional author co-citation counting contains more coherent author groups and is therefore considerably clearer. However, this picture represents fewer specialties in the research field being studied than that produced through the traditional first-author co-citation counting when the same number of top-ranked authors is selected and analyzed. Reasons for these effects are discussed
MetaISP -- Exploiting Global Scene Structure for Accurate Multi-Device Color Rendition
No full textImage signal processors (ISPs) are historically grown legacy software systems for reconstructing color images from noisy raw sensor measurements. Each smartphone manufacturer has developed its ISPs with its own characteristic heuristics for improving the color rendition, for example, skin tones and other visually essential colors. The recent interest in replacing the historically grown ISP systems with deep-learned pipelines to match DSLR's image quality improves structural features in the image. However, these works ignore the superior color processing based on semantic scene analysis that distinguishes mobile phone ISPs from DSLRs. Here we present MetaISP, a single model designed to learn how to translate between the color and local contrast characteristics of different devices. MetaISP takes the RAW image from device A as input and translates it to RGB images that inherit the appearance characteristics of devices A, B, and C. We achieve this result by employing a lightweight deep learning technique that conditions its output appearance based on the device of interest. In this approach, we leverage novel attention mechanisms inspired by cross-covariance learn global scene semantics. Additionally, we make use of metadata that typically accompanies raw images, and we estimate scene illuminants when they are not available.Vision, Modeling, and VisualizationImage Processin
On the Beat: Analysing and Evaluating Synchronicity in Dance Performances
No full textThis paper presents a method to analyse and evaluate synchronicity in dance performances automatically. Synchronisation of a dancer's movement and the accompanying music is a vital characteristic of dance performances. We propose a method that fuses computer vision-based extraction of dancers' body pose information and audio beat tracking to examine the alignment of the dance motions with the background music. Specifically, the motion of the dancer is analysed for rhythmic dance movements that are then subsequently correlated to the musical beats of the soundtrack played during the performance. Using a single mobile phone video recording of a dance performance only, our system is easily usable in dance rehearsal contexts. Our method evaluates accuracy for every motion beat of the performance on a timeline giving users detailed insight into their performance. We evaluated the accuracy of our method using a dataset containing 17 video recordings of real world dance performances. Our results closely match assessments by professional dancers, indicating correct analysis by our method.Vision, Modeling, and VisualizationImage Visualization and Analysi
Faster and more robust algorithms for Monte Carlo light transport simulation
Get PDFIm etablierten Forschungsfeld des Renderings stellen die Ansprüche an Geschwindigkeit und Korrektheit noch immer Herausforderungen. Abhängig von Materialien und anderen Szeneneigenschaften sind die Ergebnisse moderner Monte Carlo Simulationsverfahren verrauscht oder gar nicht in der Lage bestimmte Lichteffekte zu reproduzieren. Daher hängen sowohl die Korrektheit als auch die Geschwindigkeit von der Verbesserung der Sampling-
Algorithmen ab.
In dieser Dissertation schlage ich mehrere Modifikationen vor, welche die Zuverlässigkeit solcher Simulationsmethoden in schwierigen Situationen erhöhen. Das erste Problem, für welches ich Lösungen präsentiere, ist die verbesserte Kombination mehrerer Sampling-Techniken bei Verwendung von Photon Mapping. Aktuelle Algorithmen überschätzen die Wichtigkeit bei der Wiederverwendung von Photonen, was in einer erhöhten Varianz resultiert.
Ein anderes offenes Problem ist das Rendering von Kaustiken in bestimmten Szenen oder unter Verwendung ausgesuchter Sampling-Techniken. Hierfür präsentiere ich zwei Ansätze, die die Varianz in den entsprechenden Situationen reduzieren können. Der erste ist eine lokale Anpassung von Materialien mit dem Ziel generell weniger Varianz bei beliebigen Samplern zu erzwingen. Dies führt zu einer fehlerhaften Weichzeichnung von Glanzeffekten, was wiederum durch den Einsatz von adaptiven Heuristiken verringert werden kann. Der zweite Ansatz zeigt eine neue Sampling-Technik, welche die Verbindung zu einer Lichtquelle ausnutzt um den Transport von Photonen in die sichtbaren Regionen zu lenken. Dies verbessert das Sampling von Kaustiken von weit entfernten Lichtquellen erheblich.
Des weiteren habe ich zur Umsetzung der genannten Verbesserungen mehrere Datenstrukturen
entwickelt, welche auch in anderen Anwendungen Verwendung finden könnten. Zwei der Datenstrukturen – ein Hash-Gitter und ein Octree – sind darauf spezialisiert die Dichte von Partikeln an beliebigen Punkten abzuschätzen. Beide sind für den Einsatz in hoch parallelen Architekturen entworfen. Zur alternativen Schätzung von Dichten habe ich mich in dieser Dissertation außerdem mit der Abschätzung von Sampledichten aus dem Pfad selbst (Footprints) auseinander gesetzt.While rendering is a well established research topic, the demands for correct and fast light transport simulations still pose open challenges. Dependent on material and scene configurations, the results of modern Monte Carlo methods can be quite noisy and even missimportant effects. Therefore, both the correctness and the speed depend on the improvement of sampling algorithms.
In this thesis I propose several modifications which improve the reliability of transport methods for diffcult situations. The first problem solved is the improved weighting when combining multiple samplers. Current algorithms, based on photon mapping, tend to overestimate the importance of single techniques if parts of the results are reused for different transport paths.
Another open problem is the rendering of caustic effects dependent on the scene and the selection of sampling techniques. Here, I explore two different solutions to reduce the variance in these situations. The first changes the materials locally to reduce the noise in general. This leads to blurry results which can be partially compensated by applying adaptive heuristics. The other solution is a new transport operator which makes use of the connections toward light sources to partially guide the photon transport to important regions. This improves the sampling of caustics with far distant light sources.
To achieve the described solutions I developed several useful data structures which might apply to other problems. Two of them – a hash grid and an octree – are targeted for the density estimation of particles in massive parallel algorithms. Finally, I experimented with a cheap footprint estimate as an alternative approach to calculate the density of particles in a target region
Exploring Physical Latent Spaces for High-Resolution Flow Restoration
No full textWe explore training deep neural network models in conjunction with physics simulations via partial differential equations (PDEs), using the simulated degrees of freedom as latent space for a neural network. In contrast to previous work, this paper treats the degrees of freedom of the simulated space purely as tools to be used by the neural network. We demonstrate this concept for learning reduced representations, as it is extremely challenging to faithfully preserve correct solutions over long time-spans with traditional reduced representations, particularly for solutions with large amounts of small scale features. This work focuses on the use of such physical, reduced latent space for the restoration of fine simulations, by training models that can modify the content of the reduced physical states as much as needed to best satisfy the learning objective. This autonomy allows the neural networks to discover alternate dynamics that significantly improve the performance in the given tasks. We demonstrate this concept for various fluid flows ranging from different turbulence scenarios to rising smoke plumes.Vision, Modeling, and VisualizationFluid Simulation and Visualizatio
Visual-assisted Outlier Preservation for Scatterplot Sampling
No full textScatterplot sampling has long been an efficient and effective way to resolve the overplotting issues commonly occurring in large-scale scatterplot visualization applications. However, it is challenging to preserve the existence of low-density points or outliers after sampling for a sub-sampling algorithm if, at the same time, faithfully representing the relative data densities is of importance. In this work, we propose to address this issue in a visual-assisted manner. While the whole dataset is sub-sampled, the density of the outliers is modeled and visually integrated into the final scatterplot together with the sub-sampled point data. We showcase the effectiveness of our proposed method in various cases and user studies.Vision, Modeling, and VisualizationImage Visualization and Analysi
- …
