25 research outputs found
Διερεύνηση μεθόδων γεωαναφοράς για πλάγιες εναέριες εικόνες
No full textAlthough vertical aerial images have played the leading role in photogrammetric applications for more than a century, in recent years oblique aerial images have gained popularity, mainly because of certain fundamental advantages they provide compared to nadir views, in combination with the progress made in photogrammetric and computer vision algorithms that enable their automatic processing. The main subject of this dissertation is the metric exploitation of datasets containing oblique aerial images, with emphasis on the establishment of automatic georeferencing algorithms, both in terms of exterior orientation estimation and in terms of image-to-ground 2D transformation, i.e., polynomial/projective transformation that approximates the relationship between each image and the ground reference system. Furthermore, it investigates how the automatic extraction of elements describing the geometry of the scene depicted in oblique aerial images contributes in their metric exploitation, focusing on georeferencing procedures. All methods developed throughout this dissertation, both for single images and for multi-image datasets, do not require any knowledge of approximate positioning and orientation data (e.g., from onboard sensors), so that they can also be applied in cases where such data are not available (e.g., amateur images from unmanned aerial vehicles, old datasets). Moreover, they require minimum user interaction, being in principle easily adoptable by operators without expertise or even basic knowledge of photogrammetry. Several experiments with different datasets of oblique aerial images are conducted through developed software solutions that implement the proposed algorithms. In addition, error analysis, investigation of the impact of different variables on the results of each method and their comparison with those obtained by well-known existing software packages are performed. Specifically, an algorithm for automatic rough georeferencing of large datasets of multi-perspective oblique and vertical aerial images of the same unknown interior orientation and flying height is established, in terms of estimating the 2D transformation from each image to the ground reference system, along with image rectification as well as extraction of the ground footprints of the images. The method requires the measurement of a minimum number of points of known horizontal coordinates in one image. Also, the geometry of oblique aerial images of man-made environments favors the automatic extraction of points lying on planes as well as sets of parallel lines, mainly horizontal and vertical ones, and thereby the automatic detection of vanishing points. The research conducted throughout this dissertation proves that knowledge of these quantities, i.e., coplanar points as well as horizontal and vertical lines and corresponding vanishing points, may be used for rough georeferencing purposes and metric exploitation of single oblique images. In this context, automatic methods for detecting coplanar points and vanishing points in oblique aerial images are introduced; exterior orientation techniques that adopt these methods are established; a method for automatic transfer of coplanar GCPs in multiple images based on their measurements in a single image, for exterior orientation estimation purposes, is proposed; a 2D georeferencing framework for images of a piecewise planar scene is introduced; and a method for measuring vertical and horizontal distances from a single unoriented oblique image is presented. Furthermore, robust photogrammetry-based incremental and global structure from motion (SfM) workflows that can be applied in challenging datasets of oblique aerial images are established. The developed SfM algorithms eliminate all erroneous feature points through combination of multiple geometric constraints and a robust iterative bundle adjustment framework, which improves the accuracy of the exterior orientation results. Finally, a scale-based weighting strategy for feature point observations in bundle adjustment is introduced, targeted to highly overlapping oblique imagery.Η ραγδαία πρόοδος που σημειώθηκε τα τελευταία χρόνια στην ψηφιακή τεχνολογία δημιούργησε τις προϋποθέσεις για την εντυπωσιακή εξέλιξη των επιστημονικών περιοχών της φωτογραμμετρίας και της όρασης υπολογιστών. Το γνωστικό τους πεδίο διευρύνεται συνεχώς και οι μεθοδολογίες τους αναμορφώνονται και εξελίσσονται ώστε να ικανοποιούν τις απαιτήσεις των σύγχρονων εφαρμογών. Έτσι, ενώ στο παρελθόν η διαδικασία εξαγωγής μετρητικής πληροφορίας από αεροφωτογραφίες στηριζόταν σχεδόν αποκλειστικά σε κατακόρυφες εναέριες λήψεις, τα τελευταία χρόνια οι πλάγιες εναέριες εικόνες ήλθαν στο προσκήνιο και αποτελούν όχι μόνο ένα συμπληρωματικό σύνολο δεδομένων για τις παραδοσιακές κατακόρυφες εικόνες, αλλά και τη βασική πηγή πληροφοριών για διάφορες εφαρμογές. Προς αυτή την κατεύθυνση, έχει διεξαχθεί σημαντική έρευνα για εφαρμογές οι οποίες αξιοποιούν σύνολα πλάγιων εναέριων εικόνων κυρίως από μετρητικές φωτομηχανές ή συστήματα πολλαπλών φωτομηχανών, υπό την προϋπόθεση ύπαρξης δεδομένων γεωαναφοράς από αισθητήρες καταγραφής θέσης και αδρανειακούς αισθητήρες (GNSS/INS) και πολυεικονικών μετρήσεων σημείων γνωστών συντεταγμένων. Ωστόσο, η έρευνα που έχει διεξαχθεί σχετικά με τη μετρητική αξιοποίηση πλάγιων εναέριων εικόνων που δεν συνοδεύονται από δεδομένα θέσης και προσανατολισμού και διαθέτουν ελάχιστο αριθμό σημείων γνωστών συντεταγμένων χωρίς καλή κατανομή είναι πολύ περιορισμένη. Ταυτόχρονα, η γεωαναφορά τους αποτελεί μια πολύ σημαντική διαδικασία που είναι προαπαιτούμενη για την πλειονότητα των φωτογραμμετρικών εφαρμογών. Στο πλαίσιο αυτό και υπό το πρίσμα των ανωτέρω εξελίξεων, στόχος της διδακτορικής διατριβής είναι η ανάπτυξη αλγορίθμων φωτογραμμετρίας και όρασης υπολογιστών για τη μετρητική αξιοποίηση πλάγιων εναέριων εικόνων, με έμφαση σε διαδικασίες γεωαναφοράς πλάγιων εικόνων και συνδυασμένων συνόλων κατακόρυφων και πλάγιων εικόνων πολλαπλών προοπτικών, που στηρίζονται στον ελάχιστο δυνατό αριθμό μετρήσεων και δεν απαιτούν τη χρήση προσεγγιστικών δεδομένων θέσης και προσανατολισμού (π.χ. από αισθητήρες GNSS/INS), ώστε να είναι εφαρμόσιμοι και στην περίπτωση κατά την οποία τέτοιου είδους δεδομένα δεν είναι διαθέσιμα (π.χ. εικόνες από ερασιτεχνικά μη επανδρωμένα αερoσκάφη, παλιά σύνολα δεδομένων). Η γεωαναφορά επιτυγχάνεται είτε μέσω υπολογισμού του μετασχηματισμού κάθε εικόνας στο επίγειο σύστημα αναφοράς είτε μέσω υπολογισμού των παραμέτρων εξωτερικού προσανατολισμού κάθε εικόνας. Επίσης, η γεωμετρία των πλάγιων εναέριων εικόνων ενός δομημένου περιβάλλοντος ευνοεί τον αυτόματο εντοπισμό κατακόρυφων και οριζόντιων γραμμών και αντίστοιχων σημείων φυγής, όπως επίσης και σημείων που κείνται σε επίπεδα. Στο πλαίσιο αυτό, επιμέρους στόχος της διδακτορικής διατριβής είναι η διερεύνηση της συμβολής της αυτόματης εξαγωγής γεωμετρικών στοιχείων της σκηνής που απεικονίζεται σε πλάγιες εναέριες εικόνες στη γεωαναφορά αυτών και στη μέτρηση οριζόντιων και κατακόρυφων αποστάσεων σε μεμονωμένες πλάγιες εναέριες εικόνες. Οι ανωτέρω στόχοι εκπληρώθηκαν με την ανάπτυξη αλγορίθμων υψηλού βαθμού αυτοματοποίησης, οι οποίοι επιτρέπουν τη χρήση τους και σε χρήστες χωρίς εμπειρία ή βασικές γνώσεις φωτογραμμετρίας και συμβάλλουν στην ένταξη των πλάγιων εναέριων εικόνων στις κλασικές φωτογραμμετρικές διαδικασίες
Oblique Aerial Images: Geometric Principles, Relationships and Definitions
No full textAerial images captured with the camera optical axis deliberately inclined with respect to the vertical are defined as oblique aerial images. Throughout the evolution of aerial photography, oblique aerial images have held a prominent place since its inception. While vertical airborne images dominated in photogrammetric applications for over a century, the advancements in photogrammetry and computer vision algorithms, coupled with the growing accessibility of oblique images in the market, have propelled the rise of oblique images in recent times. Their emergence is attributed to inherent advantages they offer over vertical images. In this entry, basic definitions, geometric principles and relationships for oblique aerial images, necessary for understanding their underlying geometry, are presented
An Overview on Image-Based and Scanner-Based 3D Modeling Technologies
No full textAdvances in the scientific fields of photogrammetry and computer vision have led to the development of automated multi-image methods that solve the problem of 3D reconstruction. Simultaneously, 3D scanners have become a common source of data acquisition for 3D modeling of real objects/scenes/human bodies. This article presents a comprehensive overview of different 3D modeling technologies that may be used to generate 3D reconstructions of outer or inner surfaces of different kinds of targets. In this context, it covers the topics of 3D modeling using images via different methods, it provides a detailed classification of 3D scanners by additionally presenting the basic operating principles of each type of scanner, and it discusses the problem of generating 3D models from scans. Finally, it outlines some applications of 3D modeling, beyond well-established topographic ones
Image Matching: A Comprehensive Overview of Conventional and Learning-Based Methods
No full textThis entry provides a comprehensive overview of methods used in image matching. It starts by introducing area-based matching, outlining well-established techniques for determining correspondences. Then, it presents the concept of feature-based image matching, covering feature point detection and description issues, including both handcrafted and learning-based operators. Brief presentations of frequently used detectors and descriptors are included, followed by a presentation of descriptor matching and outlier rejection techniques. Finally, the entry provides a brief overview of relational matching
Evaluation of 3D Modeling Workflows Using Dental CBCT Data for Periodontal Regenerative Treatment
No full textThe cone beam computed tomography (CBCT) technology is nowadays widely used in the field of dentistry and its use in the treatment of periodontal diseases has already been tackled in the international literature. At the same time, advanced segmentation methods have been introduced in state-of-the-art medical imaging software and well-established automated techniques for 3D mesh cleaning are available in 3D model editing software. However, except for the application of simple thresholding approaches for the purposes of 3D modeling of the oral cavity using CBCT data for dental applications, which does not yield accurate results, the research that has been conducted using more specialized semi-automated thresholding in dental CBCT images using existing software packages is limited. This article aims to fill the gap in the state-of-the-art research concerning the usage of CBCT data for 3D modeling of the hard tissues of the oral cavity of patients with periodontitis using existing software tools, for the needs of designing and printing 3D scaffolds for periodontal regeneration. In this context, segmentation and 3D modeling workflows using dental CBCT data that belong to a patient with periodontitis are evaluated, comparisons between the 3D models of the teeth and the alveolar bone generated through the experiments that yielded the most satisfactory results are made, and an optimal and efficient methodology for creating 3D models of teeth and alveolar bone, especially for being used as the basis for generating bioabsorbable 3D printed scaffolds of personalized treatment against periodontitis, is discussed
Mobile Augmented Reality for Low-End Devices Based on Planar Surface Recognition and Optimized Vertex Data Rendering
No full textMobile Augmented Reality (MAR) is designed to keep pace with high-end mobile computing and their powerful sensors. This evolution excludes users with low-end devices and network constraints. This article presents ModAR, a hybrid Android prototype that expands the MAR experience to the aforementioned target group. It combines feature-based image matching and pose estimation with fast rendering of 3D textured models. Planar objects of the real environment are used as pattern images for overlaying users’ meshes or the app’s default ones. Since ModAR is based on the OpenCV C++ library at Android NDK and OpenGL ES 2.0 graphics API, there are no dependencies on additional software, operating system version or model-specific hardware. The developed 3D graphics engine implements optimized vertex-data rendering with a combination of data grouping, synchronization, sub-texture compression and instancing for limited CPU/GPU resources and a single-threaded approach. It achieves up to 3× speed-up compared to standard index rendering, and AR overlay of a 50 K vertices 3D model in less than 30 s. Several deployment scenarios on pose estimation demonstrate that the oriented FAST detector with an upper threshold of features per frame combined with the ORB descriptor yield best results in terms of robustness and efficiency, achieving a 90% reduction of image matching time compared to the time required by the AGAST detector and the BRISK descriptor, corresponding to pattern recognition accuracy of above 90% for a wide range of scale changes, regardless of any in-plane rotations and partial occlusions of the pattern
Multi-Resolution 3D Rendering for High-Performance Web AR
No full textIn the context of web augmented reality (AR), 3D rendering that maintains visual quality and frame rate requirements remains a challenge. The lack of a dedicated and efficient 3D format often results in the degraded visual quality of the original data and compromises the user experience. This paper examines the integration of web-streamable view-dependent representations of large-sized and high-resolution 3D models in web AR applications. The developed cross-platform prototype exploits the batched multi-resolution structures of the Nexus.js library as a dedicated lightweight web AR format and tests it against common formats and compression techniques. Built with AR.js and Three.js open-source libraries, it allows the overlay of the multi-resolution models by interactively adjusting the position, rotation and scale parameters. The proposed method includes real-time view-dependent rendering, geometric instancing and 3D pose regression for two types of AR: natural feature tracking (NFT) and location-based positioning for large and textured 3D overlays. The prototype achieves up to a 46% speedup in rendering time compared to optimized glTF models, while a 34 M vertices 3D model is visible in less than 4 s without degraded visual quality in slow 3D networks. The evaluation under various scenes and devices offers insights into how a multi-resolution scheme can be adopted in web AR for high-quality visualization and real-time performance
Development of Planar Pattern Based Augmented Reality Applications
No full text312 σ.Η επαυξημένη πραγματικότητα είναι μία ραγδαίως εξελισσόμενη τεχνολογία που εμπλουτίζει την πραγματικότητα με πληροφορίες που παράγονται από έναν υπολογιστή. Μολονότι η έννοια αυτή συναντάται για πρώτη φορά τη δεκαετία του 1960, τα τελευταία χρόνια έχει αρχίσει να παρουσιάζει πρακτικές εφαρμογές σε διάφορους τομείς και σήμερα κεντρίζει το ενδιαφέρον πολλών ερευνητών, επιστημόνων αλλά και εταιριών.
Σκοπός της συγκεκριμένης διπλωματικής εργασίας είναι η ανάπτυξη εφαρμογών επαυξημένης πραγματικότητας βάσει επίπεδου προτύπου, εσωτερικού και εξωτερικού χώρου, με τη χρήση αλγορίθμων και μεθόδων της φωτογραμμετρίας και της όρασης υπολογιστών. Οι εφαρμογές αυτές αναπτύχθηκαν στη γλώσσα προγραμματισμού C++, με χρήση της βιβλιοθήκης OpenCV, της διεπαφής προγραμματισμού εφαρμογών OpenGL και της βιβλιοθήκης GLM: An Alias Wavefront OBJ file Library και είναι εφαρμογές κονσόλας Win32, που εκτελούνται σε ηλεκτρονικούς υπολογιστές με λειτουργικό σύστημα Microsoft Windows. Στην παρούσα εργασία, γίνεται μία εισαγωγή στην έννοια της επαυξημένης πραγματικότητας, παρουσιάζεται το θεωρητικό υπόβαθρο που είναι απαραίτητο για την κατανόηση της διαδικασίας που ακολουθήθηκε στις εφαρμογές και αναφέρονται ορισμένα βασικά στοιχεία για τη γλώσσα προγραμματισμού, τις βιβλιοθήκες που χρησιμοποιήθηκαν και το περιβάλλον εργασίας. Ακολουθεί η περιγραφή των εφαρμογών και του τρόπου υλοποίησής τους, η παρουσίαση των αποτελεσμάτων που επιτεύχθηκαν και η παράθεση κάποιων προτάσεων που χρήζουν περαιτέρω διερεύνησης για τη μελλοντική επέκταση και βελτίωση των εφαρμογών.Augmented reality is a rapidly evolving technology that enriches reality with computer generated information. Although it was first presented in the 1960s, actually in recent years it has begun to have practical applications in various fields and today arouses the interest of many researchers, scientists, as well as companies.
The purpose of this diploma thesis is the development of indoor and outdoor planar pattern based augmented reality applications, through the use of methods and algorithms of photogrammetry and computer vision. These applications were developed in C++ programming language, with the use of the OpenCV library, the OpenGL application programming interface and the library GLM: An Alias Wavefront OBJ file Library and they are Win32 console applications, intended for computers running Microsoft Windows. In this thesis, an introduction is made concerning the concept of augmented reality, followed by a presentation of the theoretical background, necessary to understand the procedure that was held during the applications. Furthermore, certain basic elements of information are provided, referring to the programming language, the libraries that have been used and the development environment. Attending is the description of the applications, of the way to materialize them, as well as the presentation of the results obtained and the formation of some proposals that require further research for future development and improvement of the applications.Στυλιανή Α. Βερυκόκο
3D Visualization via Augmented Reality: The Case of the Middle Stoa in the Ancient Agora of Athens
No full text
