5 research outputs found
Open-set recognition using extreme value theory
No full textThesis (PhD)--Stellenbosch University, 2025.Steyn, M. L. 2025. Open-Set Recognition using Extreme Value Theory. Unpublished doctoral dissertation. Stellenbosch: Stellenbosch University [online]. Available: https://scholar.sun.ac.za/items/e6187940-b9ec-4526-8649-55c5230fd2d5ENGLISH SUMMARY: In recent years, convolutional neural networks have showcased state-of-the-art performance in image classification tasks, driven by theoretical advancements, the availability of large data sets and reduced computational cost. However, these developments have underscored a significant challenge: the ability to correctly identify samples from unknown classes that were not encountered during training. Open-set recognition (OSR) addresses this limitation by enabling classifiers to detect such unknown samples while maintaining accurate classification of known categories. Traditional closed-set classifiers often fail at this task, resulting in considerable errors when faced with data from unknown categories. This thesis investigates the integration of extreme value theory (EVT) with convolutional neural networks to advance OSR capabilities, introducing novel methods for effectively distinguishing between known and unknown classes. OSR typically relies on estimating a dissimilarity score between known classes, with EVT applied to model the behaviour of the score’s extreme values. The resulting extreme value distribution is used to identify samples with high dissimilarity, indicating that they likely belong to an unknown class. Traditional EVT-based OSR methods typically derive the dissimilarity score directly from the closed-set classifier, which may not explicitly optimise for class separability. Additionally, existing methods use the generalised extreme value distribution to model the extremes, which may not fully leverage the available data during estimation. This research introduces novel EVT-based OSR methodologies that focus on two key areas: improving the dissimilarity score to better distinguish between known and unknown classes, and refining the modelling of the score’s tail distribution for improved OSR performance. The first method proposed for EVT-based OSR is the k-nearest neighbour open-set classifier (k-OSNN). This approach introduces a distance ratio that quantifies the dissimilarity of a target point from known classes by using the ratio of distances locally around the target point. The distance ratio is computed within the feature space generated by the penultimate layer of a deep neural network trained to classify the known classes. It is demonstrated that the generalised Pareto (GP) distribution with bounded support can effectively model the excesses of the distance ratio above a specified threshold. This distribution provides a probabilistic framework for OSR from which the probability that a sample is from an unknown class is derived. Furthermore, a numerical procedure is proposed to estimate the model’s hyperparameters, balancing the goodness-of-fit of the GP distribution with the misclassification error of the known classes. The k-OSNN method is applied to three image data sets and an audio data set, demonstrating superior performance compared to similar OSR and anomaly detection methods. A limitation of using the feature space from the penultimate layer of a neural network for OSR is that it does not explicitly optimise for class separability. To address this limitation, the contrastivecentre loss function from Qi & Su (2017) is used to generate a more discriminative embedding, where samples from the same class are closely clustered while those from different classes are spread apart. Several enhancements are proposed to improve the convergence of neural networks trained with the contrastive-centre loss, including refined gradient-based updates for class centres and dynamic hyperparameter adjustments. The contrastive-centre loss is then used to measure dissimilarity between a target sample and the known classes, with the GP distribution applied to model the upper tail of the loss for OSR. This method is further extended to a per-class approach, accommodating inter-class variation in the loss function. An automated threshold selection procedure for the GP distribution is also introduced. Experimental results across five image datasets reveal that this method outperforms similar approaches, achieving superior discrimination between known and unknown classes while improving computational efficiency. Recognising the limitations of existing EVT-based OSR models, which separate neural network training from EVT estimation, this thesis introduces an end-to-end neural network architecture that integrates these processes into a unified framework. This approach allows for the simultaneous training of the neural network and the estimation of the GP distribution, enabling the model to adjust the probability estimates for known classes to account for the presence of unknowns during training. By merging these steps, the model offers greater control over the accuracy of known class predictions and provides a novel method for interpreting why a particular sample is classified as unknown. The thesis demonstrates that extreme value theory is a powerful tool for enhancing open-set recognition, particularly when combined with innovative dissimilarity measures and neural network architectures. As open-set recognition becomes increasingly crucial in real-world scenarios—where classifiers are often exposed to data beyond their training distribution—the methods presented here offer a significant step towards bridging the gap between traditional classification models and the need to handle unknown classes. These contributions advance the field of open-set recognition by integrating statistical modelling of extremes with deep learning, providing robust solutions to the challenges posed by unknown classes in diverse practical applications.AFRIKAANSE OPSOMMING: De dag van vandaag kennen neurale netwerken een buitengewone performantie in tal van toepassingen zoals beeldherkenning. Dit danken we aan de meest recente ontwikkelingen in data-analytische methodes, opslagmogelijkheden en computationeel vermogen. In een classificatiesetting wordt men echter geconfronteerd met de uitdaging van het correct identificeren van voorbeelden van ongekende klassen die niet voorhanden waren tijdens het trainen van het algoritme. Bestaande traditionele classificatiealgoritmes kennen een sterke daling in performantie wanneer ongekende klassen in de data aanwezig zijn. In de literatuur staat dit probleem gekend als “open-set recognition” (OSR) en ontwikkelt men algoritmes die voorbeelden van zulke onbekende klassen kunnen detecteren zonder dat de classificatie in gekende klassen aan accuraatheid verliest. Deze thesis onderzoekt de mogelijkheid om algoritmes voor OSR te verbeteren door het gebruik van neurale netwerken te combineren met technieken uit de extreme waarden theorie (EWT). Doorgaans baseert een OSR-algoritme zich op een score die het verschil tussen een nieuw voorbeeld en bestaande voorbeelden kwantificeert. Verdelingen uit EWT kunnen gebruikt worden om heel grote verschillen als extremen te modelleren. Voorbeelden die extreem verschillen van bestaande voorbeelden worden dan verondersteld te behoren tot een ongekende klasse. Bestaande OSR-algoritmes met EWT zijn niet volledig in staat om de optimalisatie voor het herkennen van ongekende klassen te verenigen met het optimaliseren van de classificatie in gekende klassen. Bovendien zijn ze gebaseerd op het gebruik van extremen in blokken en maken ze niet optimaal gebruik van de beschikbare data. In dit proefschrift zullen we daarom nieuwe methoden introduceren met de volgende doelen: (i) het ontwikkelen van scores die beter in staat zijn om een onderscheid te maken tussen voorbeelden van gekende en ongekende klassen en (ii) een verfijning van de statistische modellering van dergelijke scores die extreem groot zijn. De eerste methode die we voorstellen is de zogenaamde “k-nearest neighbour open-set classifier” (k-OSNN). Deze is gebaseerd op de output van de voorlaatste laag van neuronen van een neural netwerk dat getraind is om de gekende klassen te herkennen. Deze output wordt gebruikt om afstandsverhoudingen te berekenen tussen voorbeelden in de omgeving van een te classificeren voorbeeld, zodat het verschil tussen dit voorbeeld en bestaande voorbeelden kan worden gekwantificeerd. Finaal zal deze score toelaten om een beter onderscheid te maken tussen de gekende klassen en de ongekende klassen. De extremen in deze score worden gemodelleerd met een zogenaamde Pareto verdeling wat leidt tot een algoritme met een probabilistische interpretatie. Bovendien wordt een numerieke procedure voorgesteld om de hyperparameters van het model te optimaliseren in functie van de goodness-of-fit van het EWT model en de accuraatheid van het classificatiealgoritme. Tot slot worden verschillende datasets gebruikt om de superioriteit van het voorgestelde algoritme aan te tonen t.o.v. bestaande EWT-gebaseerde OSR-algoritmen. Een beperking van de k-OSNN methode is dat de toepassing van EWT gebaseerd is op het gebruik van de voorlaatste laag van neuronen van een neuraal netwerk dat niet geoptimaliseerd is om de klassen van gekende en ongekende voorbeelden zo ver mogelijk uit elkaar te trekken. Een tweede methode die we daarom voorstellen is gebaseerd op de “contrastive-centre loss” functie van Qi & Su (2017) die in staat is een inbedding te berekenen waarin voorbeelden van dezelfde klassen dichterbij elkaar geclusterd worden terwijl voorbeelden van verschillende klassen meer gescheiden worden. Er worden verschillende numerieke verbeteringen voorgesteld voor het trainen van dergelijke neurale netwerken zoals verbeterde gradient-gebaseerde methodes en nieuwe dynamische methodes om de hyperparameters te optimaliseren. Bij deze methode wordt de toepassing van EWT ook uitgebreid zodat een Pareto fit per klasse mogelijk is. Experimenten uitgevoerd op vijf data sets van beelden leiden tot een verbeterde performantie en efficientie in vergelijking met bestaande methodes. Bestaande EWT-gebaseerde OSR methodes zijn in essentie een sequentiele toepassing van een classificatiealgoritme en het fitten van een EWT distributie op de outputs ervan. Dit heeft het nadeel dat de classificatie voor gekende klassen en het herkennen van ongekende klassen niet simultaan geoptimaliseerd kunnen worden. We stellen daarom een methode voor die het gebruik van EWT volledig integreert in het schattingsproces van een neuraal netwerk. Dit laat ons toe om de optimalisatie van beide taken (herkennen van het gekende en ongekende) te verenigen en bovendien de methode uit te breiden zodat een interpretatie mogelijk is van de reden waarom een bepaald voorbeeld als onbekend wordt geclassificeerd. De ontwikkelingen in dit proefschrift illustreren dat EWT een krachtig hulpmiddel kan zijn om OSRalgoritmes te verbeteren, zeker als men dit combineert met verbeterde neurale netwerkarchictecturen en verbeterde scores om het verschil tussen gekende en ongekende voorbeelden te herkennen. De methodes ontwikkeld in dit proefschrift vormen een cruciale stap in het dichten van de kloof tussen bestaande classificatiemethodes en de toepassing ervan in real-world scenario’s waarin ongekende klassen kunnen optreden. We integreerden hiervoor de statistische studie van extremen met “deep learning” methodes wat leidde tot robuste oplossingen voor het probleem van OSR.Doctora
Extreme value-based novelty detection
No full textThis dissertation investigates extreme value-based novelty detection. An in-depth review of the theoretical proofs and an analytical investigation of current novelty detection methods are given.
It is concluded that the use of extreme value theory for novelty detection leads to superior results.
The first part of this dissertation provides an overview of novelty detection and the various methods available to construct a novelty detection algorithm. Four broad approaches are discussed, with this dissertation focusing on probabilistic novelty detection. A summary of the
applications of novelty detection and the properties of an efficient novelty detection algorithm are also provided.
The theory of extremes plays a vital role in this work. Therefore, a comprehensive description of the main theorems and modelling approaches of extreme value theory is given. These results are used to construct various novelty detection algorithms based on extreme value theory.
The first extreme value-based novelty detection algorithm is termed the Winner-Takes-All method. The model’s strong theoretical underpinning as well as its disadvantages are discussed.
The second method reformulates extreme value theory in terms of extreme probability density.
This definition is utilised to derive a closed-form expression of the probability distribution of a
Gaussian probability density. It is shown that this distribution is in the minimum domain of attraction of the extremal Weibull distribution.
Two other methods to perform novelty detection with extreme value theory are explored, namely the numerical approach and the approach based on modern extreme value theory. Both these methods approximate the distribution of the extreme probability density values under the assumption of a Gaussian mixture model. In turn, novelty detection can be performed in complex settings using extreme value theory. To demonstrate an application of the discussed methods a banknote authentication dataset is analysed. It is clearly shown that extreme value-based novelty detection methods are extremely efficient in detecting forged banknotes. This demonstrates the practicality of the different approaches.
The concluding chapter compares the theoretical justification, predictive power and efficiency of the different approaches. Proposals for future research are also discussed.National Research Foundatio
Distribution theory and inference for bivariate extremes
No full textThesis (MCom)--Stellenbosch University, 2024.ENGLISH SUMMARY: Various scenarios exist where the interest is in the modelling and prediction of rare or extreme events. Extreme value theory is an important branch of statistics, where limit theory is used to analyse extremes and to estimate the tail of the underlying distribution. Extreme value theory is the most developed for the univariate case, i.e. modelling the extremes of only a single variable. In many scenarios, however, more than one variable has an effect on the probability of occurrence of extreme events. In such cases, multivariate extreme value theory will play a valuable role in the modelling procedure by taking into account the joint effect of multivariate extremes. In this thesis, the focus will be on bivariate extreme value theory, i.e., multivariate extreme value theory restricted to two dimensions. Two approaches will be considered: (1) componentwise maxima and (2) a pair of random variables above a large threshold vector. A mathematical derivation of the limiting distribution of normalised componentwise maxima, called the bivariate extreme value distribution, will be given. For the threshold exceedance approach, it will be shown how the underlying distribution can be approximated by the bivariate extreme value distribution at transformed points. Unfortunately, no parametric form exists for the bivariate extreme value distribution. However, the distribution can be expressed in terms of the two marginal distributions and a dependence function. The latter is important in characterising the dependence structure of the distribution. Various characterisations are proposed in the literature. A few popular dependence functions will be discussed. It will also be shown how they are related through appropriate transformations. Since dependence plays an important role in bivariate extreme value theory, different measures of extremal dependence will be examined. For an independent and identically distributed random bivariate sample with asymptotic dependence between the two variables, it will be shown how the limit theory, based on the bivariate extreme value distribution, can be applied and how inference can be performed. Different ways of estimating the dependence structure of the bivariate extreme value distribution will be described, which include parametric and non-parametric techniques. When data exhibit asymptotic independence, the bivariate extreme value distribution is not suitable to use in the modelling procedure. Therefore, other models will be explored which better describe the tail of an asymptotically independent distribution. For illustration, the above-mentioned methods will be applied to two South African bivariate environmental datasets. For further interpretation and visualisation, graphs of the estimated distributions and quantile curves will also be given. Finally, it will be demonstrated that an asymptotic dependent model can lead to an overestimation of the joint exceedance probability when working in the tail of an asymptotic independent distribution, which agrees with the findings in the literature.AFRIKAANSE OPSOMMING: Daar bestaan verskeie scenario’s waar belangstelling in die modellering en voorspelling van seldsame of ekstreem gebeurtenisse is. Ekstreemwaardeteorie is ’n belangrike tak van statistiek, waar limietteorie gebruik word om ekstreme te analiseer en om die stert van die onderliggende verdeling te beraam. Ekstreemwaardeteorie is die mees ontwikkeld vir die eenveranderlike geval, m.a.w. modellering van die esktreme van slegs ’n enkele veranderlike. In baie scenario’s het meer as een veranderlike egter ’n effek op die waarskynlikheid van die voorkoms van ekstreem gebeurtenisse. In sulke gevalle sal meerveranderlike ekstreemwaardeteorie ’n nuttige rol speel in die modelleringsprosedure deur die gesamentlike effek van meerveranderlike ekstreme in ag te neem. In hierdie tesis sal die fokus op tweeveranderlike ekstreemwaardeteorie wees, m.a.w. meerveranderlike ekstreemwaardeteorie beperk tot 2-dimensies. Twee benaderings sal oorweeg word: (1) komponentgewyse maksima en (2) twee stogastiese veranderlikes bo ’n groot drempelvektor. ’n Wiskundige afleiding van die limietverdeling van genormaliseerde komponentgewyse maksima, genoem die tweeveranderlike ekstreemwaardeverdeling, sal gegee word. Vir die drempeloorskrydingsbenadering gaan dit aangetoon word hoe die onderliggende verdeling deur die tweeveranderlike ekstreemwaardeverdeling by getransformeerde punte benader kan word. Ongelukkig bestaan daar geen parametriese vorm vir die tweeveranderlike ekstreemwaardeverdeling nie. Nogtans kan die verdeling in terme van twee marginale verdelings en ’n afhanklikheidsfunksie uitgedruk word. Laasgenoemde is belangrik in die karakterisering van die verdeling se afhanklikheidstruktuur. Verskeie karakteriserings bestaan in die literatuur. ’n Aantal populere karakteriserings sal bespreek word. Dit sal ook aangetoon word hoe hulle verwant is deur gepaste transformasies. Aangesien afhanklikheid ’n belangrike rol in tweeveranderlike ekstreemwaardeteorie speel, gaan verskillende maatstawwe van ekstreme afhanklikheid ondersoek word. Vir ’n onafhanklike en identiese verdeelde stogastiese tweeveranderlike steekproef met asimptoties afhanklikheid tussen die twee veranderlikes, gaan dit aangetoon word hoe die limietteorie, gebaseer op die tweeveranderlike ekstreemwaardeverdeling, toegepas kan word en hoe inferensie uitgevoer kan word. Verskillende maniere om die afhanklikheidstruktuur te beraam gaan beskryf word, wat parametriese en nie-paramatriese tegnieke insluit. Wanneer data asimptotiese onafhanklikheid vertoon, is die tweeveranderlike ekstreemwaardeverdeling nie toepaslik vir die modelleringsproses nie. Om hierdie rede, gaan ander modelle ondersoek word wat die stert van ’n asimptotiese onafhanklike verdeling beter beskryf. Vir illustrasie, gaan die bogenoemde metodes op twee Suid-Afrikaanse tweeveranderlike omgewingsdatastelle toegepas word. Vir verdere interpretasie en visualisering, gaan grafieke van die beraamde verdelings en kwantielkurwes ook gegee word. Laastens, gaan dit gedemonstreer word dat ’n asimptotiese afhanklike model tot ’n oorberaming van die gesamentlike waarskynlikheid kan lei wanneer daar in die stert van ’n asimptotiese onafhanklike verdeling gewerk word, wat ooreenstem met die
bevindinge in die literatuur.Master
A nearest neighbor open-set classifier based on excesses of distance ratios
No full textThis article proposes an open-set recognition model that is based on the use of extreme value statistics. For this purpose, a distance ratio is introduced that expresses how dissimilar a target point is from the known classes by considering the ratio of distances locally around the target point. It is shown that the class of generalized Pareto distributions with bounded support can be used to model the peaks of the distance ratio above a high threshold. The resulting distribution provides a probabilistic framework to perform open-set recognition. Furthermore, we describe a numerical procedure to estimate the hyperparameters of our model. This procedure is based on a new objective function that considers both the fit of the generalized Pareto distribution and the misclassification error of the known classes. Our method is applied to three image datasets and an audio dataset showing that it outperforms similar open-set recognition and anomaly detection methods. Supplementary materials for this article are available online
Lumped-Parameter Modelling of Cardiovascular System Dynamics under Different Healthy and Diseased Conditions
No full textCardiovascular disease is the most common cause of death in the modern society, and research into the diagnosis and treatment of cardiovascular diseases is an urgent task. Lumped-parameter mathematical modelling as an efficient and effective research technique has been extensively applied in the cardiovascular dynamics research, and has achieved enormous success in assisting the cardiovascular physiology study. This thesis reports a coherent work of lumped-parameter cardiovascular modelling based on some selected works that the author has conducted and published in the past several years. After a critical and comprehensive review of the concurrent lumped-parameter modelling technique, an improved lumped-parameter model that effectively describes the important cardiovascular features of heart valve dynamics and atrial-ventricular septum motion is presented. The model is then adapted to study several application cases of typical heart failure condition with ventricular assist device support, and extension of the lumped-parameter modelling for the optimisation of a pulsatile bioreactor in cardiovascular tissue engineering study. Some on-going works and future directions are also introduced. The reported modelling studies are useful for the cardiovascular physiology research and design optimisation of cardiovascular prosthetic organs
