229 research outputs found
Some Rates of Convergence for the Selected Lasso Estimator
No full textInternational audienceWe consider the estimation of a function in some ordered finite or infinite dictionary. We focus on the selected Lasso estimator introduced by Massart and Meynet (2011) as an adaptation of the Lasso suited to deal with infinite dictionaries. We use the oracle inequality established by Massart and Meynet (2011) to derive rates of convergence of this estimator on a wide range of function classes described by interpolation spaces such as in Barron et al. (2008). The results highlight that the selected Lasso estimator is adaptive to the smoothness of the function to be estimated, contrary to the classical Lasso or the greedy algorithm considered by Barron et al. (2008). Moreover, we prove that the rates of convergence of this estimator are optimal in the orthonormal case
Minimal penalties for model selection
No full textDans le cadre de la sélection de modèle par contraste pénalisé, L. Birgé and P. Massart ont prouvé que le phénomène de pénalité minimale se produit pour la sélection libre parmi des variables gaussiennes indépendantes. Nous étendons certains de leurs résultats à la partition d'un signal gaussien lorsque la famille de partitions envisagées est suffisamment riche, notamment dans le cas des arbres de régression. Nous montrons que le même phénomène se produit dans le cadre de l'estimation de densité. La richesse de la famille de modèle s'apparente à une forme d'isotropie. De ce point de vue le phénomène de pénalité minimale est intrinsèque. Pour corroborer et illustrer ce point de vue, nous montrons que le même phénomène se produit pour une famille de modèles d'orientation aléatoire uniforme.L. Birgé and P. Massart proved that the minimum penalty phenomenon occurs in Gaussian model selection when the model family arises from complete variable selection among independent variables. We extend some of their results to discrete Gaussian signal segmentation when the model family corresponds to a sufficiently rich family of partitions of the signal's support. This is the case of regression trees. We show that the same phenomenon occurs in the context of density estimation. The richness of the model family can be related to a certain form of isotropy. In this respect the minimum penalty phenomenon is intrinsic. To corroborate this point of view, we show that the minimum penalty phenomenon occurs when the models are chosen randomly under an isotropic law
Calibration of Lasso-type algorithms & statistical analysis of metallurgical data in aeronautics
No full textNotre thèse comprend deux parties : l’une méthodologique, l’autre appliquée.La partie méthodologique porte sur le Lasso et une variante de cet algorithme, le Lasso projeté, en vue de leur calibration par pente. Notre méthode tire parti des propriétés de parcimonie du Lasso, en envisageant le problème de sa calibration comme un problème de sélection de modèles, permettant l’emploi de critères pénalisés nécessitant le réglage d’une constante. Pour déterminer la forme de la pénalité et la valeur de la constante, nous adaptons les approches classiques de Birgé et Massart. Ceci permet de dégager la notion de pénalité canonique. Pente et validation croisée sont ensuite comparées. La proximité des résultats suggère qu’en pratique on utilise les deux conjointement, avec des corrections visuelles concernant la pente. Des améliorations sur le temps de calcul des pénalités canoniques sont ensuite proposées, mais sans succès patent. La partie appliquée analyse certaines questions métallurgiques en aéronautique. En fiabilité, le grand nombre de variables présentes, relativement au nombre limité de données, mène à une instabilité des solutions par modèles linéaires et à des temps de calculs trop élevés ; c’est pourquoi le Lasso constitue une solution intéressante. Notre méthode de réglage permet souvent de retenir les variables conformes à l’expérience métier. La question de la qualité du procédé de fabrication, par contre, ne peut se traiter au moyen du Lasso. Quatre aspects sont alors envisagés : la détermination des facteurs du procédé, la mise en évidence de recettes, l’étude de la stabilité du procédé dans le temps et la détection de pièces hors-normes. Un schéma général d’étude procédé est ainsi dégagé,en qualité comme en fiabilité.Our work contains a methodological and an applied part.In the methodological part we study Lasso and a variant of this algorithm : the projectedLasso. We develop slope heuristics to calibrate them.Our approach uses sparsity properties of the Lasso, showing how to remain to a modelselection framework. This both involves a penalized criterion and the tuning of a constant.To this aim, we adopt the classical approaches of Birgé and Massart about slope heuristics.This leads to the notion of canonical penalty.Slope and (tenfold) crossvalidation are then compared through simulations studies.Results suggest the user to consider both of them. In order to increase calculation speed,simplified penalties are (unsuccessfully) tried.The applied part is about aeronautics. The results of the methodological part doapply in reliability : in classical approaches (without Lasso) the large number of variables/number of data ratio leads to an instability of linear models, and to huge calculustimes. Lasso provides a helpful solution.In aeronautics, dealing with reliability questions first needs to study quality of theelaboration and forging processes. Four major axis have to be considered : analysing thefactor of the process, discrimining recipes, studying the impact of time on quality anddetecting outliers. This provides a global statistical strategy of impowerment for processes
Statistical performances of some learning algorithms (Kernel projection machine and Kernel principal component analysis)
No full textLa thèse se place dans le cadre de l'apprentissage statistique. Elle apporte des contributions à la communauté du machine learning en utilisant des techniques de statistiques modernes basées sur des avancées dans l'étude des processus empiriques. Dans une première partie, les propriétés statistiques de l'analyse en composantes principales a noyau (KPCA) sont explorées. Le comportement de l'erreur de reconstruction est étudie avec un point de vue non-asymptotique et des inégalités de concentration des valeurs propres de la matrice de Gram sont données. Tous ces résultats impliquent des vitesses de convergence rapides. Des propriétés non-asymptotiques concernant les espaces propres de la KPCA eux-mêmes sont également proposées. Dans une deuxième partie, un nouvel algorithme de classification a été conçu : la Kernel Projection Machine (KPM). Tout en s'inspirant des Support Vector Machines (SVM), il met en lumière que la sélection d'un espace vectoriel par une méthode de réduction de la dimension telle que la KPCA régularise convenablement. Le choix de l'espace vectoriel utilise par la KPM est guide par des études statistiques de sélection de modèle par minimisation pénalisée de la perte empirique. Ce principe de régularisation est étroitement relie a la projection fini-dimensionnelle étudiée dans les travaux statistiques de Birge et Massart. Les performances de la KPM et de la SVM sont ensuite comparées sur différents jeux de données. Chaque thème aborde dans cette thèse soulevé de nouvelles questions d'ordre théorique et pratique.This thesis takes place within the framework of statistical learning. It brings contributions to the machine learning community using modern statistical techniques based on progress in the study of empirical processes. The first part investigates the statistical properties of Kernel Principal Component Analysis (KPCA). The behavior of the reconstruction error is studied with a non-asymptotique point of view and concentration inequalities of the eigenvalues of the kernel matrix are provided. All these results correspond to fast convergence rates. Non-asymptotic results concerning the eigenspaces of KPCA themselves are also provided. A new algorithm of classification has been designed in the second part: the Kernel Projection Machine (KPM). It is inspired by the Support Vector Machines (SVM). Besides, it highlights that the selection of a vector space by a dimensionality reduction method such as KPCA regularizes suitably. The choice of the vector space involved in the KPM is guided by statistical studies of model selection using the penalized minimization of the empirical loss. This regularization procedure is intimately connected with the finite dimensional projections studied in the statistical work of Birge and Massart. The performances of KPM and SVM are then compared on some data sets. Each topic tackled in this thesis raises new questions.ORSAY-PARIS 11-BU Sciences (914712101) / SudocORSAY-PARIS 11-Bib. Maths (914712203) / SudocSudocFranceF
Data-driven calibration of penalties for least-squares regression
No full textInternational audiencePenalization procedures often suffer from their dependence on multiplying factors, whose optimal values are either unknown or hard to estimate from the data. We propose a completely data-driven calibration algorithm for this parameter in the least-squares regression framework, without assuming a particular shape for the penalty. Our algorithm relies on the concept of minimal penalty, recently introduced by Birge and Massart (2007) in the context of penalized least squares for Gaussian homoscedastic regression. On the positive side, the minimal penalty can be evaluated from the data themselves, leading to a data-driven estimation of an optimal penalty which can be used in practice; on the negative side, their approach heavily relies on the homoscedastic Gaussian nature of their stochastic framework. The purpose of this paper is twofold: stating a more general heuristics for designing a data-driven penalty (the slope heuristics) and proving that it works for penalized least-squares regression with a random design, even for heteroscedastic non-Gaussian data. For technical reasons, some exact mathematical results will be proved only for regressogram bin-width selection. This is at least a first step towards further results, since the approach and the method that we use are indeed general
A Sharp Concentration Inequality With Applications
No full textWe present a new general concentration-of-measure inequality and illustrate its power by applications in random combinatorics. The results find direct applications in some problems of learning theory. The work of the second author was supported by DGES grant PB96-0300 1 Introduction The phenomenon of measure concentration has recently received distinguished attention due to its much better understanding and its spectacular power and simplicity in applications. The basic methods for proving concentration inequalities have been (1) martingale methods---see McDiarmid [22], [23] for excellent surveys; (2) information-theoretic methods, see Alhswede, G'acs, and Korner [1], Marton [17], [18],[19], Dembo [5] and Massart [21]; (3) Talagrand's induction method [27],[25],[26], which led to a large variety of powerful new inequalities. Recently, a new proof technique emerged based on logarithmic Sobolev inequalities, see Ledoux [14],[13]. The method has been shown to provide the sharpest ine..
Data-driven calibration of penalties for least-squares regression
No full textVersion "Rapport de recherche INRIA" du document http://hal.archives-ouvertes.fr/hal-00243116Penalization procedures often suffer from their dependence on multiplying factors, whose optimal values are either unknown or hard to estimate from the data. In this paper, we propose a completely data-driven calibration method for this parameter in the least-squares regression framework, without assuming a particular shape for the penalty. Our algorithm relies on the concept of minimal penalty, which has been introduced in a recent paper by Birg\'{e} and Massart (2007) in the context of penalized least squares for Gaussian homoscedastic regression. Interestingly, the minimal penalty can be evaluated from the data themselves, which leads to a data-driven estimation of an optimal penalty that one can use in practice. Unfortunately their approach heavily relies on the homoscedastic Gaussian nature of the stochastic framework that they consider. Our purpose in this paper is twofold: stating a more general heuristics to design a data-driven penalty (the slope heuristics) and proving that it works for penalized least squares random design regression, even when the data is heteroscedastic. For some technical reasons which are explained in the paper, we could prove some precise mathematical results only for histogram bin-width selection. Even though we could not work at the level of generality that we were expecting, this is at least a first step towards further results. Our mathematical results hold in some specific framework, but the approach and the method that we use are indeed general
Calibration d'algorithmes de type Lasso et analyse statistique de données métallurgiques en aéronautique
No full textNotre thèse comprend deux parties : l une méthodologique, l autre appliquée.La partie méthodologique porte sur le Lasso et une variante de cet algorithme, le Lasso projeté, en vue de leur calibration par pente. Notre méthode tire parti des propriétés de parcimonie du Lasso, en envisageant le problème de sa calibration comme un problème de sélection de modèles, permettant l emploi de critères pénalisés nécessitant le réglage d une constante. Pour déterminer la forme de la pénalité et la valeur de la constante, nous adaptons les approches classiques de Birgé et Massart. Ceci permet de dégager la notion de pénalité canonique. Pente et validation croisée sont ensuite comparées. La proximité des résultats suggère qu en pratique on utilise les deux conjointement, avec des corrections visuelles concernant la pente. Des améliorations sur le temps de calcul des pénalités canoniques sont ensuite proposées, mais sans succès patent. La partie appliquée analyse certaines questions métallurgiques en aéronautique. En fiabilité, le grand nombre de variables présentes, relativement au nombre limité de données, mène à une instabilité des solutions par modèles linéaires et à des temps de calculs trop élevés ; c est pourquoi le Lasso constitue une solution intéressante. Notre méthode de réglage permet souvent de retenir les variables conformes à l expérience métier. La question de la qualité du procédé de fabrication, par contre, ne peut se traiter au moyen du Lasso. Quatre aspects sont alors envisagés : la détermination des facteurs du procédé, la mise en évidence de recettes, l étude de la stabilité du procédé dans le temps et la détection de pièces hors-normes. Un schéma général d étude procédé est ainsi dégagé,en qualité comme en fiabilité.Our work contains a methodological and an applied part.In the methodological part we study Lasso and a variant of this algorithm : the projectedLasso. We develop slope heuristics to calibrate them.Our approach uses sparsity properties of the Lasso, showing how to remain to a modelselection framework. This both involves a penalized criterion and the tuning of a constant.To this aim, we adopt the classical approaches of Birgé and Massart about slope heuristics.This leads to the notion of canonical penalty.Slope and (tenfold) crossvalidation are then compared through simulations studies.Results suggest the user to consider both of them. In order to increase calculation speed,simplified penalties are (unsuccessfully) tried.The applied part is about aeronautics. The results of the methodological part doapply in reliability : in classical approaches (without Lasso) the large number of variables/number of data ratio leads to an instability of linear models, and to huge calculustimes. Lasso provides a helpful solution.In aeronautics, dealing with reliability questions first needs to study quality of theelaboration and forging processes. Four major axis have to be considered : analysing thefactor of the process, discrimining recipes, studying the impact of time on quality anddetecting outliers. This provides a global statistical strategy of impowerment for processes.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF
Variable selection in model-based clustering for high-dimensional data
No full textIl existe des situations de modélisation statistique pour lesquelles le problème classique de classification non supervisée (c'est-à-dire sans information a priori sur la nature ou le nombre de classes à constituer) se double d'un problème d'identification des variables réellement pertinentes pour déterminer la classification. Cette problématique est d'autant plus essentielle que les données dites de grande dimension, comportant bien plus de variables que d'observations, se multiplient ces dernières années : données d'expression de gènes, classification de courbes... Nous proposons une procédure de sélection de variables pour la classification non supervisée adaptée aux problèmes de grande dimension. Nous envisageons une approche par modèles de mélange gaussien, ce qui nous permet de reformuler le problème de sélection des variables et du choix du nombre de classes en un problème global de sélection de modèle. Nous exploitons les propriétés de sélection de variables de la régularisation l1 pour construire efficacement, à partir des données, une collection de modèles qui reste de taille raisonnable même en grande dimension. Nous nous démarquons des procédures classiques de sélection de variables par régularisation l1 en ce qui concerne l'estimation des paramètres : dans chaque modèle, au lieu de considérer l'estimateur Lasso, nous calculons l'estimateur du maximum de vraisemblance. Ensuite, nous sélectionnons l'un des ces estimateurs du maximum de vraisemblance par un critère pénalisé non asymptotique basé sur l'heuristique de pente introduite par Birgé et Massart. D'un point de vue théorique, nous établissons un théorème de sélection de modèle pour l'estimation d'une densité par maximum de vraisemblance pour une collection aléatoire de modèles. Nous l'appliquons dans notre contexte pour trouver une forme de pénalité minimale pour notre critère pénalisé. D'un point de vue pratique, des simulations sont effectuées pour valider notre procédure, en particulier dans le cadre de la classification non supervisée de courbes. L'idée clé de notre procédure est de n'utiliser la régularisation l1 que pour constituer une collection restreinte de modèles et non pas aussi pour estimer les paramètres des modèles. Cette étape d'estimation est réalisée par maximum de vraisemblance. Cette procédure hybride nous est inspirée par une étude théorique menée dans une première partie dans laquelle nous établissons des inégalités oracle l1 pour le Lasso dans les cadres de régression gaussienne et de mélange de régressions gaussiennes, qui se démarquent des inégalités oracle l0 traditionnellement établies par leur absence totale d'hypothèse.This thesis deals with variable selection for clustering. This problem has become all the more challenging since the recent increase in high-dimensional data where the number of variables can largely exceeds the number of observations (DNA analysis, functional data clustering...). We propose a variable selection procedure for clustering suited to high-dimensional contexts. We consider clustering based on finite Gaussian mixture models in order to recast both the variable selection and the choice of the number of clusters into a global model selection problem. We use the variable selection property of l1-regularization to build a data-driven model collection in a efficient way. Our procedure differs from classical procedures using l1-regularization as regards the estimation of the mixture parameters: in each model of the collection, rather than considering the Lasso estimator, we calculate the maximum likelihood estimator. Then, we select one of these maximum likelihood estimators by a non-asymptotic penalized criterion. From a theoretical viewpoint, we establish a model selection theorem for maximum likelihood estimators in a density estimation framework with a random model collection. We apply it in our context to determine a convenient penalty shape for our criterion. From a practical viewpoint, we carry out simulations to validate our procedure, for instance in the functional data clustering framework. The basic idea of our procedure, which consists in variable selection by l1-regularization but estimation by maximum likelihood estimators, comes from theoretical results we establish in the first part of this thesis: we provide l1-oracle inequalities for the Lasso in the regression framework, which are valid with no assumption at all contrary to the usual l0-oracle inequalities in the literature, thus suggesting a gap between l1-regularization and l0-regularization
- …
