99 research outputs found
Asymptotic properties of mixture-of-experts models
No full textInternational audienceThe statistical properties of the likelihood ratio test statistic (LRTS) for mixture-of-expert models are addressed in this paper. This question is essential when estimating the number of experts in the model. Our purpose is to extend the existing results for mixtures (Liu and Shao, 2003) and mixtures of multilayer perceptrons (Olteanu and Rynkiewicz, 2008). In this paper we study a simple example which embodies all the difficulties arising in such models. We find that in some cases the LRTS diverges but, with additional assumptions, the behavior of such models can be totally explicated
Estimating the Number of Regimes of Non-linear Autoregressive Models.
No full textInternational audienceAutoregressive regime-switching models are being widely used in modelling financial and economic time series such as business cycles (Hamilton, 1989; Lam, 1990), exchange rates (Engle and Hamilton, 1990), financial panics (Schwert, 1989) or stock prices (Wong and Li, 2000). When the number of regimes is fixed the statistical inference is relatively straightforward and the asymptotic properties of the estimates may be established (Francq and Roussignol, 1998; Krishnamurthy and Rydén, 1998; Douc R., Moulines E. and Rydén T., 2004). However, the problem of selecting the number of regimes is far less obvious and hasn't been completely answered yet. When the number of regimes is unknown, identifiability problems arise and the likelihood ratio test statistic (LRTS hereafter) is no longer convergent to a -distribution. In this paper, we consider models which allow the series to switch between regimes and we propose to study such models without knowing the form of the density of the noise. The problem we address here is how to select the number of components or number of regimes. One possible method to answer this problem is to consider penalized criteria. The consistency of a modified BIC criterion was recently proven in the framework of likelihood criterion for linear switching models (see Oltéanu and Rynkiewicz). We extend these results to mixtures of nonlinear autoregressive models with mean square error criterion and prove the consistency of a penalized estimate for the number of components under some regularity conditions
Adaptation de l'algorithme SOM à l'analyse de données temporelles et spatiales: application à l'étude de l'évolution des performances en matière d'emploi
No full textCet article étudie l'évolution des performances européennes en matiére d'emploi depuis le début des années quatre vingt dix, en utilisant l'algorithme SOM adapté au traitement de données qui sont à la fois temporelles et spatiales.La carte de Kohonen ainsi obtenue permet d'établir une classification des pays de l'Union Européenne qui tient compte simultanément de l'ordonnancement temporel et spatial des données, et permet alors de comparer les trajectoires des différents pays dans le temps. Nous comparons les résultats obtenus par cette méthode à ceux reposant sur une carte de Kohonen traditionnelle.Classification ; Algorithme SOM ; Emploi ; Union Européenne
Caractérisation de crises financières à l'aide de modèles hybrides (HMC-MLP)
No full textLes marchés financiers sont souvent le lieu de violentes turbulences des cours et un indice de crise - appelé IMS (Index of Market Shocks, voir Maillet et Michel, 2002) - a été récemment introduit pour tenter de quantifier les turbulences de marchés se produisant à l'occasion de ces crises financières. La volatilité conditionnelle des rentabilités boursières (voir Hamilton, 1994), tout comme les crises bancaires et financières du siècle dernier (Coe, 2002) ont déjà été représentées à l'aide de modèles à changements de régimes. Par ailleurs, la modélisation via des perceptrons multi-couches et chaînes de Markov cachées a été utilisée dans l'étude de phénomène de pics de pollution (voir Rynkiewicz, 2000), partageant a priori quelques similitudes avec les phénomènes de crises observées sur les marchés financiers. L'objet du présent article est de fournir une description modélisée du comportement de l'indicateur IMS, calculé sur le marché français (CAC40 en haute fréquence, 1995-2004), en essayant de caractériser la présence de régimes dans la série. Nous commencons par étudier une série d'IMS à l'aide de modèles auto-régressifs simples, puis à l'aide d'un modèle hybride intégrant des perceptrons multi-couches et des chaînes de Markov cachées
Consistance d'un estimateur de minimum de variance étendue
No full textNational audienceWe consider a generalization of the criterion minimized by the K-means algorithm, where a neighborhood structure is used in the calculus of the variance. Such tool is used, for example with Kohonen maps, to measure the quality of the quantification preserving the neighborhood relationships. If we assume that the parameter vector is in a compact Euclidean space and all it components are separated by a minimal distance, we show the strong consistency of the set of parameters almost realizing the minimum of the empirical extended variance
Estimation consistante de l'architecture des perceptrons multicouches
No full textNational audienceWe consider regression models involving multilayer perceptrons (MLP) with one hidden layer and a Gaussian noise. The estimation of the parameters of the MLP can be done by maximizing the likelihood of the model. In this framework, it is difficult to determine the true number of hidden units because the information matrix of Fisher is not invertible if this number is overestimated. However, if the parameters of the MLP are in a compact set, we prove that the minimization of a suitable information criteria leads to consistent estimation of the true number of hidden units
Outliers detection : modelling and prediction : application to used cars dataset
No full textLa société Autobiz édite et diffuse de l’information sur le secteur automobile. Cette thèse contribue à l’enrichissement de cette information et à une meilleure compréhension du marché de l’occasion par l’élaboration des modèles de prédiction du prix des véhicules et du délai de vente qui leur est associé. Nous avons eu à notre disposition une base de données réelles constituée d’annonces de sources diverses induisant un nombre considérable d’outliers. Ainsi, la première partie de travail s’est consacrée à la construction de méthodes de détection d’outliers incluant aussi bien de simples règles empiriques qu’un test statistique dont les propriétés asymptotiques ont été étudiées. Partant d’un état de l’art sur la prédiction des prix des véhicules d’occasion, il est apparu que les études existantes soulèvent le besoin de fonder une méthodologie d’analyse plus rigoureuse. Cette méthodologie a été développée dans un objectif de proposer des solutions automatisables et adaptées aux contraintes imposées par les experts. Nous faisons alors l’hypothèse que les prix des véhicules d’une même version se déprécient en fonction de l’âge et du kilométrage selon une forme qui lui est propre. La dernière partie du travail est dédiée à l’analyse des délais de vente. Dans un premier temps, nous caractérisons la variable associée aux délais de vente. Ensuite nous proposons une modélisation de cette variable par une régression à l’échelle d’un segment correspondant à l’arborescence marque-modèle-carrosserie-énergie en fonction des variables liées au kilométrage, au prix et à l’âge. Enfin, nous discutons de la possibilité de modéliser le nombre de véhicules vendus dans une période donnée selon une loi binomiale négative.Autobiz publishes information on the automotive sector. The subject of this the-sis is to give more tools for best understanding the used cars market by proposing modeling the price and the sale duration of vehicles. In our disposal we have a dataset consisted of used car advertisements automatically collected from the most popular website in France. Such data records often include outlying values. So, we need to start our analysis by considering outliers problem and we propose an outliers detector for univariate case for which we study asymptotic properties. Next, we develop a predicting model for used cars price. Although enumerable amount of works are stored in the literature we see that each of them lacks rigorous statistical foundations. We investigate the relationships between the price, the mileage, the age and others vehicle characteristics. More precisely we discuss how incorporate these variables in a model and compare different modeling approaches with the object to find the one best fitting the dataset and easy to implement. Expert’s opinions are minded at different stages of the model-building process. Next, we identify variables and how they affect the probability of a used vehicle’s sale from a list of explanatory variables related to price, mileage and age. In the sequel, we build a model allowing predicting the sale duration. Finally, we discuss about modeling sales of used cars by using the negative binomial distribution
Asymptotics for Regression Models Under Loss of Identifiability
No full textInternational audienceThis paper discusses the asymptotic behavior of regression models under general conditions, especially if the dimensionality of the set of true parameters is larger than zero and the true model is not identifiable. Firstly, we give a general inequality for the difference of the sum of square errors (SSE) of the estimated regression model and the SSE of the theoretical true regression function in our model. A set of generalized derivative functions is a key tool in deriving such inequality. Under suitable Donsker condition for this set, we provide the asymptotic distribution for the difference of SSE. We show how to get this Donsker property for parametric models even though the parameters characterizing the best regression function are not unique. This result is applied to neural networks regression models with redundant hidden units when loss of identifiability occurs and gives some hints on how penalizing such models to avoid over-fitting
Deep networks with ReLU activation functions can be smooth statistical models
No full textInternational audienceMost Deep neural networks use ReLU activation functions. Since these functions are not differentiable in 0, we may believe that such models may have irregular behavior. In this paper, we will show that the issue is more in the data than in the model, and if the data are “smooth”, the model will be differentiable in a suitable sense. We give a striking illustration of this fact with the example of adversarial attacks
Estimation and Test for Multi-Dimensional Regression Models
No full textInternational audienceThis work is concerned with the estimation of multidimensional regression and the asymptotic behaviour of the test involved in selecting models. The main problem with such models is that we need to know the covariance matrix of the noise to get an optimal estimator. We show in this paper that if we choose to minimise the logarithm of the determinant of the empirical error covariance matrix, then we get an asymptotically optimal estimator. Moreover, under suitable assumptions, we show that this cost function leads to a very simple asymptotic law for testing the number of parameters of an identifiable and regular regression model. Numerical experiments confirm the theoretical results
- …
