30394 research outputs found
Sort by
On deep network training : complexity, robustness of nonsmooth backpropagation, and inertial algorithms
Get PDFL'apprentissage basé sur les réseaux neuronaux repose sur l'utilisation combinée de techniques d'optimisation non convexe de premier ordre, d'approximation par sous-échantillonnage, et de différentiation algorithmique, qui est l'application numérique automatisée du calcul différentiel. Ces méthodes sont fondamentales pour les bibliothèques informatiques modernes telles que TensorFlow, PyTorch et JAX. Cependant, ces bibliothèques utilisent la différentiation algorithmique au-delà de leur cadre primaire sur les opérations différentiables de base. Souvent, les modèles intègrent des fonctions d'activation non différentiables comme ReLU ou des dérivées généralisées pour des objets complexes (solutions à des problèmes de sous-optimisation). Par conséquent, comprendre le comportement de la différentiation algorithmique et son impact sur l'apprentissage est devenu un enjeu clé dans la communauté de l'apprentissage automatique. Pour aborder cela, un nouveau concept de différentiation non lisse, appelé gradients conservatifs, a été développé pour modéliser la différentiation algorithmique non lisse dans les contextes d'apprentissage modernes. Ce concept facilite également la formulation de garanties d'apprentissage et la stabilité des algorithmes dans les réseaux neuronaux profonds tels qu'ils sont pratiquement implémentés.Dans ce contexte, nous proposons deux extensions du calcul conservatif, trouvant une large gamme d'applications dans l'apprentissage automatique. Le premier résultat fournit un modèle simple pour estimer les coûts computationnels des modes backward et forward de la différentiation algorithmique pour une large classe de programmes non lisses. Un deuxième résultat se concentre sur la fiabilité de la différentiation automatique pour les réseaux neuronaux non lisses opérant avec des nombres en virgule flottante. Enfin, nous nous concentrons sur la construction d'un nouvel algorithme d'optimisation exploitant uniquement des informations de second ordre en utilisant la différentiation automatique non lisse non convexe de premier ordre bruitée. Partant d'un système dynamique (une équation différentielle ordinaire), nous construisons INNAprop, dérivé d'une combinaison d'INNA et de RMSprop.Learning based on neural networks relies on the combined use of first-order non-convex optimization techniques, subsampling approximation, and algorithmic differentiation, which is the automated numerical application of differential calculus. These methods are fundamental to modern computing libraries such as TensorFlow, PyTorch and JAX. However, these libraries use algorithmic differentiation beyond their primary focus on basic differentiable operations. Often, models incorporate non-differentiable activation functions like ReLU or generalized derivatives for complex objects (solutions to sub-optimization problems). Consequently, understanding the behavior of algorithmic differentiation and its impact on learning has emerged as a key issue in the machine learning community. To address this, a new concept of nonsmooth differentiation, called conservative gradients, has been developed to model nonsmooth algorithmic differentiation in modern learning contexts. This concept also facilitates the formulation of learning guarantees and the stability of algorithms in deep neural networks as they are practically implemented.In this context, we propose two extensions of the conservative calculus, finding a wide range of applications in machine learning. The first result provides a simple model to estimate the computational costs of the backward and forward modes of algorithmic differentiation for a wide class of nonsmooth programs. A second result focuses on the reliability of automatic differentiation for nonsmooth neural networks operating with floating-point numbers. Finally, we focus on building a new optimizer algorithm exploiting second-order information only using noisy first-order nonsmooth nonconvex automatic differentiation. Starting from a dynamical system (an ordinary differential equation), we build INNAprop, derived from a combination of INNA and RMSprop
Identification in Models for Matched Panel Data with Two-Sided Random Effects
Get PDFThis paper is concerned with models for matched worker-firm data in the presence of both worker and firm heterogeneity. We show that models with complementarity and sorting can be nonparametrically identified from short panel data while treating both worker and firm heterogeneity as discrete random effects. This paradigm is different from the framework of Bonhomme, Lamadon and Manresa (2019), where identification results are derived under the assumption that worker effects are random but firm heterogeneity is observed. The latter assumption requires the ability to consistently assign firms to latent clusters, which may be challenging; at a minimum, it demands minimal firm size to grow without bound. Our setup is compatible with
many theoretical specifications and our approach is constructive. Our identification
results appear to be the first of its kind in the context of matched panel data problems
L'autorisation d'aménager une zone de mouillages à la croisée des droits (Note sous CE, Conseil d'État, 5 févr. 2025, Assoc. Sites et Monuments et Les ami(e)s de la Moutonne pour le cadre de vie à La Crau, n° 491584)
No full text
La domanialité publique des “ locaux-relais” d'une technopole. Note sous Conseil d'État, 20 mai 2025, Société La panacée des plantes, n° 493452
No full textLe RN est ses alliés visés par une enquête au Parlement européen : coup de projecteur sur le Parquet européen
No full textEntré en fonction le 1er juin 2021, le Parquet européen, longtemps resté discret, s’invite désormais dans l’actualité. Souvent méconnu, il fait l’objet d’un net coup de projecteur avec une affaire impliquant le Rassemblement National. Cette dernière est l’occasion de revenir sur la première autorité de poursuite de l’Union européenne
