1,720,965 research outputs found
Going Beyond Counting First Authors in Author Co-citation Analysis
Full text linkThe present study examines one of the fundamental aspects of author co-citation analysis (ACA) - the way co-citation
counts are defined. Co-citation counting provides the data on which all subsequent statistical analyses and mappings
are based, and we compare ACA results based on two different types of co-citation counting - the traditional type that
only counts the first one among a cited work's authors on the one hand and a non-traditional type that takes into
account the first 5 authors of a cited work on the other hand. Results indicate that the picture produced through this non-traditional author co-citation counting contains more coherent author groups and is therefore considerably clearer. However, this picture represents fewer specialties in the research field being studied than that produced through the traditional first-author co-citation counting when the same number of top-ranked authors is selected and analyzed. Reasons for these effects are discussed
Variations on the Author
Full text link“Variations on the Author” discusses two of Eduardo Coutinho’s recent films (Um Dia na Vida, from 2010, and Últimas Conversas, posthumously released in 2015) and their contribution to the general question of documentary authorship. The director’s filmography is characterized by a consistent yet self-effacing form of authorial self-inscription: Coutinho often features as an interviewer that rather than express opinions propels discourses; an interviewer that is good at listening. This mode of self-inscription characterizes him as an author who is not expressive but who is nonetheless markedly present on the screen. In Um Dia na Vida, however, Coutinho is completely absent form the image, while Últimas Conversas, on the contrary, includes a confessional prologue that moves the director from the margins to the center of his films. This article examines the ways in which these works stand out in the filmography of a director who offers new insights into the notion of cinematic authorship
Appropriate Similarity Measures for Author Cocitation Analysis
Full text linkWe provide a number of new insights into the methodological discussion about author cocitation analysis. We first argue that the use of the Pearson correlation for measuring the similarity between authors’ cocitation profiles is not very satisfactory. We then discuss what kind of similarity measures may be used as an alternative to the Pearson correlation. We consider three similarity measures in particular. One is the well-known cosine. The other two similarity measures have not been used before in the bibliometric literature. Finally, we show by means of an example that our findings have a high practical relevance.information science;Pearson correlation;cosine;similarity measure;author cocitation analysis
Dispelling the Myths Behind First-author Citation Counts
Full text linkWe conducted a full-scale evaluative citation analysis study of scholars in the XML research field to explore just how different from each other author rankings resulting from different citation counting methods actually are, and to demonstrate the capability of emerging data and tools on the Web in supporting more realistic citation counting methods. Our results contest some common arguments for the continued
use of first-author citation counts in the evaluation of scholars, such as high correlations between author rankings by first-author citation counts and other citation
counting methods, and high costs of using more realistic citation counting methods that are not well-supported by the ISI databases. It is argued that increasingly available digital full text research papers make it possible for citation analysis studies to go beyond what the ISI databases have directly supported and to employ more
sophisticated methods
Amélioration des représentations pour la modélisation du langage
No full textThe field of Natural Language Processing has recently undergone a major paradigm shift that has led to significant improvements over the perceived capabilities of resulting systems. This shift, namely the advent of generative systems in the stead of predictive ones, has induced a profound change in the implicit objectives of language systems based on deep learning : where we used to aim at extracting relevant features from text utterances using self-supervision, we now try to maximize the generative performance of language models on tremendous volumes of diversified text samples. In this thesis, we explore high-level properties of the features (or representations) that are extracted by these language models, and we leverage these properties to improve language systems and to quantify their limitations. This work is two-fold, as we first focus on the learnings that result from representation analysis in trained language models, and we then proceed to suggest and implement novel inductive biases and training approaches based on these learnings.We find that the intermediate representations of self-supervised language models are affected by several forms of biases. First, they suffer from data-inherent biases that can be traced back to socio-cultural considerations, as we demonstrate by probing geographical knowledge in these features. Moreover, we show that these representational spaces can be distorted by the particular nature of language, especially when the dimensionality of the feature space is small. We proceed to show that inductive biases such as self-attention can also induce similar distortions that happen regardless of the target modality. Hence, representation analysis helps us identify limitations that come from distinct aspects of language models, from training data to architecture.Not only can the prism of representation learning help us identify limitations in language models, but it can also lead to substantial improvements for language systems, especially in terms of efficiency. Aware of the mechanisms that we identified, we propose alternatives to the classical next-token likelihood maximization approach. We design a novel differentiable layer that performs text segmentation to optimize tokenization along with the rest of the system, leading to efficient character-level modeling and robust models. We also implement a contrastive objective that simultaneously alleviates the representational bias induced by token frequency and the degeneration phenomenon by implicitly regularizing the latent spaces using in-batch samples. This objective yields substantial efficiency improvements and better performance. Finally, we explore a differentiable compression scheme for generative language models, paving the way towards memory-efficient attention mechanisms.Overall, our work proves the relevance of representation analysis in the context of improving language models, both as a way to identify limitations to the classical approaches and architectures, and as a way to gather insights on how to overcome these limitations.Le domaine du traitement automatique du langage naturel a récemment connu un changement de paradigme majeur, entraînant des améliorations significatives des capacités perçues des systèmes résultants. Ce changement, à savoir l’avènement des systèmes génératifs en remplacement des systèmes prédictifs, a induit une transformation profonde des objectifs implicites des systèmes linguistiques basés sur l’apprentissage profond : alors qu’auparavant, l’objectif était d’extraire des caractéristiques pertinentes des énoncés textuels via l’auto-supervision, il s’agit désormais de maximiser la performance générative des modèles linguistiques sur d’immenses volumes d’échantillons textuels diversifiés. Dans cette thèse, nous explorons les propriétés de haut niveau des plongements (ou représentations) extraits par ces modèles linguistiques et exploitons ces propriétés pour améliorer les systèmes de langage et quantifier leurs limites. Ce travail se divise en deux volets : nous nous intéressons d’abord aux enseignements tirés de l’analyse des représentations dans les modèles de langage entraînés, puis nous proposons et mettons en œuvre de nouveaux biais inductifs et approches d’entraînement basés sur ces enseignements.Nous constatons que les représentations intermédiaires des modèles linguistiques auto-supervisés sont affectées par plusieurs formes de biais. Premièrement, elles souffrent de biais inhérents aux données, qui peuvent être reliés à des considérations socio-culturelles, comme nous le démontrons en étudiant les connaissances géographiques encodées dans ces représentations. De plus, nous montrons que ces espaces représentationnels peuvent être déformés par la nature même du langage, en particulier lorsque la dimensionnalité de l’espace des représentations est réduite. Nous démontrons également que certains biais inductifs, tels que l’auto-attention, peuvent induire des distorsions similaires, indépendamment de la modalité cible. Ainsi, l’analyse des représentations permet d’identifier les limitations issues de divers aspects des modèles linguistiques, allant des données d’entraînement à l’architecture.L’apprentissage des représentations ne se limite pas à l’identification des limites des modèles linguistiques ; il permet aussi d’améliorer considérablement l’efficacité des systèmes de langage. Conscients des mécanismes mis en évidence, nous proposons des alternatives à l’approche classique de maximisation de la vraisemblance du prochain token. Nous concevons une nouvelle couche différentiable qui effectue une segmentation du texte afin d’optimiser la tokenisation en même temps que le reste du système, conduisant à une modélisation efficace au niveau des caractères et à des modèles plus robustes. Nous implémentons également un objectif contrastif qui atténue simultanément le biais de représentation induit par la fréquence des tokens et le phénomène de dégénérescence, en régularisant implicitement les espaces latents à l’aide d’échantillons issus du batch. Cet objectif permet d’améliorer significativement l’efficacité et les performances des modèles. Enfin, nous explorons un schéma de compression différentiable pour les modèles génératifs de langage, ouvrant la voie à des mécanismes d’attention économes en mémoire.Dans l’ensemble, notre travail démontre la pertinence de l’analyse des représentations pour l’amélioration des modèles de langue, à la fois en tant qu’outil d’identification des limitations des approches et architectures classiques, et en tant que source d’inspiration pour surmonter ces limitations
koamabayili/VECTRON-author-checklist: VECTRON author checklist
No full textWe have done our best to complete the author checklist relating to the use of animals in the hut study. Note that the objective for the hut study was to evaluate the IRS treatment applications for residual efficacy against Anopheles mosquitoes, including the local An. coluzzii mosquito population. Cows were only used to attract mosquitoes into the huts and no tests were carried out directly on the cows. The author checklist is intended for use with studies where experiments are carried out on animals, which is why we have had such difficulty in completing this for the hut study, as many of the questions do not relate to how the cows were used
Amélioration des représentations pour la modélisation du langage
No full textLe domaine du traitement automatique du langage a récemment connu un changement de paradigme majeur qui a conduit à des améliorations remarquables par rapport aux capacités perçues des systèmes résultants. Ce changement, à savoir l'avènement des systèmes génératifs en lieu et place des systèmes prédictifs, a induit un changement profond dans les objectifs implicites des systèmes linguistiques basés sur l'apprentissage profond : alors que l'objectif des anciennes méthodes était d'extraire des caractéristiques pertinentes à partir d'énoncés textuels en utilisant l'auto-supervision, nous essayons aujourd'hui de maximiser la performance générative des modèles linguistiques sur d'énormes volumes d'échantillons de textes diversifiés. Dans cette thèse, nous explorons les propriétés de haut niveau des caractéristiques (ou représentations) qui sont extraites par ces modèles de langue, et nous tirons parti de ces propriétés pour améliorer ces systèmes et quantifier leurs limites. Ce travail comporte deux volets : nous nous concentrons d'abord sur les apprentissages résultant de l'analyse des représentations dans les modèles de langues pré-entraînés, puis nous suggérons et mettons en œuvre de nouveaux biais inductifs ainsi que des approches d'entraînement basées sur nos observations. Nous constatons que les représentations intermédiaires des modèles de langage auto-supervisés sont affectées par plusieurs formes de biais. Tout d'abord, elles souffrent de biais inhérents aux données qui peuvent être attribués à des considérations socioculturelles, comme nous le démontrons en sondant les connaissances géographiques dans ces caractéristiques. En outre, nous montrons que ces espaces de représentation peuvent être déformés par la nature particulière du langage, surtout lorsque la dimensionnalité de l'espace des représentations est faible. Nous continuons à montrer que les biais inductifs tels que l'auto-attention peuvent également induire des distorsions similaires qui se produisent indépendamment de la modalité cible. Ainsi, l'analyse des représentations nous aide à identifier les limitations qui proviennent de différents aspects des modèles linguistiques, des données d'entraînement à l'architecture. Le prisme de l'apprentissage par représentation peut non seulement nous aider à identifier les limites des modèles de langue, mais il peut également conduire à des améliorations substantielles pour ces systèmes, notamment en termes d'efficacité. Sur la base des mécanismes que nous avons identifiés, nous proposons des alternatives à l'approche classique de maximisation de la vraisemblance du prochain mot. Nous concevons une nouvelle couche différentiable qui effectue la segmentation du texte afin d'optimiser la tokenisation conjointement au reste du système, ce qui conduit à une modélisation efficace au niveau des caractères et à des modèles robustes. Nous mettons également en œuvre un objectif contrastif qui atténue simultanément le biais de représentation induit par la fréquence des tokens et le phénomène de dégénérescence, en régularisant implicitement les espaces latents. Cet objectif permet d'améliorer considérablement l'efficacité et les performances des modèles. Enfin, nous explorons un schéma de compression différentiable pour les modèles de langage génératifs, ouvrant la voie à des mécanismes d'attention efficaces en termes de mémoire. Dans l'ensemble, notre travail prouve la pertinence de l'analyse de la représentation dans le contexte de l'amélioration des modèles de langue, à la fois comme moyen d'identifier les limites des approches classiques et comme moyen d'améliorer leur efficacité.The field of Natural Language Processing has recently undergone a major paradigm shift that has led to significant improvements over the perceived capabilities of resulting systems. This shift, namely the advent of generative systems in the stead of predictive ones, has induced a profound change in the implicit objectives of language systems based on deep learning : where we used to aim at extracting relevant features from text utterances using self-supervision, we now try to maximize the generative performance of language models on tremendous volumes of diversified text samples. In this thesis, we explore high-level properties of the features (or representations) that are extracted by these language models, and we leverage these properties to improve language systems and to quantify their limitations. This work is two-fold, as we first focus on the learnings that result from representation analysis in trained language models, and we then proceed to suggest and implement novel inductive biases and training approaches based on these learnings. We find that the intermediate representations of self-supervised language models are affected by several forms of biases. First, they suffer from data-inherent biases that can be traced back to socio-cultural considerations, as we demonstrate by probing geographical knowledge in these features. Moreover, we show that these representational spaces can be distorted by the particular nature of language, especially when the dimensionality of the feature space is small. We proceed to show that inductive biases such as self-attention can also induce similar distortions that happen regardless of the target modality. Hence, representation analysis helps us identify limitations that come from distinct aspects of language models, from training data to architecture. Not only can the prism of representation learning help us identify limitations in language models, but it can also lead to substantial improvements for language systems, especially in terms of efficiency. Aware of the mechanisms that we identified, we propose alternatives to the classical next-token likelihood maximization approach. We design a novel differentiable layer that performs text segmentation to optimize tokenization along with the rest of the system, leading to efficient character-level modeling and robust models. We also implement a contrastive objective that simultaneously alleviates the representational bias induced by token frequency and the degeneration phenomenon by implicitly regularizing the latent spaces using in-batch samples. This objective yields substantial efficiency improvements and better performance. Finally, we explore a differentiable compression scheme for generative language models, paving the way towards memory-efficient attention mechanisms. Overall, our work proves the relevance of representation analysis in the context of improving language models, both as a way to identify limitations to the classical approaches and architectures, and as a way to gather insights on how to overcome these limitations
Amélioration des représentations pour la modélisation du langage
No full textThe field of Natural Language Processing has recently undergone a major paradigm shift that has led to significant improvements over the perceived capabilities of resulting systems. This shift, namely the advent of generative systems in the stead of predictive ones, has induced a profound change in the implicit objectives of language systems based on deep learning : where we used to aim at extracting relevant features from text utterances using self-supervision, we now try to maximize the generative performance of language models on tremendous volumes of diversified text samples. In this thesis, we explore high-level properties of the features (or representations) that are extracted by these language models, and we leverage these properties to improve language systems and to quantify their limitations. This work is two-fold, as we first focus on the learnings that result from representation analysis in trained language models, and we then proceed to suggest and implement novel inductive biases and training approaches based on these learnings.We find that the intermediate representations of self-supervised language models are affected by several forms of biases. First, they suffer from data-inherent biases that can be traced back to socio-cultural considerations, as we demonstrate by probing geographical knowledge in these features. Moreover, we show that these representational spaces can be distorted by the particular nature of language, especially when the dimensionality of the feature space is small. We proceed to show that inductive biases such as self-attention can also induce similar distortions that happen regardless of the target modality. Hence, representation analysis helps us identify limitations that come from distinct aspects of language models, from training data to architecture.Not only can the prism of representation learning help us identify limitations in language models, but it can also lead to substantial improvements for language systems, especially in terms of efficiency. Aware of the mechanisms that we identified, we propose alternatives to the classical next-token likelihood maximization approach. We design a novel differentiable layer that performs text segmentation to optimize tokenization along with the rest of the system, leading to efficient character-level modeling and robust models. We also implement a contrastive objective that simultaneously alleviates the representational bias induced by token frequency and the degeneration phenomenon by implicitly regularizing the latent spaces using in-batch samples. This objective yields substantial efficiency improvements and better performance. Finally, we explore a differentiable compression scheme for generative language models, paving the way towards memory-efficient attention mechanisms.Overall, our work proves the relevance of representation analysis in the context of improving language models, both as a way to identify limitations to the classical approaches and architectures, and as a way to gather insights on how to overcome these limitations.Le domaine du traitement automatique du langage naturel a récemment connu un changement de paradigme majeur, entraînant des améliorations significatives des capacités perçues des systèmes résultants. Ce changement, à savoir l’avènement des systèmes génératifs en remplacement des systèmes prédictifs, a induit une transformation profonde des objectifs implicites des systèmes linguistiques basés sur l’apprentissage profond : alors qu’auparavant, l’objectif était d’extraire des caractéristiques pertinentes des énoncés textuels via l’auto-supervision, il s’agit désormais de maximiser la performance générative des modèles linguistiques sur d’immenses volumes d’échantillons textuels diversifiés. Dans cette thèse, nous explorons les propriétés de haut niveau des plongements (ou représentations) extraits par ces modèles linguistiques et exploitons ces propriétés pour améliorer les systèmes de langage et quantifier leurs limites. Ce travail se divise en deux volets : nous nous intéressons d’abord aux enseignements tirés de l’analyse des représentations dans les modèles de langage entraînés, puis nous proposons et mettons en œuvre de nouveaux biais inductifs et approches d’entraînement basés sur ces enseignements.Nous constatons que les représentations intermédiaires des modèles linguistiques auto-supervisés sont affectées par plusieurs formes de biais. Premièrement, elles souffrent de biais inhérents aux données, qui peuvent être reliés à des considérations socio-culturelles, comme nous le démontrons en étudiant les connaissances géographiques encodées dans ces représentations. De plus, nous montrons que ces espaces représentationnels peuvent être déformés par la nature même du langage, en particulier lorsque la dimensionnalité de l’espace des représentations est réduite. Nous démontrons également que certains biais inductifs, tels que l’auto-attention, peuvent induire des distorsions similaires, indépendamment de la modalité cible. Ainsi, l’analyse des représentations permet d’identifier les limitations issues de divers aspects des modèles linguistiques, allant des données d’entraînement à l’architecture.L’apprentissage des représentations ne se limite pas à l’identification des limites des modèles linguistiques ; il permet aussi d’améliorer considérablement l’efficacité des systèmes de langage. Conscients des mécanismes mis en évidence, nous proposons des alternatives à l’approche classique de maximisation de la vraisemblance du prochain token. Nous concevons une nouvelle couche différentiable qui effectue une segmentation du texte afin d’optimiser la tokenisation en même temps que le reste du système, conduisant à une modélisation efficace au niveau des caractères et à des modèles plus robustes. Nous implémentons également un objectif contrastif qui atténue simultanément le biais de représentation induit par la fréquence des tokens et le phénomène de dégénérescence, en régularisant implicitement les espaces latents à l’aide d’échantillons issus du batch. Cet objectif permet d’améliorer significativement l’efficacité et les performances des modèles. Enfin, nous explorons un schéma de compression différentiable pour les modèles génératifs de langage, ouvrant la voie à des mécanismes d’attention économes en mémoire.Dans l’ensemble, notre travail démontre la pertinence de l’analyse des représentations pour l’amélioration des modèles de langue, à la fois en tant qu’outil d’identification des limitations des approches et architectures classiques, et en tant que source d’inspiration pour surmonter ces limitations
- …
