TESL Canada Journal
Not a member yet
936 research outputs found
Sort by
The Relationship Between Lexical Frequency Profiling Measures and Rater Judgements of Spoken and Written General English Language Proficiency on the CELPIP-General Test
No full textIndependent confirmation that vocabulary in use unfolds across levels of performance as expected can contribute to a more complete understanding of validity in standardized English language tests. This study examined the relationship between Lexical Frequency Profiling (LFP) measures and rater judgements of test-takers’ overall levels of performance in the Speaking and Writing modules of the CELPIP-General test. In particular, the potential of measures such as lexical stretch and number of frequency bands accessed was examined. Randomized quota sampling from previously rated test-taker responses resulted in 200 speaking samples and 200 writing samples being compiled to create corpora of 211,602 running words and 70,745 running words respectively. Pearson r was used to examine the relationships between the LFP measures and rater judgements of CELPIP levels. Results point to significant correlations, with increasing CELPIP levels of performance generally accompanied by test-takers’ increasing ability to produce greater numbers of words, deploy a greater variety of words, rely less on high-frequency vocabulary, tap into mid-frequency vocabulary, and access a greater number of frequency bands. These results underline the contribution of independently obtained lexical measures toward a fuller understanding of concurrent validity in standardized English language proficiency testing. La confirmation indépendante que le vocabulaire d’usage se répand sur plusieurs niveaux de performance tel que prévu peut contribuer à une meilleure interpréta- tion de la validité des tests standardisés de langue anglaise. Ce e étude a examiné le rapport entre les mesures de profilage de la fréquence lexicale et les évalua- tions de la performance globale des élèves aux modules de parole et de rédaction du Programme canadien d’évaluation du niveau de compétence linguistique en anglais (CELPIP). Plus précisément, on a examiné le potentiel des mesures telles l’étendue lexicale et le nombre de bandes de fréquences a eintes. L’échantillon- nage par quota aléatoire de réponses d’élèves déjà évaluées a entrainé la formation de 200 échantillons de parole et 200 échantillons de rédaction représentant deux corpora, un de 211 602 mots liés et l’autre de 70 745 mots liés. On a employé le coe cient de corrélation de Pearson pour examiner les rapports entre les mesures de la fréquence lexicale et les évaluations en fonction des niveaux du CELPIP. Les résultats dévoilent des corrélations signi catives entre, d’une part, les meilleures performances au CELPIP et, d’autre part, une capacité à produire une quantité et une variété plus importantes de mots; à moins recourir aux mots les plus fréquents; à puiser dans du vocabulaire à fréquence moyenne; et à accéder à un plus grand nombre de bandes de fréquence. Ces résultats soulignent la contribution des mesures lexicales obtenues indépendamment à la compréhension de la validité concourante des évaluations standardisées des compétences linguistiques en anglais.
“Teachers are not empty vessels”: A Reception Study of Freeman and Johnson’s (1998) Reconceptualization of the Knowledge Base of Second Language Teacher Education
No full textThis study traces the reception history of Freeman and Johnson’s (1998) widelycited article dedicated to theory and practices of second language teacher education(SLTE). It illuminates the degree to which that article has impacted SLTEtheory, research, and potentially instructional practices. The reception studyanalysis is based on a data set of 413 journal articles, books, book chapters, master’stheses, and doctoral dissertations that cited Freeman and Johnson (F&J)between 1999 and 2014. Using an innovative analytical approach combining bothHyland’s (1999, 2004) citation categories and Coffin’s (2009) stance framework,we investigate the citation analytics of F&J within this data set, including howit has been cited over time and the stance that citing authors have taken towardF&J’s proposals. Although F&J’s reconceptualization of the theory and practicesof SLTE sparked initial controversy, our findings indicate that F&J’s article hasnot only been accumulating increased attention over time, but their vision forthe future of SLTE also has gained greater acceptance and has edged closer to thecenter of SLTE. The article concludes with a discussion of implications for furtherreception studies in TESOL/applied linguistics. Cette étude trace le parcours de l’histoire de la réception de article, largementcité, de Freeman et Johnson (1998) portant sur la théorie et les pratiques enformation des enseignants de langue seconde. Elle souligne la mesure dans laquellel’article a eu un impact sur la théorie, la recherche, voire les pratiquespédagogiques, en formation des enseignants de langue seconde. L’analyse de laréception de l’article repose sur un ensemble de données composé de 413 articlesde revue, livres, chapitres de livre, et thèses de maitrise et de doctorat quicitent Freeman et Johnson (F&J) entre 1999 et 2014. Adoptant une approcheanalytique innovatrice qui combine les catégories de citation de Hyland (1999,2004) et le cadre des positions de Coffin (2009), nous examinons les citations deF&J, y compris la façon dont l’article est cité au fil du temps et la position desauteurs qui le citent par rapport aux propositions de F&J. Bien que la reconceptualisationpar F&J de la théorie et des pratiques en formation des enseignantsde langue seconde ait d’abord suscité une controverse, nos résultats indiquent qu’avec le temps, l’article attire de plus en plus d’attention et que la vision que proposent F&J de l’avenir de la formation des enseignants de langue seconde est mieux reçue et prend davantage sa place dans le domaine. L’article se termine par une discussion des incidences des études portant sur la réception d’articles en linguistique appliquée/TESOL à l’avenir
Learners’ Beliefs About Corrective Feedback in the Language Classroom: Perspectives from Two International Contexts
No full textThis study compared the beliefs college-level students hold about corrective feedback in different learning contexts: English as a second language (Canada, n = 197) and English as a foreign language (Russia, n = 224). The participants completed a 40-item questionnaire that dealt with various aspects of feedback found in the literature. While the factor analyses revealed underlying beliefs that were shared by the two populations, the Mann-Whitney-Wilcoxon test identified aspects that differed from one setting to another. To determine possible effects of the background factors, these were correlated with the average belief scores calculated for each participant. The results validate the questionnaire, point to certain background factors that may predict beliefs, and suggest that some beliefs about feedback may be shared across contexts. Cette étude a comparé les croyances qu’ont des étudiants universitaires par rapport à la rétroaction corrective dans divers contextes d’apprentissage: anglais langue seconde (Canada, n = 197) et anglais langue étrangère (Russie, n = 224). Les participants ont complété un questionnaire à 40 items portant sur divers aspects de la rétroaction puisés dans la littérature spécialisée. Alors que des analyses factorielles ont révélé des croyances communes aux deux groupes, le test Wilcoxon-Mann-Whitney a identifé des aspects qui distinguaient les deux milieux d’apprentissage. Pour déterminer les e ets possibles de ces facteurs fondamentaux, nous avons évalué la corrélation entre les résultats moyens sur les croyances tels que calculés pour chaque participant. Les résultats obtenus confirment le questionnaire, révèlent certains facteurs de base qui pourraient prédire les croyances et indiquent que certaines croyances sur la rétroaction se retrouvent dans différents contextes.
Switches to English during French Service Encounters: Relationships with L2 French Speakers’ Willingness to Communicate and Motivation
No full textThis exploratory study investigated second language (L2) French speakers’ service encounters in the multilingual se ing of Montreal, specifically whether switches to English during French service encounters were related to L2 speakers’ willingness to communicate or motivation. Over a two-week period, 17 French L2 speakers in Montreal submitted online questionnaires after they concluded service encounters that they had initiated in French. Their willingness to communicate in French was higher when the service provider did not switch to English; however, the frequency of English switches was not related to their general motivation to learn French. Possible reasons for language switches are explored, and pedagogical implications are highlighted. Ce e étude exploratoire porte sur des consultations qu’ont eues des locuteurs de français L2 dans le milieu plurilingue qu’est Montréal; plus précisément, les auteures se penchent sur la question de savoir si les transferts du français vers l’anglais pendant les consultations étaient liés à la volonté des locuteurs L2 à communiquer ou à la motivation. Au cours d’une période de deux semaines, 17 locuteurs de français L2 à Montréal ont complété des questionnaires en ligne après avoir eu des consultations qu’ils avaient initiées en français. Ils étaient plus motivés à communiquer en français quand le fournisseur de services ne passait pas à l’anglais; toutefois, la fréquence des transferts vers l’anglais n’était pas liée à leur motivation générale pour apprendre le français. Les auteures évoquent des raisons possibles pour le passage à l’anglais et en soulignent les répercussions pédagogiques.
Power and Meaning Making in an EAP Classroom: Engaging with the Everyday (Christian W. Chun, 2015)
No full textWalk a Mile in My Shoes: Stakeholder Accounts of Testing Experience with a Computer-Administered Test
No full textIn keeping with the trend to elicit multiple stakeholder responses to operational tests as part of test validation, this exploratory mixed methods study examines test-taker accounts of an Internet-based (i.e., computer-administered) test in the high-stakes context of proficiency testing for university admission. In 2013, as language testing researchers (expert informants), we reported on our own experience taking the Test of English as a Foreign Language Internet-Based Test (TOEFL iBT) (DeLuca, Cheng, Fox, Doe, & Li, 2013). The present study extends these ndings. Speci cally, 375 current iBT test-takers, who had failed to achieve scores required for admission to university, completed a questionnaire on their test-taking experience. At the same time, two former test-takers who had passed the iBT volunteered for semistructured interviews. Questionnaire and interview responses were coded (Charmaz, 2007) for recurring and differentiating response patterns across these stakeholder groups. Concerns were shared regarding speededness, test anxiety, and test preparation, but these test-takers diffiered from the language-testing researchers in their responses to the computer-administered reading and writing tasks. Implications are discussed in relation to construct representation, the interpretive argument of the test (Kane, 2012), and test-takers’ journeys through high-stakes testing to university study in Canada. Conformément à la tendance de provoquer, auprès des parties prenantes, des réponses multiples aux tests opérationnels de sorte à valider ceux-ci, ce e étude exploratoire à méthodes mixtes porte sur les récits de candidats à un test de com- pétence à enjeux élevés (l’entrée à l’université) et géré par ordinateur. En 2013, à titre de chercheurs en évaluation des compétences linguistiques (experts informateurs), nous avons fait état de notre expérience comme candidats au test d’anglais langue étrangère o ert sur Internet (TOEFL iBT) (DeLuca, Cheng, Fox, Doe, & Li, 2013). La présente étude vient ajouter à ces résultats. Plus précisément, 375 candidats actuels au iBT n’ayant pas réussi à a eindre la note nécessaire pour être admis à l’université ont complété un questionnaire sur leur expérience lors du test. Deux autres candidats qui avaient réussi le test ont accepté de passer des en- trevues semi-structurées. Les réponses au questionnaire et aux entrevues ont été codées (Charmaz, 2007) pour dépister des schémas récurrents et distinctifs parmi les groupes. Si les préoccupations relatives à l’e et des contraintes temporelles sur la performance, à l’anxiété et à la préparation avant le test étaient généralisées, les réponses aux tâches de lecture et d’écriture administrées par ordinateur n’étaient pas les mêmes pour les candidats actuels que pour les chercheurs. Nous discutons des répercussions relatives à la représentation de concepts et à l’interprétation du test (Kane, 2012), d’une part, et aux parcours de candidats aux tests à enjeux élevés impliquant l’admission aux universités canadiennes, d’autre part.
Test de Français Laval-Montreal: Does It Measure What It Should Measure?
No full textThis article reports on a study conducted as part of a larger investigation of the predictive validity of the Test de Français Laval-Montreal (TFLM), a high-stakes French language test used for admission and placement purposes for Teacher- Training Programs (TTPs) in major francophone universities in Canada (Schmitt, 2015). The objective of this study is to examine the validity of TFLM tasks for measuring language abilities required by tasks common to the Target Language Use (TLU; Bachman & Palmer, 2010) domains in which preservice teachers are expected to function. Adopting Messick’s conception of construct validity (1989) and Bachman & Palmer’s Framework of Task Characteristics (2010), the study features a comprehensive task analysis detailing the characteristics of TFLM tasks in contrast to those of three major TLU academic and instructional contexts linked to the test. The results of the study are discussed in terms of the standards of validity (Messick, 1996) and qualities of usefulness (Bachman & Palmer, 1996). Findings suggest that TFLM tasks and constructs do not represent those of the TLU contexts and do not address the language needs of preservice teachers as identified by the Ministère de l’Éducation, du Loisir et du Sport (MELS). The implications for the consequential aspect of TFLM validity and the potential nega- tive consequences of TFLM use as an admission test are discussed. Cet article présente une partie d’une étude plus complète sur la validité prédictive du Test de Français Laval-Montréal (TFLM), test de langue française à enjeux critiques utilisé comme test d’admission et de placement dans les programmes de formation initiale en enseignement d’importantes universités francophones au Canada (Schmitt, 2015). Le but de ce e étude est d’analyser la validité des tâches du TFLM à des fins d’évaluation des compétences linguistiques exigées dans les tâches communes aux domaines d’utilisation de la langue cible dans lesquels les enseignants en formation doivent fonctionner (Target Language Use (TLU); Bachman & Palmer, 2010). Basée sur la conception de la validité conceptuelle de Messick (1989) et le cadre d’analyse des caractéristiques des tâches de Bachman & Palmer (2010), l’étude compare de manière détaillée les tâches du TFLM à celles de trois contextes académiques et pédagogiques d’emploi de la langue cible. Les résultats de cette analyse sont évalués en termes de validité (Messick, 1996) et des qualités des tests (Bachman & Palmer, 1996). Les résultats indiquent que les tâches du TFLM et les construits qu’il est sensé évaluer ne correspondent pas à ceux des contextes d’emploi de la langue cible et ne répondent pas aux besoins des ensei- gnants en formation tels qu’identi és par le Ministère de l’Éducation, du Loisir et du Sport (MELS). La validité du TFLM, les conséquences ainsi que les aspects potentiellement négatifs de son utilisation comme test d’admission sont discutés.