![]() Similarities and differences of value-added scores from models with different covariates: A cluster analysisLevy, Jessica ; ; Keller, Ulrich et alScientific Conference (2019, November 06) Detailed reference viewed: 142 (8 UL) Dimensional and Social Comparison Effects on Domain-Specific Academic Self-Concepts and Interests with First- and Third-Grade Studentsvan der Westhuizen, Lindie ; ; Keller, Ulrich et alScientific Conference (2019, November 06) Academic self-concepts (ASCs) are self-perceptions of one’s own academic abilities. The internal/external frame of reference (I/E) model (Marsh, 1986) explains the formation of domain-specific ASCs ... [more ▼] Academic self-concepts (ASCs) are self-perceptions of one’s own academic abilities. The internal/external frame of reference (I/E) model (Marsh, 1986) explains the formation of domain-specific ASCs through a combination of social (i.e. comparing one’s achievement in one domain with the achievement of others in the same domain) and dimensional (i.e. comparing one’s achievement in one domain with one’s achievement in another domain) comparisons. This results into positive achievement-self-concept relations within the math and verbal domains, but into negative achievement-self-concept relations across these domains. The generalized internal/external frame of reference (GI/E) model (Möller, Müller-Kalthoff, Helm, Nagy, & Marsh, 2015) extends the I/E model to the formation of other domain-specific academic self-beliefs such as interest. Research on the validity of the (G)I/E model for elementary school children is limited, especially for first-graders. This study examined the associations between verbal and math achievement and corresponding domain-specific self-concepts and interests for first-graders and third-graders. Two fully representative Luxembourgish first-grader cohorts and two fully representative third-graders cohorts (N=21,192) were used. The analyses were based on structural equation modeling. The findings fully supported the (G)I/E model for third-graders: Achievement was positively related to self-concept and interest within matching domains. Negative relations were found between achievement and self-concept and between achievement and interest across domains. For first-graders, achievement was positively related to self-concept and interest within matching domains. However, the majority of cross-domain relations were non-significant, except for the negative path between math achievement and verbal interest. Hence, while the formation of domain-specific ASCs and interests seem to rely on social and dimensional comparisons for third-graders, only social comparisons seem to be in operation for first-graders. Gender and cohort invariance was established for both grade levels. The findings are discussed within the framework of ASC differentiation and dimensional comparison theory applied to elementary school students. [less ▲] Detailed reference viewed: 219 (10 UL)![]() Value-added models: To what extent do estimates of school effectiveness depend on the selection of covariates?Levy, Jessica ; ; Keller, Ulrich et alScientific Conference (2019, September) Detailed reference viewed: 149 (6 UL)![]() Value-added modeling in primary school: What covariates to include?Levy, Jessica ; ; Keller, Ulrich et alScientific Conference (2019, August) Detailed reference viewed: 172 (9 UL) Methodological Issues in Value-Added Modeling: An International Review from 26 CountriesLevy, Jessica ; ; Keller, Ulrich et alin Educational Assessment, Evaluation and Accountability (2019), 31(3), 257-287 Value-added (VA) modeling can be used to quantify teacher and school effectiveness by estimating the effect of pedagogical actions on students’ achievement. It is gaining increasing importance in ... [more ▼] Value-added (VA) modeling can be used to quantify teacher and school effectiveness by estimating the effect of pedagogical actions on students’ achievement. It is gaining increasing importance in educational evaluation, teacher accountability, and high-stakes decisions. We analyzed 370 empirical studies on VA modeling, focusing on modeling and methodological issues to identify key factors for improvement. The studies stemmed from 26 countries (68% from the USA). Most studies applied linear regression or multilevel models. Most studies (i.e., 85%) included prior achievement as a covariate, but only 2% included noncognitive predictors of achievement (e.g., personality or affective student variables). Fifty-five percent of the studies did not apply statistical adjustments (e.g., shrinkage) to increase precision in effectiveness estimates, and 88% included no model diagnostics. We conclude that research on VA modeling can be significantly enhanced regarding the inclusion of covariates, model adjustment and diagnostics, and the clarity and transparency of reporting. [less ▲] Detailed reference viewed: 312 (35 UL)![]() The use of value-added models for the identification of schools that perform “against the odds”Levy, Jessica ; ; Keller, Ulrich et alPoster (2019, July) Value-added (VA) modeling aims to quantify the effect of pedagogical actions on students’ achievement, independent of students’ backgrounds. VA modeling is primarily used for accountability and high ... [more ▼] Value-added (VA) modeling aims to quantify the effect of pedagogical actions on students’ achievement, independent of students’ backgrounds. VA modeling is primarily used for accountability and high-stakes decisions. To date, there seems to be no consensus concerning the calculation of VA models. Our study aims to systematically analyze and compare different school VA models by using longitudinal large-scale data emerging from the Luxembourg School Monitoring Programme. Regarding the model covariates, first findings indicate the importance of language (i.e., language(s) spoken at home and prior language achievement) in VA models with either language or math achievement as a dependent variable, with the highest amount of explained variance in VA models for language. Concerning the congruence of different VA approaches, we found high correlations between school VA scores from the different models, but also high ranges between VA scores for single schools. We conclude that VA models should be used with caution and with awareness of the differences that may arise from methodological choices. Finally, we discuss the idea that VA models could be used for the identification of schools that perform “against the odds”, especially for those schools that have positive VA scores over several years. [less ▲] Detailed reference viewed: 193 (8 UL)![]() Exploration of Different School Value-Added Models in a Highly Heterogeneous Educational ContextLevy, Jessica ; ; Keller, Ulrich et alScientific Conference (2019, April) Detailed reference viewed: 165 (16 UL) A need for cognition scale for children and adolescents: Structural analysis and measurement invarianceKeller, Ulrich ; ; Wollschläger, Rachel et alin European Journal of Psychological Assessment (2019), 35 Need for Cognition (NFC) signifies “the tendency for an individual to engage in and enjoy thinking” (Cacioppo & Petty, 1982, p. 116). Up to now, no scale of sufficient psychometric quality existed to ... [more ▼] Need for Cognition (NFC) signifies “the tendency for an individual to engage in and enjoy thinking” (Cacioppo & Petty, 1982, p. 116). Up to now, no scale of sufficient psychometric quality existed to assess NFC in children. Using data from three independent, diverse cross-sectional samples from Germany, Luxembourg, and Finland, we examined the psychometric properties of a new NFC scale intended to fill in this gap. In all samples, across grades levels ranging from 1 to 9, confirmatory factor analysis confirmed the hypothesized nested factor structure based on Mussel’s (2013) Intellect model, with one general factor Think influencing all items and two specific factors Seek and Conquer each influencing a subset of items. At least partial scalar measurement invariance with regard to grade level and sex could be demonstrated. The scale exhibited good psychometric properties and showed convergent and discriminant validity with an established NFC scale and other non-cognitive traits such as academic self-concept and interests. It incrementally predicted mostly statistically significant but relatively small portions of academic achievement variance over and above academic self-concept and interest. Implications for research on the development of NFC and its role as an investment trait in intellectual development are discussed. [less ▲] Detailed reference viewed: 290 (49 UL) Schülerkompetenzen im Längsschnitt - Die Entwicklung von Deutsch-Leseverstehen und Mathematik in Luxemburg zwischen der 3. und 9. KlasseSonnleitner, Philipp ; Krämer, Charlotte ; Gamo, Sylvie et alReport (2018) it der Erhebung der ÉpStan im Herbst 2016 liegt erstmalig ein Datensatz vor, der einen Einblick in die Entwicklung schulischer Kompetenzen zwischen der 3. Schulstufe (Zyklus 3.1) und der 9. Schulstufe (5e ... [more ▼] it der Erhebung der ÉpStan im Herbst 2016 liegt erstmalig ein Datensatz vor, der einen Einblick in die Entwicklung schulischer Kompetenzen zwischen der 3. Schulstufe (Zyklus 3.1) und der 9. Schulstufe (5e bzw. 9e) erlaubt. Das vorliegende Kapitel gibt nun einen ersten Einblick in die längsschnittliche Kompetenzentwicklung in den Bereichen Deutsch-Leseverstehen und Mathematik. Hierfür werden die Testergebnisse der untersuchten Schülerkohorte aus den ÉpStan 2010 in der 3. Schulstufe (Zyklus 3.1) den Leistungen in der 9. Schulstufe (5e bzw. 9e) im Jahre 2016 gegenübergestellt. [less ▲] Detailed reference viewed: 170 (10 UL) Schulische Kompetenzen von Erstklässlern und ihre Entwicklung nach zwei Jahren.Hoffmann, Danielle ; Hornung, Caroline ; Gamo, Sylvie et alReport (2018) Dieses Kapitel stellt die Befunde aus drei Datenerhebungen (2014, 2015, 2016) der ÉpStan im Zyklus 2.1 vor und zeigt welche schulischen Kompetenzen Erstklässler am Anfang ihrer Schullaufbahn aufweisen und ... [more ▼] Dieses Kapitel stellt die Befunde aus drei Datenerhebungen (2014, 2015, 2016) der ÉpStan im Zyklus 2.1 vor und zeigt welche schulischen Kompetenzen Erstklässler am Anfang ihrer Schullaufbahn aufweisen und wie sich diese über zwei Jahre hinweg entwickeln. Allgemein betrachtet, sind die für den Zyklus 1 festgehaltenen Bildungsstandards in den drei überprüften Kernkompetenzen („Luxemburgisch-Hörverstehen“, „Vorläuferfertigkeiten der Schriftsprache“ und „Mathematik“) erfüllt. In allen drei Kompetenzen erreicht die Mehrheit der Schülerinnen und Schüler zu Beginn des Zyklus 2.1 das Niveau Avancé. Zwei Jahre später, im Zyklus 3.1, fällt die Verteilung der Schülerinnen und Schüler auf die verschiedenen Kompetenzränge negativer aus als im Zyklus 2.1. Hier haben vergleichsweise mehr Kinder das Niveau Socle in allen drei Kernkompetenzen noch nicht erreicht. Unsere Befunde zeigen außerdem, dass verschiedene außerschulische Faktoren (wie z. B. sozioökonomische Situation, Sprachhintergrund) bereits sehr früh im Verlauf der Schullaufbahn einen äußerst starken Einfluss auf die Testergebnisse haben und dass sich dieser Einfluss über die Jahre hinweg verstärkt. [less ▲] Detailed reference viewed: 323 (19 UL) Les compétences scolaires des enfants au début du cycle 2 de l'école fondamentale au Luxembourg et leur développement après deux ans.Hoffmann, Danielle ; Hornung, Caroline ; Gamo, Sylvie et alReport (2018) Ce chapitre présente les résultats de trois collectes de données (2014, 2015, 2016) des ÉpStan au cycle 2.1 et présente avec quelles compétences scolaires les élèves débutent leur scolarité au début du ... [more ▼] Ce chapitre présente les résultats de trois collectes de données (2014, 2015, 2016) des ÉpStan au cycle 2.1 et présente avec quelles compétences scolaires les élèves débutent leur scolarité au début du cycle 2.1 et comment celles-ci évoluent sur deux ans. De manière générale, nos résultats montrent que les compétences disciplinaires du cycle 1 portant sur les trois domaines d’apprentissage observés (« compréhension de l’oral en luxembourgeois », « compréhension de l’écrit» et « mathématiques ») sont acquises. Au début du cycle 2.1, la majorité des élèves atteint le Niveau Avancé dans l’ensemble des trois domaines d’apprentissage considérés. Deux ans plus tard, au cycle 3.1, la répartition des élèves sur les différents niveaux de compétence est plus négative qu’au cycle 2.1 et ceci dans la mesure où moins d’enfants ont atteint le Niveau Socle dans l’ensemble des trois domaines d’apprentissage observés. Nos résultats montrent également que, dès le début de la scolarité, différents facteurs extrascolaires (tels que le statut socio-économique et le contexte linguistique) ont une influence extrêmement forte sur les résultats des épreuves et que cette influence augmente au fil des années. [less ▲] Detailed reference viewed: 203 (5 UL)![]() Longitudinal development of students‘ competencies in Mathematics and German reading comprehensionSonnleitner, Philipp ; Krämer, Charlotte ; Gamo, Sylvie et alScientific Conference (2018, November 09) Im Rahmen des luxemburgischen Schulmonitorings werden Schlüsselkompetenzen der Schülerinnen und Schüler der luxemburgischen Regelschulen in regelmäßigen Abständen durch die so genannten Épreuves ... [more ▼] Im Rahmen des luxemburgischen Schulmonitorings werden Schlüsselkompetenzen der Schülerinnen und Schüler der luxemburgischen Regelschulen in regelmäßigen Abständen durch die so genannten Épreuves Standardisées (ÉpStan) gemessen. Diese längsschnittliche Begleitung der Schülerinnen und Schüler birgt die einmalige Chance, neue Erklärungsansätze für ein (alt)bekanntes Problem des luxemburgischen Schulsystems zu finden: die großen Unterschiede der Bildungschancen von Schülerinnen und Schüler je nach Geschlecht, sprachlichem und sozioökonomischem Hintergrund. Der vorliegende Beitrag gibt nun einen ersten Einblick in die längsschnittliche Kompetenzentwicklung in den Bereichen Deutsch-Leseverstehen und Mathematik. Hierfür werden die Testergebnisse der untersuchten Schülerkohorte aus den ÉpStan-Kompetenztests 2010 in der 3.Schulstufe den Leistungen in der 9. Schulstufe im Jahre 2016 gegenübergestellt. Die Darstellung der Entwicklungsverläufe mittels Sankey-Flussdiagrammen, erlaubt ein schnelles und intuitives Verständnis, von welchem Kompetenzniveau die Schülerinnen und Schüler in der 3. Klasse starten und welches sie schließlich in der 9. Klasse erreichen. Der Effekt von nachgewiesenermaßen einflussreichen, demografischen (Hintergrund-) Merkmalen wie Geschlecht, sprachlichem Hintergrund und sozioökonomischem Status wird dabei gesondert analysiert. Beim Blick auf die generellen Entwicklungsverläufe in den Bereichen Deutsch-Leseverstehen und Mathematik fällt vor allem eine sehr hohe Stabilität der Kompetenzeinstufungen auf: Schülerinnen und Schüler der 3. Klasse, deren Leistungen auf dem (erwartungskonformen) Niveau Socle oder Niveau Avancé liegen, verfügen in der Regel auch 6 Jahre später über hohe Deutsch- bzw. Mathematikkompetenzen. Umgekehrt verbleibt die Mehrheit der Schülerinnen und Schüler mit anfänglich schwachen Leistungen auch später auf einem niedrigen Kompetenzniveau. Bezieht man nun die Teilergebnisse zum Sprachhintergrund mit ein, lässt sich ganz klar folgern, dass die Unterrichtssprache hierfür einen entscheidenden Faktor darstellt: Schülerinnen und Schüler, die Luxemburgisch oder Deutsch als Muttersprache angeben, können sowohl in Deutsch-Leseverstehen als auch in Mathematik eher ein hohes Niveau halten bzw. sich im Laufe ihrer Schulkarriere auf ein solches verbessern. Portugiesischsprachige bzw. frankophone Schülerinnen und Schüler, die im Allgemeinen ohnehin auf einem niedrigeren Kompetenzniveau starten, können sich nur teilweise deutlich verbessern, profitieren aber vom Wechsel der Unterrichtssprache im Secondaire. Die Analysen zeigen darüber hinaus, dass typische Geschlechtsunterschiede, die auf einen Vorteil für Mädchen beim Lesen und einen leichten Vorteil für Jungen in Mathematik hindeuten, schon anfangs der 3. Klasse bestehen, und über die folgenden 6 Jahre weitgehend stabil bleiben. Zusammenfassend bestätigen die Ergebnisse die bereits mehrfach aufgezeigten landestypischen Probleme, erlauben aber eine feinere Aufschlüsselung und zeitliche Verortung der Wechselwirkungen zwischen Unterrichtssprache, sprachlichem und sozioökonomischem Schülerhintergrund, und bilden so die Grundlage für effektivere Interventionen. [less ▲] Detailed reference viewed: 184 (18 UL)![]() Wat droen d’Schoulen zur Leeschtung vu Schülerinnen a Schüler bäi? E systemateschen Iwwerbléck iwwer déi aktuell Fuerschungslag an Uwennung u lëtzebuergesche Längsschnëtt-DonnéeënLevy, Jessica ; ; Keller, Ulrich et alScientific Conference (2018, November 08) Detailed reference viewed: 119 (8 UL) Schulische Kompetenzen von Erstklässlern und ihre Entwicklung nach zwei Jahren.Hoffmann, Danielle ; ; Gamo, Sylvie et alPoster (2018, November 08) Jedes Jahr werden in den luxemburgischen Schulen die ÉpStan (Épreuves Standardisées) durchgeführt. Hierbei handelt es sich um nationale Schulleistungstests, welche Kompetenzen im Bereich der Mathematik ... [more ▼] Jedes Jahr werden in den luxemburgischen Schulen die ÉpStan (Épreuves Standardisées) durchgeführt. Hierbei handelt es sich um nationale Schulleistungstests, welche Kompetenzen im Bereich der Mathematik und den Schulsprachen (Luxemburgisch, Deutsch und Französisch) auf standardisierte Art messen. Der vorliegende Beitrag ist sowohl eine Bestandsaufnahme der Schülerschaft zu Beginn des formalen Bildungswegs als auch ein Bericht ihrer Evolution über zwei Jahre im luxemburgischen Schulsystem. Hierzu haben wir die Daten aus drei Erhebungen (2014, 2015, 2016) der ÉpStan analysiert. Zum einen zeigen wir, anhand von Daten aus drei verschiedenen Kohorten, welche schulischen Kompetenzen Erstklässler (Zyklus 2.1) am Anfang ihrer Schullaufbahn aufweisen. Zudem hatten wir die Möglichkeit die Schüler und Schülerinnen der ersten Erhebung (2014) zwei Jahre später im Zyklus 3.1 nochmals zu testen und somit ihren Entwicklungsverlauf über zwei Jahre im luxemburgischen Bildungssystem zu dokumentieren. Diese ersten längsschnittlichen Daten zeigen, dass die Mehrheit der Schülerinnen und Schüler zu Beginn des Zyklus 2.1 das Niveau Avancé in den drei überprüften Kernkompetenzen („Luxemburgisch-Hörverstehen“, „Vorläuferfertigkeiten der Schriftsprache“ und „Mathematik“) erreicht. Somit stellen wir fest, dass die für den ersten Lernzyklus festgehaltenen Bildungsstandards erfüllt sind. Zwei Jahre später fällt die Verteilung der Schülerinnen und Schüler auf die verschiedenen Kompetenzränge negativer aus als im Zyklus 2.1. Im Zyklus 3.1 haben vergleichsweise mehr Kinder das Niveau Socle in allen drei Kernkompetenzen („Deutsch-Hörverstehen“, „Deutsch-Leseverstehen“ und „Mathematik“) noch nicht erreicht. Unsere Befunde zeigen außerdem, dass verschiedene außerschulische Faktoren (wie z. B. sozioökonomische Situation, Sprachhintergrund) bereits sehr früh im Verlauf der Schullaufbahn einen äußerst starken Einfluss auf die Testergebnisse haben und sich dieser Einfluss über die Jahre hinweg verstärkt. Abschließend präsentieren und diskutieren wir verschiedene Erklärungsansätze für diesen beobachteten Schereneffekt. [less ▲] Detailed reference viewed: 193 (10 UL)![]() Wie wirken sich Klassenwiederholungen in der Sekundarstufe 1 auf spätere Schulnoten aus? Eine Längsschnittanalyse; Fischbach, Antoine ; Keller, Ulrich et alScientific Conference (2018, November) Detailed reference viewed: 185 (4 UL)![]() Value-added (VA) modelling: An Integrative Review of 674 Publications and VA Application in the Luxembourg School Monitoring ProgrammeLevy, Jessica ; Keller, Ulrich ; et alScientific Conference (2018, September) Detailed reference viewed: 161 (14 UL)![]() Évaluation de l'efficacité du système éducatif par le calcul de valeur ajoutée (VA) : Revue de littérature et exploration de modèles de VA dans un contexte scolaire hautement hétéroclite.Levy, Jessica ; Gamo, Sylvie ; Keller, Ulrich et alScientific Conference (2018, July) Detailed reference viewed: 155 (11 UL)![]() Parcours scolaires et performance mathématique des élèves scolarisés au Luxembourg : Effet du contexte langagier et socio-économiques.Gamo, Sylvie ; Sonnleitner, Philipp ; Hoffmann, Danielle et alScientific Conference (2018, January 11) Detailed reference viewed: 231 (19 UL)![]() Modéliser la « valeur ajoutée » en éducation primaire et secondaire : 674 publications en revueLevy, Jessica ; Gamo, Sylvie ; Keller, Ulrich et alScientific Conference (2018, January) L’approche statistique du type de « valeur ajoutée » (« value added ») a comme but de quantifier l’effet des acteurs pédagogiques sur la performance des élèves, indépendamment de leur origine (p. ex ... [more ▼] L’approche statistique du type de « valeur ajoutée » (« value added ») a comme but de quantifier l’effet des acteurs pédagogiques sur la performance des élèves, indépendamment de leur origine (p. ex. Braun, 2005), c’est-à-dire de déterminer la valeur dans la performance de l’élève du fait qu’il étudie avec tel professeur ou /et qu’il soit dans telle école. Ces indices de valeur ajoutée une fois déterminés sont souvent utilisés pour prendre des décisions de reddition de compte (« accountability » ; p.ex. Sanders, 2000) L’idée est de faire une évaluation standardisée de la qualité des enseignants ou des écoles à travers l’évolution des résultats des élèves. Même si les valeurs ajoutées sont devenues plus populaires durant ces dernières années, il n’y a pas de consensus concernant la méthode pour les calculer, ni sur l’intégration de variables explicatives (p. ex. Newton et al., 2010). Le but de notre étude est de faire une revue de littérature concernant les valeurs ajoutées en éducation primaire et secondaire. Pour ce faire, nous avons utilisé les bases de données ERIC, Scopus, PsycINFO et Psyndex et nous avons analysé et classifié rigoureusement 674 études de 32 pays différents. La moitié des études recensées concerne les valeurs ajoutées au niveau des enseignants et les autres concernent celles au niveau des écoles ou directeurs. 370 études ont utilisé des données empiriques pour calculer des indices de valeur ajoutée. Dans un certain nombre d’études, les variables utilisées sont précisées, mais dans approximativement 15% des publications, le modèle statistique utilisé n’est pas spécifié. La plupart des études ont utilisé la performance des années précédentes des élèves comme prédicteur ; en revanche, des variables cognitives ou motivationnelles des élèves n’ont presque jamais été prises en considération. Cette revue de littérature permet de souligner, en vue des enjeux politiques importants des valeurs ajoutées, qu’il est nécessaire d’avoir plus de transparence, rigueur et consensus, surtout sur le plan méthodologique. [less ▲] Detailed reference viewed: 295 (27 UL) Dynamische Mathematik und computergestützte Tests: GeoGebra in TAOKreis, Yves ; Dording, Carole ; Keller, Ulrich et alin Ladel, Silke; Knopf, Julia; Weinberger, Armin (Eds.) Digitalisierung und Bildung (2018) In diesem Beitrag stellen wir die Integration der Dynamischen-Mathematik-Software GeoGebra in die technologiebasierte Assessment-Plattform TAO vor. Diese Kombination von Anwendungen schafft neue Lern- und ... [more ▼] In diesem Beitrag stellen wir die Integration der Dynamischen-Mathematik-Software GeoGebra in die technologiebasierte Assessment-Plattform TAO vor. Diese Kombination von Anwendungen schafft neue Lern- und Beurteilungsmöglichkeiten in einem modernen Unterricht: die Lernerfolge im Geometrieunterricht werden, im Vergleich zu einem klassischen Unterricht, gefördert und eventuelle Hindernisse beim Kompetenzerwerb können präzise identifiziert werden. Außerdem wird die Studie im Rahmen des Forschungsprojektes GeoGebraPrim beschrieben, wobei die Versuchsgruppe der 9-jährigen Kinder während ihres Lernprozesses Zugang zur Technologie haben, um mathematische Eigenschaften anhand von dynamischer Geometrie zu entdecken. Im Pre-Test unterscheiden sich die Versuchs- und Kontrollgruppe kaum. Die Versuchsgruppe erlangt allerdings signifikant bessere Resultate in den beiden Post-Tests sowie erstklassige Resultate in dem TBA-Test. [less ▲] Detailed reference viewed: 255 (22 UL) |
||