LEARN Newsletter - Editioun 2021

Book published by LEARN (2021)

Der Elefant im Klassenzimmer: Faire schulische Leistungsbeurteilung

in Georges, Carrie; Hoffmann, Danielle; Hornung, Caroline (Eds.) et al LEARN Newsletter - Editioun 2021 (2021)

A propensity score matching approach on predicting academic success of primary school students

Scientific Conference (2020, July)

School career and academic achievement are known to greatly affect an individual’s path through life (e.g., Trapmann, Hell, Weigand & Schuler, 2007; Jimerson, 2001). In Luxembourg, recent findings ... [more ▼]

School career and academic achievement are known to greatly affect an individual’s path through life (e.g., Trapmann, Hell, Weigand & Schuler, 2007; Jimerson, 2001). In Luxembourg, recent findings indicate that at school entrance (i.e., the beginning of Grade 1) the majority of the students achieve or even surpass the required minimum level of core competencies such as mathematics and early literacy (Hoffmann, Hornung, Gamo, Esch, Keller, & Fischbach, 2018). However, in Grade 3 (i.e., after the first two years of elementary school) many students do no longer achieve the required minimum level of competencies in math and literacy (ibid.). Especially students with another language background than (any of) the official languages in Luxembourg (Luxembourgish, German, and French) and those socio-economically disadvantaged were found to be more likely not to obtain the competency level (ibid.). The current study aims to investigate which specific factors may facilitate (or hinder) learning progression by using longitudinal data of the Luxembourg School Monitoring Programme Épreuves Standardisées from Grade 1 (2014, 2015) to Grade 3 (2016, 2017, 2018). More specifically, students with irregular pathways (i.e., those who experienced grade retention) will be identified as treatment group and compared to a stratified control group of students following regular pathways. For each student of the treatment group, one or more students from the control group will be matched through propensity score matching, a matching procedure based on logistic regression, according to different pre-sets of variables. In a second step, the two groups will be compared in regards to competency levels as well as to socio-emotional context variables such as family background, student-teacher interaction, and school satisfaction aiming at identifying characteristics potentially facilitating (or hindering) a student’s school career. [less ▲]

Gamification of psychological tests: three lessons learned

in Testing International (2019), 42

Differences between students’ and teachers’ fairness perceptions: Exploring the potential of a self-administered questionnaire to improve teachers’ assessment practices

Scientific Conference (2019, September)

The ability to assess learning outcomes is vital to effective teaching. Without understanding what students have learned, it is impossible to tailor information, tasks or feedback adequately to their ... [more ▼]

The ability to assess learning outcomes is vital to effective teaching. Without understanding what students have learned, it is impossible to tailor information, tasks or feedback adequately to their individual needs. Thus, so-called assessment literacy has been increasingly recognized as a core teacher competency in educational research, with many empirical studies investigating teachers’ abilities, knowledge and subjective views in relation to classroom assessment. In contrast, relatively few studies have focused on students’ perspectives of assessment. This is surprising, since gathering students’ feedback on their teachers’ assessment practices seems a logical step toward improving those practices. To help fill this gap, we present an explorative study using the recently developed Fairness Barometer as a tool to help identify specific strengths and weaknesses in individual teachers’ assessment methods. Viewing assessment through the lens of classroom justice theory, the Fairness Barometer asks students and teachers to rate aspects of procedural and informational justice in their own (teachers’) classroom assessment practices. We examined the resulting fairness discrepancy profiles for 10 Austrian secondary school classes (177 students). Results showed wide variation in profile pattern, evidence that both students and teachers can differentiate between different aspects of assessment fairness. Further exploration of the resulting discrepancy-profiles revealed certain problem types with some teachers differing from their students’ perception in almost every rated aspect, some showing specific assessment-related behaviors that require improvement (e.g. explaining grading criteria of oral exams), and others demonstrating almost identical responses as their students to the addressed fairness aspects. Results clearly indicate the potential of the Fairness Barometer to be used for teacher training and teacher self-development within the domain of teacher assessment literacy. [less ▲]

Longitudinal development of students‘ competencies in Mathematics and German reading comprehension

Scientific Conference (2018, November 09)

Im Rahmen des luxemburgischen Schulmonitorings werden Schlüsselkompetenzen der Schülerinnen und Schüler der luxemburgischen Regelschulen in regelmäßigen Abständen durch die so genannten Épreuves ... [more ▼]

Im Rahmen des luxemburgischen Schulmonitorings werden Schlüsselkompetenzen der Schülerinnen und Schüler der luxemburgischen Regelschulen in regelmäßigen Abständen durch die so genannten Épreuves Standardisées (ÉpStan) gemessen. Diese längsschnittliche Begleitung der Schülerinnen und Schüler birgt die einmalige Chance, neue Erklärungsansätze für ein (alt)bekanntes Problem des luxemburgischen Schulsystems zu finden: die großen Unterschiede der Bildungschancen von Schülerinnen und Schüler je nach Geschlecht, sprachlichem und sozioökonomischem Hintergrund. Der vorliegende Beitrag gibt nun einen ersten Einblick in die längsschnittliche Kompetenzentwicklung in den Bereichen Deutsch-Leseverstehen und Mathematik. Hierfür werden die Testergebnisse der untersuchten Schülerkohorte aus den ÉpStan-Kompetenztests 2010 in der 3.Schulstufe den Leistungen in der 9. Schulstufe im Jahre 2016 gegenübergestellt. Die Darstellung der Entwicklungsverläufe mittels Sankey-Flussdiagrammen, erlaubt ein schnelles und intuitives Verständnis, von welchem Kompetenzniveau die Schülerinnen und Schüler in der 3. Klasse starten und welches sie schließlich in der 9. Klasse erreichen. Der Effekt von nachgewiesenermaßen einflussreichen, demografischen (Hintergrund-) Merkmalen wie Geschlecht, sprachlichem Hintergrund und sozioökonomischem Status wird dabei gesondert analysiert. Beim Blick auf die generellen Entwicklungsverläufe in den Bereichen Deutsch-Leseverstehen und Mathematik fällt vor allem eine sehr hohe Stabilität der Kompetenzeinstufungen auf: Schülerinnen und Schüler der 3. Klasse, deren Leistungen auf dem (erwartungskonformen) Niveau Socle oder Niveau Avancé liegen, verfügen in der Regel auch 6 Jahre später über hohe Deutsch- bzw. Mathematikkompetenzen. Umgekehrt verbleibt die Mehrheit der Schülerinnen und Schüler mit anfänglich schwachen Leistungen auch später auf einem niedrigen Kompetenzniveau. Bezieht man nun die Teilergebnisse zum Sprachhintergrund mit ein, lässt sich ganz klar folgern, dass die Unterrichtssprache hierfür einen entscheidenden Faktor darstellt: Schülerinnen und Schüler, die Luxemburgisch oder Deutsch als Muttersprache angeben, können sowohl in Deutsch-Leseverstehen als auch in Mathematik eher ein hohes Niveau halten bzw. sich im Laufe ihrer Schulkarriere auf ein solches verbessern. Portugiesischsprachige bzw. frankophone Schülerinnen und Schüler, die im Allgemeinen ohnehin auf einem niedrigeren Kompetenzniveau starten, können sich nur teilweise deutlich verbessern, profitieren aber vom Wechsel der Unterrichtssprache im Secondaire. Die Analysen zeigen darüber hinaus, dass typische Geschlechtsunterschiede, die auf einen Vorteil für Mädchen beim Lesen und einen leichten Vorteil für Jungen in Mathematik hindeuten, schon anfangs der 3. Klasse bestehen, und über die folgenden 6 Jahre weitgehend stabil bleiben. Zusammenfassend bestätigen die Ergebnisse die bereits mehrfach aufgezeigten landestypischen Probleme, erlauben aber eine feinere Aufschlüsselung und zeitliche Verortung der Wechselwirkungen zwischen Unterrichtssprache, sprachlichem und sozioökonomischem Schülerhintergrund, und bilden so die Grundlage für effektivere Interventionen. [less ▲]

MaGrid: A Language-Neutral Early Mathematical Training and Learning Application

in International Journal of Emerging Technologies in Learning (2018), 13(08), 4-18

Given that the use of educational technologies is increasingly popular in kindergarten and among young students, these technologies have been shown to be able to solve the difficulties (existing in school ... [more ▼]

Given that the use of educational technologies is increasingly popular in kindergarten and among young students, these technologies have been shown to be able to solve the difficulties (existing in school) that are either not possible to be solved in traditional schooling or cost a lot of time and resources. In this paper, we present a pedagogical training and learning application called MaGrid (Math on Grid), which has been developed to foster early mathematical skills in pre-schoolers. MaGrid is a tablet-based application, which provides a wide range of training tasks targeting fundamental mathematical concepts for the preschool level. The language-neutral property of MaGrid is an innovative aspect that makes MaGrid different from existing mathematical training applications. This property may reduce the barrier of language from mathematical education for second language learners encountered in multilingual school settings. MaGrid allows individual learning in an interactive way and provides real-time feedback. Moreover, MaGrid is capable of recording students’ activities while working on the training tasks, which can help teachers and parents keep track of a student’s progress in different tasks and observe potential training-related improvements over time. Finally, we describe a series of experiments carried out using the MaGrid application during special training and assessment sessions in several preschools in Luxembourg. [less ▲]

How fairly am I assessing my students? Equipping teachers with a tool to learn about their own assessment practices: Theory and development of the Fairness Barometer.

Scientific Conference (2018, July)

It seems safe to say that the vital question of adequacy, precision, and fairness of grades is as old as the introduction of a grading system to schools and other educational institutions. In recent years ... [more ▼]

It seems safe to say that the vital question of adequacy, precision, and fairness of grades is as old as the introduction of a grading system to schools and other educational institutions. In recent years, however, this topic has attracted a lot of research interest. Particularly in the wake of the No Child Left Behind Act of 2002, teacher accountability and how to measure it have become increasingly important to educational actors and researchers alike (Levy, Keller, Brunner, Fischbach, 2017). Consequently, multiple studies have examined teachers’ diagnostic abilities, especially their accuracy in assessing students’ competencies (e.g. Kaiser, Südkamp, Möller, 2017; Schrader, 2013; Südkamp, Kaiser, Möller, 2012; Tobisch & Dresel, 2017). The present paper complements this view by discussing a newly developed questionnaire that captures whether students themselves feel that they are being assessed in a fair and just way by their teachers: the Fairness Barometer. Capturing three different dimensions of fairness (informational fairness, interpersonal fairness, and procedural fairness), the questionnaire is intended to be administered by teachers who want to learn more about their own assessment practices through student feedback. By exclusively considering strategies and behaviors teachers can change, the Fairness Barometer provides clear guidance for improving current assessment practices; its questions were also carefully selected to avoid provoking unrealistic expectations in students. On the basis of two studies measuring perceived teacher fairness in the subjects Mathematics, English, and German among roughly 600 students, we will discuss the factorial structure of the Fairness Barometer and the relationship between fairness and self-reported grades. Results are promising and show that students of all competency levels are capable of judging their teachers’ assessment practices in a nuanced way. By developing the Fairness Barometer, we hope to equip teachers with a tool that is easy to administer and actually helps them to develop and improve their often criticized diagnostic competencies. [less ▲]

Mit Komplexität umgehen lernen: Welche Vorteile bieten computerbasierte Problemlöseszenarien in der Sensibilisierung für typische Probleme im Verstehen und Steuern komplexer Systeme?

Scientific Conference (2018, April)

Unbestreitbare Herausforderung der heutigen Zeit, ist der Umgang mit zunehmend komplexeren Systemen. Dem regelmäßigen Ruf, die dafür benötigten Fähigkeiten und mentalen Einstellungen bereits in Schule und ... [more ▼]

Unbestreitbare Herausforderung der heutigen Zeit, ist der Umgang mit zunehmend komplexeren Systemen. Dem regelmäßigen Ruf, die dafür benötigten Fähigkeiten und mentalen Einstellungen bereits in Schule und Studium zu trainieren (bspw. Vester, 2012), folgten - wohl auch aufgrund mangelnder Optionen – kaum Konsequenzen. Der vorliegende Beitrag diskutiert nun die Möglichkeit, vereinfachte aber dynamische Problemlöseszenarien mit weniger (System)Variablen und einfacheren (System)Effekten aber dafür hoch reliablen Performanzindizes für Trainingszwecke im Umgang mit Komplexität einzusetzen. Auf Basis dreier studentischer Kohorten eines Kurses zum Themenkomplex Nachhaltigkeit an der Universität Luxemburg (N=97), wurde erstmals evaluiert, welche Lernerfahrungen mit einem solchen Szenario gemacht und möglich werden. Die Ergebnisse zeigen, dass nicht nur zuverlässig verschiedene Problemlösestrategien erfasst werden, sondern das auch zwischen „aktiven“ und „reflektiven“ StudentInnen unterschieden werden kann, welche unterschiedlich erfolgreich mit den Szenarien umgehen. Die diagnostizierten typischen kognitiven Fehler im Umgang mit den Problemen und die dokumentierten Emotionen der StudienteilnehmerInnen zeigen das große (zukünftige) Potenzial dieser Szenarien. [less ▲]

Parcours scolaires et performance mathématique des élèves scolarisés au Luxembourg : Effet du contexte langagier et socio-économiques.

Scientific Conference (2018, January 11)