Adaptive Comparative Judgement in Practice : A case study of the formative use of ACJ in a collaborative open-ended design project between Swedish upper primary schools under authentic classroom conditions
2023
Online
Elektronische Ressource
Digital assessment has the potential to increase equity in the assessment by facilitating a smother collaboration between teachers. It also allows peer assessment between students from different classes or even schools, which allows the students to view a potentially larger and more varied set of examples of the same assignment. In this study, we have examined the potential of using Adaptive Comparative Judgement (ACJ) as a collaborative method of formative assessment of student portfolios created in the open-ended design project: Public Spaces. In the project, the students were given the task of creating an improvement suggestion for a public space from an Agenda 2030 perspective. ACJ has been used with positive results in several similar studies, but many of these have been conducted in more controlled environments with fewer variables. This study, therefore, focuses on examining ACJ from a more practice-based perspective with younger students. The students in the study were taught by their regular teachers who were instructed to plan their lessons according to the teaching material created for Public Spaces within this master thesis, which can be found in appendixes A, B and C. This study was conducted through a collaboration between four upper primary school classes from different municipalities in Sweden. The students and teachers participating in this study completed two ACJ assessment sessions, one in the middle of the project and one at the end. During the assessments, they were also instructed to provide written feedback. When analysing the content of the feedback it became clear that although the majority of the comments could be classified as specific, meaning they clearly specified which area of the assignment the feedback referred to, the feedback was often rather shallow and potentially not very helpful. The students and teachers rarely motivate their feedback, and the students rarely provided clear improvement suggestions. When analysing the reliabili
Digital bedömning har potential att öka likvärdigheten i bedömningen genom att främja ett smidigare samarbete mellan lärare. Den öppnar även upp för kamratbedömning mellan elever från olika klasser och skolor, vilket kan bidra till att eleverna får tillgång till fler och potentiellt mer varierade elevexempel. I denna studie har vi undersökt möjligheten att använda adaptiv komparativ bedömning (ACJ) i formativt syfte vid sambedömning av elevportfolier skapade i det öppna designprojektet: Offentliga Rum. Projektet gick ut på att låta eleverna ta fram ett förbättringsförslag för ett offentligt rum utifrån ett Agenda 2030 perspektiv. ACJ har använts med positiva resultat i flera liknande studier, men många av dessa har utförts i mer kontrollerade miljöer med färre variabler. Denna studie fokuserar därför på att undersöka ACJ ur ett mer praktiknära perspektiv och med yngre elever. Eleverna i denna studie undervisades av sina ordinarie lärare som var instruerade att planera undervisningen enligt ett undervisningsmaterial skapat för Offentliga Rum inom detta mastersarbete, vilket finns tillgängligt i appendix A, B och C. Denna studie utfördes genom ett samarbete mellan fyra mellanstadieskolor från olika kommuner i Sverige. De deltagande lärarna och eleverna genomförde två ACJ bedömningar, en i mitten av projektet och en vid slutet. De var också instruerade att ge skriftlig återkoppling under bedömningarna. Vid analysen av innehållet iåter kopplingen blev det tydligt att trots att majoriteten av kommentarerna kunde klassificeras som specifika, dvs. att de tydligt specificerade vilket område av arbetet som återkopplingen refererade till, var återkopplingen ofta ganska ytlig och potentiellt inte särskilt hjälpsam. Eleverna och lärarna motiverade även sällan sin återkoppling och eleverna gav sällan ett klart förbättringsförslag. Vid analys av reliabiliteten hos portfoliorankingarna från ACJ-bedömningarna fann vi att de var märkbart lägre än i många av de tidigare studierna. De
Titel: |
Adaptive Comparative Judgement in Practice : A case study of the formative use of ACJ in a collaborative open-ended design project between Swedish upper primary schools under authentic classroom conditions
|
---|---|
Link: | |
Veröffentlichung: | 2023 |
Medientyp: | Elektronische Ressource |
Schlagwort: |
|
Sonstiges: |
|