Perguntas de Escolha Múltipla: dificuldades dos professores na sua construção e impacto no desempenho dos alunos

Introdução: As perguntas de escolha múltipla (PEM) são um método de avaliação de conhecimentos extremamente disseminado e popular. No Mestrado Integrado em Medicina (MIM) da FCS-UBI, uma grande parte destas avaliações é feita através de PEM. Contudo, há entre os alunos descontentamento com a sua qualidade. Por outro lado, da parte dos docentes existem várias limitações que prejudicam uma boa construção de PEM (sobretudo tempo e necessidade de redigir uma grande quantidade de perguntas). Assim sendo, os principais objetivos deste trabalho foram perceber a perceção que os docentes têm sobre erros presentes nas PEM e o impacto negativo que os alunos atribuem a esses mesmos erros. Material e Métodos: Foram aplicados a alunos de todos os anos e aos docentes de MIM questionários desenvolvidos pelos autores deste estudo, tendo por base os critérios definidos na literatura para a construção de PEM de qualidade. Foi depois realizada análise estatística (análise de consistência interna dos questionários, estatística descritiva e teste U de Mann-Whitney), tendo sido considerados como estatisticamente significativos valores de p<0.05. Resultados e Discussão: Dos 945 alunos matriculados em MIM, 728 responderam ao questionário (77,0%). Do lado dos docentes, dos 130 utilizadores da plataforma de submissão de perguntas, obtiveram-se 25 respostas (19,2%). Os alunos afirmaram que o não cumprimento de 14 dos 15 critérios enunciados nos questionários tem impacto negativo nas suas classificações, estando os principais relacionados com o desacordo das perguntas com os objetivos de aprendizagem e com formulações confusas/ambíguas. O critério que os estudantes consideraram ter menos impacto no seu desempenho foi “Pergunta baseada em casos clínicos ou num problema”. Verificou-se também que os alunos souberam tirar partido de erros/brechas de construção para acertarem em questões sobre as quais não têm conhecimentos, exceto quando essas pistas são fornecidas por convergência. Já os docentes afirmaram não ter dificuldade em respeitar 17 dos 19 critérios enunciados, tendo sido evidenciada maior facilidade em preparar perguntas que avaliam memorização do que perguntas que avaliam raciocínio e resolução de problemas. Este é, inclusive, uma das maiores dificuldades dos docentes, a par da construção de perguntas que não estejam na negativa. Em relação à capacidade de identificarem erros de construção nas PEM, os resultados indicam maior dificuldade em identificar distratores imprecisos/não rigorosamente incorretos e formulações desnecessariamente complicadas e capazes de induzir os alunos em erro. Por outro lado, indicam também mais facilidade em identificar perguntas construídas na negativa ou com duplas negações, além de pistas/brechas de construção capazes de sugerir a resposta correta. Conclusão: Os alunos consideram que perguntas com erros têm um impacto considerável nos seus resultados académicos. Por outro lado, os docentes manifestam relativa facilidade em cumprir a grande maioria das guidelines para a construção de PEM. Ainda assim, algumas das dificuldades manifestadas pelos docentes coincidem não só com alguns dos fatores aos quais os alunos atribuem mais impacto negativo, mas também com fatores dos quais os alunos se aproveitam para responderem a PEM sem terem conhecimentos para isso. Isto exige, portanto, uma reflexão sobre estes fatores em particular – como evitar escrever perguntas com estas falhas, como reconhecer estas falhas nas perguntas já existentes, como tornar as avaliações mais justas e fiáveis tendo em conta que eliminar totalmente as falhas é impossível.

Introduction: Multiple choice questions (MCQ) are an extremely popular method for knowledge assessments. At FCS-UBI’s medical course, most of these assessments are carried out using MCQ. However, students quite often complain about their quality. On the other hand, teachers who write these questions are limited by several factors (mostly the lack of time and the need to write a considerable amount of questions). Therefore, the aim of this work was to evaluate teacher’s perception about flaws in MCQ and the negative impact that students attribute to them. Material and Methods: The authors of this work developed questionnaires based on published criteria on how to write good quality MCQ. These were then given to students from every year and medical teachers. Then, a statistical analysis was conducted (analysis of internal consistency of the applied questionnaires, descriptive statistics and Mann-Whitney U test). P values<0.05 were considered as statistically significant. Results and Discussion: Of the total 945 students enrolled in the medical course, 728 replied to the questionnaire (77,0%). Of the 130 teachers that use the MCQ submission platform, 25 replied to the questionnaire (19,2%). Students stated that 14 out of the 15 available criteria, when not satisfied, have a considerable negative impact on their responses to MCQ, the more problematic ones being related to discrepancy between content of questions and learning objectives, and ambiguous/confused formulation. The criterion students stated that has less negative impact on their performance is “Question based on clinical vignettes or a problem”. It was also verified that students can take advantage from flaws in MCQ to correctly answer them even if they don’t have the necessary knowledge to do so, except when those flaws are related to word convergence. As for teachers, they claimed no difficulties respecting 17 of the 19 stated criteria. They found easier writing memorization questions than logic and clinical problem questions. This is also one of teacher’s biggest difficulties, just like writing non-negative phrased questions. Regarding their capability to identify flaws in MCQ, teachers had more trouble identifying imprecise/non strictly incorrect distracters and unnecessarily complicated formulations that induce students in error. On the other side, they identified negatively phrased questions, double negatives and clues that may suggest the correct answer with more ease. Conclusion: Students considered that flawed questions have a considerably negative effect on their performances. On the other side, teachers showed relative ease in fulfilling the majority of criteria. Nevertheless, some of teachers’ biggest difficulties match not only with some of the factors which students attribute more negative impact, but also with factors that students use to take unfair advantage of to answer to questions. That demands a reflection about those particular factors – how to avoid them, how to recognize them in pre-existing questions and how to make fairer and more reliable assessments, bearing in mind that writing totally unflawed questions is impossible.