Auswirkungen angeleiteter Itemanalysebesprechungen mit Dozierenden auf die Qualität von Multiple Choice Prüfungen [Effect of structured feedback to teachers on the quality of multiple choice examinations]

dc.creator	Beyeler, Christine
dc.creator	Rogausch, Anja
dc.creator	Krebs, René
dc.creator	Kropf, Roger
dc.date	2010-05-01T00:00:00Z
dc.date.accessioned	2015-07-20T22:10:57Z
dc.date.available	2015-07-20T22:10:57Z
dc.identifier	10.3205/zma000683
dc.identifier	1860-7446
dc.identifier	1860-3572
dc.identifier	https://doaj.org/article/e2385b0343da4163b59a442b203e3bfc
dc.identifier.uri	http://evidence.thinkportal.org/handle/123456789/14048
dc.description	[english] Background: In order to allow a meaningful interpretation of multiple choice (MC) assessment data, MC examinations have to be highly valid on the one hand and represent a reliable measure on the other. The aim of this study was to evaluate the effect of structured feedback given to teachers by assessment experts on the validity and reliability of subsequent MC examinations. Methods: This feedback was introduced in the 3rd year of undergraduate medical training at the University of Zurich in 2007 and applied to nearly all teachers. Various validity and reliability criteria (relevance of content, taxonomic level, psychometric characteristics) of all end-of-term examinations one year before and one year after this intervention were compared. Other factors such as objectivity and representativeness were kept constant. Results: After the introduction of structured feedback the multiple choice questions revealed a trend toward higher relevance. Taxonomic levels remained unchanged. However, selectivity and reliability coefficients increased significantly and the number of items eliminated from examination scoring due to insufficient psychometric properties decreased. Conclusion: Structured feedback by assessment experts to teachers is a valuable tool for quality improvement of MC examinations, in particular regarding reliability. <br>[german] Hintergrund: Damit Multiple Choice Prüfungen über die reinen Prüfungsergebnisse hinausgehende Schlussfolgerungen zulassen, müssen sie für die jeweiligen Interpretationsabsichten inhaltlich gültig sein und hinreichend zuverlässig messen. Die vorliegende Studie geht der Frage nach, ob von Prüfungsexperten mit Dozierenden geführte Itemanalysebesprechungen eine Steigerung der Validität und Reliabilität nachfolgender Prüfungen bewirken. Methoden: Diese Itemanalysebesprechungen wurden im dritten Studienjahr Humanmedizin an der Universität Zürich 2007 erstmalig flächendeckend eingeführt. Um deren Einfluss auf spätere Prüfungen zu untersuchen, wurden die Semesterabschlussprüfungen vor und nach dieser Intervention hinsichtlich verschiedener Validitäts- und Reliabilitätskriterien (inhaltliche Relevanz, taxonomische Stufe, psychometrische Kennwerte) miteinander verglichen. Andere Bedingungen wie beispielsweise Objektivität und inhaltliche Repräsentativität wurden konstant gehalten. Ergebnisse: Nach Einführung der Itemanalysebesprechungen wiesen die Prüfungsfragen einen Trend zu höherer Relevanz auf. Die taxonomische Einstufung blieb unverändert. Hingegen stiegen sowohl die Trennschärfen als auch die Reliabilitätskoeffizienten signifikant an und es mussten weniger Prüfungsfragen wegen ungünstiger psychometrischer Eigenschaften aus der Prüfungsbewertung eliminiert werden. Schlussfolgerung: Von Prüfungsexperten angeleitete Itemanalysebesprechungen mit Dozierenden stellen ein wertvolles Instrument zur Qualitätsverbesserung von Multiple Choice Prüfungen insbesondere hinsichtlich der Reliabilität dar.
dc.publisher	German Medical Science GMS Publishing House
dc.relation	http://www.egms.de/static/en/journals/zma/2010-27/zma000683.shtml
dc.relation	https://doaj.org/toc/1860-7446
dc.relation	https://doaj.org/toc/1860-3572
dc.rights	CC BY-NC-ND
dc.source	GMS Zeitschrift für Medizinische Ausbildung, Vol 27, Iss 3, p Doc46 (2010)
dc.subject	educational measurement
dc.subject	faculty development
dc.subject	continuous quality management
dc.subject	MCQ
dc.subject	assessment
dc.subject	Messmethoden in der Lehre
dc.subject	Fakultätsentwicklung in der Medizin
dc.subject	kontinuierliches Qualitätsmanagement
dc.subject	MCQ
dc.subject	Assessment
dc.subject	Special aspects of education
dc.subject	LC8-6691
dc.subject	Education
dc.subject	L
dc.subject	DOAJ:Education
dc.subject	DOAJ:Social Sciences
dc.subject	Special aspects of education
dc.subject	LC8-6691
dc.subject	Education
dc.subject	L
dc.subject	DOAJ:Education
dc.subject	DOAJ:Social Sciences
dc.subject	Special aspects of education
dc.subject	LC8-6691
dc.subject	Education
dc.subject	L
dc.subject	Special aspects of education
dc.subject	LC8-6691
dc.subject	Education
dc.subject	L
dc.subject	Education
dc.subject	L
dc.subject	Special aspects of education
dc.subject	LC8-6691
dc.title	Auswirkungen angeleiteter Itemanalysebesprechungen mit Dozierenden auf die Qualität von Multiple Choice Prüfungen [Effect of structured feedback to teachers on the quality of multiple choice examinations]
dc.type	article