| المستخلص: |
هدفت الدراسة إلى تقصي أثر استخدام بيانات التغذية الراجعة وخبرة المحكم في تقدير درجة القطع وممارسات المحكمين وفق طريقة أنجوف المعدلة. ولتحقيق هدف الدراسة قامت الباحثة ببناء اختبار تحصيلي في مادة العلوم للصف الأول الإعدادي وتدريجه وفق نموذج راش، وبناء استبيان حول الممارسات العملية التي يقوم بها المحكمون خلال عملية تقدير درجة القطع، والعوامل المؤثرة في قراراتهم عند استخدام طريقة (نعم/ لا) لأنجوف. وشملت عينة الدراسة خمسة عشر محكما لدرجات القطع من المعلمين وأعضاء هيئة التدريس. تم عقد ورشة لتقدير درجات القطع لتصنيف الطلاب على اختبار العلوم إلى أربعة مستويات (متعثر- نام- مرض- متقدم) من خلال جولتي تحكيم يزود المحكمون بينهما بثلاثة أنواع للتغذية الراجعة متمثلة في: البيانات الجماعية، وبيانات الأثر، والبيانات الواقعية/ التجريبية. وتمثلت أهم النتائج في: -انخفاض قيم وسيط درجات القطع لمستويات الأداء "نام- مرض- متقدم" النهائية لأعضاء هيئة التدريس عن مثيلاتها بالنسبة للمعلمين. مع اتساق تقديرات المحكمين من المعلمين وأعضاء هيئة التدريس لكافة مستويات الأداء في كل من جولتي التحكيم. -عدم وجود فروق دالة إحصائيا في تقديرات درجة القطع لمستويات الأداء (نام- مرض- متقدم) في جولتي التحكيم الأولى والثانية ترجع لخبرة المحكم. -انخفاض تقديرات درجة القطع في الجولة الثانية عنها في الجولة الأولى بشكل دال إحصائيا لكافة مستويات الأداء (نام- مرض- متقدم) بالنسبة لعينة المعلمين، والعينة ككل وكذلك بالنسبة لمستوى (نام- متقدم) بالنسبة لأعضاء هيئة التدريس؛ في حين لم ترق الفروق في هذه التقديرات لمستوى "مرض" بالنسبة لأعضاء هيئة التدريس إلى حد الدلالة الإحصائية. -جاءت مراجعة المواصفات الخاصة والعامة لمستويات الأداء أكثر الممارسات التي اعتمد عليها المحكمون في اتخاذ قراراتهم النهائية لتقدير المفردات في الجولتين الأولى والثانية. وأثرت مجموعة من العوامل بدرجة كبيرة في قرارات المحكمين من أعضاء هيئة التدريس والمعلمين في الجولة الثانية، وتمثلت هذه العوامل في: مفهوم الطالب ذي الحد الأدنى من الأداء، والمناقشة بين الجولات والخبرة المهنية، وقيمة معامل الصعوبة والتوزيع التكراري لدرجات الطلاب، والتحليل البياني للمفردات، بينما جاءت درجة القطع بالنسبة للمحكمين الآخرين أقل العوامل تأثيرا في قرارات المعلمين وأعضاء هيئة التدريس.
The study aimed to study the effect of the feedback data and the judges’ experience in estimating cut scores and the judges' practices according to modified Angoff method. In order to achieve the objective of the study, the researcher built an academic achievement test in the science and calibrated using Rasch Model. A questionnaire also constructed on the practical practices of the judges while estimating cut scores and the factors affecting their decision when using the (yes/ no) method of Angoff. The sample consisted of fifteen, judges (teachers and faculty). A workshop was held to estimate the cut scores to classify students into four levels (stumbling-growing-satisfactory-advanced) through two rounds of judging providing the judges with three types of feedback data: Normative data. Impact data and Empirical data. The most important finding were: -The median of the final cuts cores estimated by teachers were less than cut scores estimated by faculty. Consistency was found within each group across the rounds. -There are no statistically significant differences in the estimation of cut scores (growing-satisfactory-advanced) in the first and second rounds due to judges’ experience. -The estimates of the cut scores in the second round were statistically significant less than in the first round for all levels of performance (growing satisfactory-advanced) on teachers’ sample and the overall sample. The estimates of the cut scores in the second round were not statistically significant less than in the first round for the levels of performance (growing-advanced) on faculty’s sample. -Review of the specific and general descriptors of performance levels were the most common practice on which judges relied on their final decisions to judge the items in the first and second rounds. - A number of factors influenced the decisions of the faculty and teachers in the second round. These factors were the concept of the minimally qualified student, discussion Between rounds, professional experience, difficulty coefficients, the frequency distribution of the students' grades, and Graphical of Item Analysis. While the score for other judges was the least influential factor in the decisions of teachers and faculty members in the second round. -The judges of faculty and teachers relied on the graphical analysis of items, the items difficulty, and the frequency distribution of students' scores on performance levels in the light of the estimated cut scores in the revision of their items estimates.
|
