| Головна |
| « Попередня | Наступна » | |
6. Створення тестів різного рівня |
||
|
При створенні тестів успішності навчання слід керуватися найбільш загальними вимогами до них: 1) бути змістовно валідними; 2) бути функціонально валідними; 3) завдання мають бути загальнозрозумілими і містити в явному вигляді питання; 4) бути простими. Вимога змістовної валідності тесту, як вище вже не раз підкреслювалося, полягає в тому, що можна контролювати тільки те знання, якому учень був навчений. Іншими словами, при перевірці знань і вмінь учня можна виходити за межі того змісту, який було повідомлено йому в ході навчального процесу. При існуючих методах суб'єктивного контролю якості знань нерідко можна почути від учня у відповідь на запитання вчителя репліку: «А ми цього не вивчали ...». На що негайно слід категоричне: «Спробуй збагнути (здогадатися)». Такий діалог з великою ймовірністю свід- 128 -е- Bespalkol.qxd 28.02.2008 16:15 Page 12 ^ 0 Лекція № 4. Інструменти діагностики якості знань учнів. Тести чить про порушення учителем змістовної валідності контролю знань учнів. Відбувається це не зі злого наміру вчителя або його бажанням у що б то не стало поставити учня у безвихідь несподіванкою питання. Швидше за все, вчитель просто не помічає, коли він переступає грань між своїм знанням предмета, що дозволяє йому «здогадуватися», і знанням предмета учням, кому такі здогади не по силам. Щоб уникнути помилок змістовної валідності тесту, необхідно зміст навчання представити у вигляді логічної структури або таблиці навчальних елементів, а потім вже будувати тести, зіставляючи пропоновані в них завдання з наявністю у змісті навчання відповідної інформації про тестованих УЕ (властивості об'єктів, сутності явищ, алгоритмах і методах діяльності). Не можу тут не відзначити сущу вакханалію на ліцензійних іспитах в США (лікар, медична сестра, зварювальник, слюсар, інженер і сотні інших), де кожному претенденту на отримання професійної ліцензії (від пекаря до лікаря) доводиться робити багаторазові спроби, щоб, нарешті, подолати екзаменаційний тестовий бар'єр. Екзаменатори не приховують змістовної інвалідності своїх тестових творінь. Нерідко тестування випереджається, приблизно, такими сентенціями, адресованими випробуваному: «Для подолання пропонованих вам тестів вам недостатньо продемонструвати, що ви добре засвоїли те, чому вас вчили в коледжі (інституті, університеті). Вам доведеться продемонструвати своє вміння розбиратися в раніше невідомому вам матеріалі ». Користуючись повним педагогічним невіглаством випробовуваних, екзаменатори замість змістовно валидной проби влаштовують своїм безмовним жертвам справжню екзекуцію, змушуючи їх багато разів втрачати чималі час і гроші на повторні переекзаменування. На мій погляд, іспит змістовно невалідний тестами повинен вважатися кримінальним злочином, і екзаменатори повинні нести за це покарання за всією суворістю закону. Адже карається же лікар за неправильне лікування і вихователь за застосування неприпустимих методів виховання! Такі ж недоліки властиві і відомому тесту англійської мови «TOEFL», який нами докладно розглядається в наступній лекції. Під функціональною валидностью тесту розуміють його відповідність тому рівню діяльності, який тестується. Нижче, 129 Вевра1ко1.дх <З 28.02.2008 16:15 Раді 1К) 130 - В.П. Беспалько. Природосообразном ПЕДАГОГІКА розглядаючи конструювання тестів різного рівня, буде показано, за яких обставин порушується ця вимога до тесту. Про вимогу до завдання тесту бути загальнозрозумілою і однозначним раніше вже неодноразово згадувалося. Це вимога направлена проти таких авторів тестів, які прагнуть створювати завдання тестів з неясними вимогами: «Догадайся, мовляв, сама, що я хочу». Завдання тесту повинно бути «прозоро»! Вимога простоти тесту полягає в тому, що кожен тест повинен складатися тільки з одного завдання даного рівня засвоєння. Важко пояснити чому, але часто спостерігається, ймовірно, неусвідомлене прагнення творця тесту ускладнити його, з'єднуючи кілька завдань в одному тестовому кадрі. У цьому випадку виникає часто непереборна труднощі зрозуміти походження помилки у відповіді учня: незнання предмета, нерозуміння питання або неувага до деталей. Шкільні математика, як і граматика рідної мови користуються сумної славою найбільш важких навчальних предметів. За визнанням одного з керівників проекту ЄДІ, В. Болотова, 20% школярів отримали в 2006 році двійки з математики. Однією з вагомих причин такого сумного явища може бути порушення вимоги простоти тесту. Як це може статися? Припустимо перевіряється знання школярем теореми Піфагора. Якщо це робиться з використанням такого завдання (див. рис. 13), то двійок могло б бути ще більше: «У прямокутній призмі АВСВ - А1 В1 С1В1 ЛВ = АТ = 2; ОС = 2 ^ 3; АА1 = л / 3; АТ _1_ ОС; АС _1_ ВО і підставою перпендикуляра служить точка Е. Довести, що: ББ _1_ А1С; 1) знайти кут між площинами А1ББ і БС1Б; 2) знайти кут між лініями АБ і БС1 ».
Рис. 13 130 Bespalkol.qxd 28.02.2008 16:15 Page 1: KL Лекція № 4. Інструменти діагностики якості знань учнів. Тести -е- У цьому завданні багаторазово використовується формула теореми Піфагора, що саме по собі є грубим порушенням вимоги простоти тесту. Крім того, щоб її застосувати, учню необхідно володіти незвичайною просторовою уявою. А якщо воно у нього дуже середнє, то буде зроблено висновок про його слабкою математичної підготовки, що невірно. Даний тест, таким чином, ще й змістовно інвалідів: з математики переходить в психологію, що вивчає явище просторової уяви людини. Традиційна педагогіка, на жаль, до цих нюансів навчального процесу, часто доленосним для учня, абсолютно нечутлива. Якби перевірка здійснювалася з використанням наступної простої задачі (див. рис. 14), то, найімовірніше, двійки б повністю зникли: «У прямокутному треу- д Гольник ABC: AB = 3; BC = 4. Визначте довжину АС ». Екзаменатори, мабуть, самостверджуються, пропонуючи випробуваним «непрохідні» задачки. З урахуванням названих требо-B IC ваний до тестів перейдемо до пра-Рис. 14 вилам їх конструювання.
-Q- 6.1. Тести першого рівня За визначенням, перший рівень засвоєння - це діяльність по пізнанню раніше вивченої інформації при повторному її сприйнятті. Отже, тести першого рівня повинні пред'являти учню раніше вивчений навчальний матеріал у різних видах для пізнавання. Розрізняють три найбільш типових способу конструювання завдання для тестів першого рівня: впізнання, розрізнення і класифікація (співвіднесення). Найпростіший спосіб - це завдання на впізнання, коли учню необхідно лише підтвердити (так - ні) впізнавання. Ось приклади тестів на впізнання: 1) Завдання (З): Чи є педагогіка наукою про педагогічних системах? Еталон (Е): Так. 131 Bespa1ko1.qxd 28.02.2008 16:15 Page 1 ^ ^ 2 В.П. Беспалько. Природосообразном ПЕДАГОГІКА Кількість суттєвих операцій (р): 1. 2) З: Чи можна сказати, що підручник є технічним засобом навчання? Е: Можна. Р: 1. 3) З: Чи є формула КТ = Тпр / Хмар коефіцієнтом засвоєння? Е: Ні. Р: 1. Зауважте: У цьому тесті напрошується продовження: «Що означає ця формула?» Включення цього продовження в тест негайно порушить його функціональну валідність (продовження перетворює тест в другий рівень) і проігнорує вимогу простоти тесту - з'являється друга задача. 4) З: Чи можна за результатами тестування на першому рівні судити про якість засвоєння діяльності на другому рівні? Е: Можна. Р: 1. Легко встановити змістовну і функціональну ва-інвалідність цих тестів: вони побудовані на викладеному вище матеріалі, значить, змістовно валидни. Діяльність по їх вирішенню є впізнаванням раніше вивченого матеріалу, тобто діяльністю першого рівня. Тести супроводжуються еталоном, і в них вказано число суттєвих операцій. Чи не будуть змістовно валидни наступні тести, побудовані на такому матеріалі: 1) Чи може учень самостійно подолати складний тест? 2) Чи може учень самостійно подолати важкий тест? Чи не буде функціонально валиден першому рівню і наступний тест, оскільки для його дозволу потрібно застосувати діяльність більш високого рівня: Чи засвоїв учень предмет, якщо в батареї тестів з 22 істотними операціями він допустив 6 помилок? У цьому тесті нема чого пізнавати. Щоб отримати відповідь на поставлене питання, треба виконати кілька проміжних дій і за їх результату дати відповідь. За умовами ж діяльності на першому рівні, впізнавання відповіді має статися з місця і відразу, оскільки відповідь повинна міститися в готовому 132 ВеБра1ко1.дхсС 28.02.2008 16: 15 Раді Лекція № 4. Інструменти діагностики якості знань учнів. Тести вигляді в самому завданні. Цей тест функціонально не валиден тесту першого рівня. Тести, схожі на вигляд на тести впізнання, але змістовно або функціонально не валідниє їм, називають псевдо-тестами на впізнання. Тести розрізнення також є тестами першого рівня. У них потрібно виконати багаторазове дію впізнання. Ось приклад тесту на розрізнення: З. а) Ка = п / р, б) КР = п / р; в) Кт = Тпр / Хмар; г) Кя = а / Ь. Еталон цього тесту при його пред'явленні у вигляді «папір - олівець»: Е. а) + б) - в) - г) -. Р = 4. При використанні комп'ютера для тестування: Е. а) + Р = 1. У тестах на розрізнення слід враховувати метод пред'явлення тесту учню: паперовий чи це варіант або машинний. При паперовому варіанті пред'явлення тесту студенту зазвичай видається сторінка з написаними на ній тестами і таблиця (матриця), в якій він заштриховуєш клітини, відповідні правильним відповідям. Потім на таблицю накладається спеціальний шаблон з отворами, в яких будуть видні клітини, що підлягають штрихування. Підрахувавши число заштрихованих клітин, знаходять число правильних відповідей - «п». Якщо в цьому варіанті роботи з тестом вважати істотними операціями тесту на розрізнення тільки правильні вибори, то можливе спотворення оцінки знань учнів. Перший варіант спотворення вийде, якщо учень, крім правильного квадрата, заштрихував ще й неправильний і його помилка ніяк не враховується. Можливий і другий варіант, знайдений самими учнями: заштриховуєш всі квадрати, і учень отримує вищий бал. Щоб уникнути помилки оцінювання в паперовому варіанті тесту, всі його альтернативи слід вважати істотними операціями тіста і учню вказується, що при заповненні матриці слід плюсом (+) відзначати правильні відповіді і мінусом (-) неправильні. Кількістю істотних операцій в тесті (р) є сума всіх альтернатив. 133 Bespa1ko1.qxd 28.02.2008 16:15 Page 1 ^ ^ 4 В.П. Беспалько. Природосообразном ПЕДАГОГІКА При машинному тестуванні істотної операцією вважається вибір правильної відповіді, оскільки після будь-якого вибору, правильного чи неправильного, екзаменатор відключається. Загальне число суттєвих операцій в батареї тестів (р) в цьому випадку дорівнює сумі всіх правильних відповідей в батареї тестів. Ось ще приклад тесту на розрізнення: З. Що є предметом педагогічної науки: а) процес виховання підростаючих поколінь; б) процеси, що відбуваються в голові людини при навчанні ; в) система взаємодії вчителя і учня; г) педагогічна система; д) освітня система; Е. (паперовий): а) -; б) -; в) -; г) +; д) -. Р = 5. Е. (машинний): г) +. Р = 1. При створенні тестів розрізнення також можливі помилки, що ведуть до конструювання псевдо-тестів першого рівня. Наприклад: З. Який коефіцієнт засвоєння знань учням, якщо в батареї тестів з 22 істотними операціями він допустив 6 помилок? А) 3/11, б) 11/3, в) 8/11, р) 11/8. Поясніть, чи засвоїв учень предмет? Цей тест, крім своєї функціональної «інвалідності» першого рівня засвоєння, ще й не є простим тестом: у ньому містяться два завдання другого рівня. Псевдо-тестами першого рівня упереміш з функціонально валідними тестами першого рівня рясніють всі без винятку тестові збірки на сьогоднішньому тестовому ринку. Все б нічого, але ніяких коректних суджень ні про знаннях учнів, ні про якість процесу навчання за таким тестам винести не можна, а отже, не можна і приймати правильні рішення про необхідні напрями вдосконалення педагогічних систем. Тести класифікації (зіставлення) Їх зміст зрозумілий з наведеного нижче прикладу тесту зіставлення (класифікації): З. Вкажіть відповідність понять і їх позначень: 134 ВеБра1ко1.дхс1 28.02.2008 16:15 Раді 1И5 Лекція № 4. Інструменти діагностики якості знань учнів. Тести 1) рівень засвоєння; а) К, 2) число УЕ, б) \ | /, 3) ступінь освоєння; в) а, 4) усвідомленість. г) т. Е. 1 - в; 2 - а, 3 - г; 4 - б. Р = 4. Діяльність учня в тестах класифікації є багаторазовим впізнаванням, і число суттєвих операцій дорівнює числу відповідностей, які треба розпізнати. Більш ретельний аналіз діяльності учня покаже, що насправді він виконуємо набагато більше сканувань завдання тесту, ніж ми вважаємо в ньому операцій. Останнє, однак, багато простіше і виразніше для судження, і ми приймаємо число суттєвих операцій дорівнює кількості відповідностей. Деякі автори тестів класифікації додають в одну з колонок надлишкову альтернативу, яку ні з чим порівнювати. Ця альтернатива нічого не змінює в структурі діяльності учня, але іноді викликає подив учня і штучно провокує його на помилку. Мабуть, подібне прагнення заплутати учня - це наслідок недостатньої педагогічної етики укладача тестів.
|
||
| « Попередня | Наступна » | |
|
|
||
Інформація, релевантна "6. Створення тестів різного рівня" |
||
|
||