Головна
ГоловнаНавчальний процесЗагальна педагогіка → 
« Попередня Наступна »
Беспалько В.П.. Природосообразно педагогіка. М.: Народна освіта, 512 с., 2008 - перейти до змісту підручника

6. Створення тестів різного рівня

При створенні тестів успішності навчання слід керуватися найбільш загальними вимогами до них:

1) бути змістовно валідними;

2) бути функціонально валідними;

3) завдання мають бути загальнозрозумілими і містити в явному вигляді питання;

4) бути простими.

Вимога змістовної валідності тесту, як вище вже не раз підкреслювалося, полягає в тому, що можна контролювати тільки те знання, якому учень був навчений. Іншими словами, при перевірці знань і вмінь учня можна виходити за межі того змісту, який було повідомлено йому в ході навчального процесу. При існуючих методах суб'єктивного контролю якості знань нерідко можна почути від учня у відповідь на запитання вчителя репліку: «А ми цього не вивчали ...». На що негайно слід категоричне: «Спробуй збагнути (здогадатися)». Такий діалог з великою ймовірністю свід-

128

-е-

Bespalkol.qxd 28.02.2008 16:15 Page 12 ^ 0

Лекція № 4. Інструменти діагностики якості знань учнів. Тести

чить про порушення учителем змістовної валідності контролю знань учнів. Відбувається це не зі злого наміру вчителя або його бажанням у що б то не стало поставити учня у безвихідь несподіванкою питання. Швидше за все, вчитель просто не помічає, коли він переступає грань між своїм знанням предмета, що дозволяє йому «здогадуватися», і знанням предмета учням, кому такі здогади не по силам. Щоб уникнути помилок змістовної валідності тесту, необхідно зміст навчання представити у вигляді логічної структури або таблиці навчальних елементів, а потім вже будувати тести, зіставляючи пропоновані в них завдання з наявністю у змісті навчання відповідної інформації про тестованих УЕ (властивості об'єктів, сутності явищ, алгоритмах і методах діяльності).

Не можу тут не відзначити сущу вакханалію на ліцензійних іспитах в США (лікар, медична сестра, зварювальник, слюсар, інженер і сотні інших), де кожному претенденту на отримання професійної ліцензії (від пекаря до лікаря) доводиться робити багаторазові спроби, щоб, нарешті, подолати екзаменаційний тестовий бар'єр. Екзаменатори не приховують змістовної інвалідності своїх тестових творінь. Нерідко тестування випереджається, приблизно, такими сентенціями, адресованими випробуваному: «Для подолання пропонованих вам тестів вам недостатньо продемонструвати, що ви добре засвоїли те, чому вас вчили в коледжі (інституті, університеті). Вам доведеться продемонструвати своє вміння розбиратися в раніше невідомому вам матеріалі ». Користуючись повним педагогічним невіглаством випробовуваних, екзаменатори замість змістовно валидной проби влаштовують своїм безмовним жертвам справжню екзекуцію, змушуючи їх багато разів втрачати чималі час і гроші на повторні переекзаменування. На мій погляд, іспит змістовно невалідний тестами повинен вважатися кримінальним злочином, і екзаменатори повинні нести за це покарання за всією суворістю закону. Адже карається же лікар за неправильне лікування і вихователь за застосування неприпустимих методів виховання! Такі ж недоліки властиві і відомому тесту англійської мови «TOEFL», який нами докладно розглядається в наступній лекції.

Під функціональною валидностью тесту розуміють його відповідність тому рівню діяльності, який тестується. Нижче,

129

Вевра1ко1.дх <З 28.02.2008 16:15 Раді 1К)

130 -

В.П. Беспалько. Природосообразном ПЕДАГОГІКА

розглядаючи конструювання тестів різного рівня, буде показано, за яких обставин порушується ця вимога

до тесту.

Про вимогу до завдання тесту бути загальнозрозумілою і однозначним раніше вже неодноразово згадувалося. Це вимога направлена ??проти таких авторів тестів, які прагнуть створювати завдання тестів з неясними вимогами: «Догадайся, мовляв, сама, що я хочу». Завдання тесту повинно бути «прозоро»!

Вимога простоти тесту полягає в тому, що кожен тест повинен складатися тільки з одного завдання даного рівня засвоєння. Важко пояснити чому, але часто спостерігається, ймовірно, неусвідомлене прагнення творця тесту ускладнити його, з'єднуючи кілька завдань в одному тестовому кадрі. У цьому випадку виникає часто непереборна труднощі зрозуміти походження помилки у відповіді учня: незнання предмета, нерозуміння питання або неувага до деталей.

Шкільні математика, як і граматика рідної мови користуються сумної славою найбільш важких навчальних предметів. За визнанням одного з керівників проекту ЄДІ, В. Болотова, 20% школярів отримали в 2006 році двійки з математики. Однією з вагомих причин такого сумного явища може бути порушення вимоги простоти тесту. Як це може статися? Припустимо перевіряється знання школярем теореми Піфагора.

Якщо це робиться з використанням такого завдання (див. рис. 13), то двійок могло б бути ще більше: «У прямокутній призмі АВСВ - А1 В1 С1В1

ЛВ = АТ = 2;

ОС = 2 ^ 3;

АА1 = л / 3;

АТ _1_ ОС; АС _1_ ВО і підставою перпендикуляра служить точка Е.

Довести, що: ББ _1_ А1С;

1) знайти кут між площинами А1ББ і БС1Б;

2) знайти кут між лініями АБ і БС1 ».

Рис. 13

130

Bespalkol.qxd 28.02.2008 16:15 Page 1: KL

Лекція № 4. Інструменти діагностики якості знань учнів. Тести

-е-

У цьому завданні багаторазово використовується формула теореми Піфагора, що саме по собі є грубим порушенням вимоги простоти тесту. Крім того, щоб її застосувати, учню необхідно володіти незвичайною просторовою уявою. А якщо воно у нього дуже середнє, то буде зроблено висновок про його слабкою математичної підготовки, що невірно. Даний тест, таким чином, ще й змістовно інвалідів: з математики переходить в психологію, що вивчає явище просторової уяви людини. Традиційна педагогіка, на жаль, до цих нюансів навчального процесу, часто доленосним для учня, абсолютно нечутлива.

Якби перевірка здійснювалася з використанням наступної простої задачі (див. рис. 14), то, найімовірніше, двійки б повністю зникли:

«У прямокутному треу- д Гольник ABC: AB = 3; BC = 4.

Визначте довжину АС ».

Екзаменатори, мабуть, самостверджуються, пропонуючи випробуваним «непрохідні» задачки.

З урахуванням названих требо-B IC

ваний до тестів перейдемо до пра-Рис. 14

вилам їх конструювання.

-Q-

6.1. Тести першого рівня

За визначенням, перший рівень засвоєння - це діяльність по пізнанню раніше вивченої інформації при повторному її сприйнятті. Отже, тести першого рівня повинні пред'являти учню раніше вивчений навчальний матеріал у різних видах для пізнавання. Розрізняють три найбільш типових способу конструювання завдання для тестів першого рівня: впізнання, розрізнення і класифікація (співвіднесення).

Найпростіший спосіб - це завдання на впізнання, коли учню необхідно лише підтвердити (так - ні) впізнавання. Ось приклади тестів на впізнання:

1) Завдання (З): Чи є педагогіка наукою про педагогічних системах?

Еталон (Е): Так.

131

Bespa1ko1.qxd 28.02.2008 16:15 Page 1 ^ ^ 2

В.П. Беспалько. Природосообразном ПЕДАГОГІКА

Кількість суттєвих операцій (р): 1.

2) З: Чи можна сказати, що підручник є технічним засобом навчання?

Е: Можна. Р: 1.

3) З: Чи є формула КТ = Тпр / Хмар коефіцієнтом засвоєння?

Е: Ні. Р: 1.

Зауважте: У цьому тесті напрошується продовження: «Що означає ця формула?» Включення цього продовження в тест негайно порушить його функціональну валідність (продовження перетворює тест в другий рівень) і проігнорує вимогу простоти тесту - з'являється друга задача.

4) З: Чи можна за результатами тестування на першому рівні судити про якість засвоєння діяльності на другому рівні?

Е: Можна. Р: 1.

Легко встановити змістовну і функціональну ва-інвалідність цих тестів: вони побудовані на викладеному вище матеріалі, значить, змістовно валидни. Діяльність по їх вирішенню є впізнаванням раніше вивченого матеріалу, тобто діяльністю першого рівня. Тести супроводжуються еталоном, і в них вказано число суттєвих операцій.

Чи не будуть змістовно валидни наступні тести, побудовані на такому матеріалі:

1) Чи може учень самостійно подолати складний тест?

2) Чи може учень самостійно подолати важкий тест?

Чи не буде функціонально валиден першому рівню і наступний тест, оскільки для його дозволу потрібно застосувати діяльність більш високого рівня:

Чи засвоїв учень предмет, якщо в батареї тестів з 22 істотними операціями він допустив 6 помилок?

У цьому тесті нема чого пізнавати. Щоб отримати відповідь на поставлене питання, треба виконати кілька проміжних дій і за їх результату дати відповідь. За умовами ж діяльності на першому рівні, впізнавання відповіді має статися з місця і відразу, оскільки відповідь повинна міститися в готовому

132

ВеБра1ко1.дхсС 28.02.2008 16: 15 Раді

Лекція № 4. Інструменти діагностики якості знань учнів. Тести

вигляді в самому завданні. Цей тест функціонально не валиден тесту першого рівня.

Тести, схожі на вигляд на тести впізнання, але змістовно або функціонально не валідниє їм, називають псевдо-тестами на впізнання.

Тести розрізнення також є тестами першого рівня. У них потрібно виконати багаторазове дію впізнання. Ось приклад тесту на розрізнення:

З.

Вкажіть, за якою формулою обчислюється коефіцієнт засвоєння:

а) Ка = п / р, б) КР = п / р; в) Кт = Тпр / Хмар; г) Кя = а / Ь.

Еталон цього тесту при його пред'явленні у вигляді «папір - олівець»:

Е. а) + б) - в) - г) -. Р = 4.

При використанні комп'ютера для тестування: Е. а) + Р = 1.

У тестах на розрізнення слід враховувати метод пред'явлення тесту учню: паперовий чи це варіант або машинний. При паперовому варіанті пред'явлення тесту студенту зазвичай видається сторінка з написаними на ній тестами і таблиця (матриця), в якій він заштриховуєш клітини, відповідні правильним відповідям. Потім на таблицю накладається спеціальний шаблон з отворами, в яких будуть видні клітини, що підлягають штрихування. Підрахувавши число заштрихованих клітин, знаходять число правильних відповідей - «п». Якщо в цьому варіанті роботи з тестом вважати істотними операціями тесту на розрізнення тільки правильні вибори, то можливе спотворення оцінки знань учнів. Перший варіант спотворення вийде, якщо учень, крім правильного квадрата, заштрихував ще й неправильний і його помилка ніяк не враховується. Можливий і другий варіант, знайдений самими учнями: заштриховуєш всі квадрати, і учень отримує вищий бал. Щоб уникнути помилки оцінювання в паперовому варіанті тесту, всі його альтернативи слід вважати істотними операціями тіста і учню вказується, що при заповненні матриці слід плюсом (+) відзначати правильні відповіді і мінусом (-) неправильні. Кількістю істотних операцій в тесті (р) є сума всіх альтернатив.

133

Bespa1ko1.qxd 28.02.2008 16:15 Page 1 ^ ^ 4

В.П. Беспалько. Природосообразном ПЕДАГОГІКА

При машинному тестуванні істотної операцією вважається вибір правильної відповіді, оскільки після будь-якого вибору, правильного чи неправильного, екзаменатор відключається. Загальне число суттєвих операцій в батареї тестів (р) в цьому випадку дорівнює сумі всіх правильних відповідей в батареї тестів. Ось ще приклад тесту на розрізнення: З. Що є предметом педагогічної науки:

а) процес виховання підростаючих поколінь;

б) процеси, що відбуваються в голові людини при навчанні ;

в) система взаємодії вчителя і учня;

г) педагогічна система;

д) освітня система;

Е. (паперовий): а) -; б) -; в) -; г) +; д) -. Р = 5.

Е. (машинний): г) +. Р = 1.

При створенні тестів розрізнення також можливі помилки, що ведуть до конструювання псевдо-тестів першого рівня. Наприклад:

З. Який коефіцієнт засвоєння знань учням, якщо в батареї тестів з 22 істотними операціями він допустив 6 помилок?

А) 3/11, б) 11/3, в) 8/11, р) 11/8.

Поясніть, чи засвоїв учень предмет?

Цей тест, крім своєї функціональної «інвалідності» першого рівня засвоєння, ще й не є простим тестом: у ньому містяться два завдання другого рівня. Псевдо-тестами першого рівня упереміш з функціонально валідними тестами першого рівня рясніють всі без винятку тестові збірки на сьогоднішньому тестовому ринку. Все б нічого, але ніяких коректних суджень ні про знаннях учнів, ні про якість процесу навчання за таким тестам винести не можна, а отже, не можна і приймати правильні рішення про необхідні напрями вдосконалення педагогічних систем.

 Тести класифікації (зіставлення) 

 Їх зміст зрозумілий з наведеного нижче прикладу тесту зіставлення (класифікації): 

 З. Вкажіть відповідність понять і їх позначень: 

 134 

 ВеБра1ко1.дхс1 28.02.2008 16:15 Раді 1И5 

 Лекція № 4. Інструменти діагностики якості знань учнів. Тести 

 1) рівень засвоєння; а) К, 

 2) число УЕ, б) \ | /, 

 3) ступінь освоєння; в) а, 

 4) усвідомленість. г) т. Е. 1 - в; 2 - а, 3 - г; 4 - б. 

 Р = 4. 

 Діяльність учня в тестах класифікації є багаторазовим впізнаванням, і число суттєвих операцій дорівнює числу відповідностей, які треба розпізнати. Більш ретельний аналіз діяльності учня покаже, що насправді він виконуємо набагато більше сканувань завдання тесту, ніж ми вважаємо в ньому операцій. Останнє, однак, багато простіше і виразніше для судження, і ми приймаємо число суттєвих операцій дорівнює кількості відповідностей. Деякі автори тестів класифікації додають в одну з колонок надлишкову альтернативу, яку ні з чим порівнювати. Ця альтернатива нічого не змінює в структурі діяльності учня, але іноді викликає подив учня і штучно провокує його на помилку. Мабуть, подібне прагнення заплутати учня - це наслідок недостатньої педагогічної етики укладача тестів. 

 « Попередня  Наступна »
 = Перейти до змісту підручника =
 Інформація, релевантна "6. Створення тестів різного рівня"
  1.  Оцінка інтелектуального розвитку.
      тестових методик, спрямованих на оцінку інтелектуального розвитку тестованих за результатами рішення пред'явлених завдань, складається з 2-го і 4-го інтелектуальних тестів Айзенка, словесного тесту Дйзен-ка, методики "Виявлення загальних понять". За допомогою інтелектуальних тестів Г. Айзенка оцінюється узагальнений показник швидкості вирішення завдань (швидкості міркування), зібраності і завзятості, т.
  2.  8. Тести, іспити і демократія
      створені спеціальні збірники тестів, що володіють тією ж повнотою подання всіх УЕ, що входять до складу навчального предмета і відповідають меті навчання. Другим з цих умов є включення в екзаменаційні випробування тільки таких тестів, які містяться в підручнику, або таких, які подібні ім. Ця умова відповідає вимозі змістовної валідності тесту. Відоме
  3.  5. Загальні висновки і конкретні пропозиції
      створенні та інтерпретації тестів, його цілком влаштовує сліпа емпі-189 Bespalkol.qxd 28.02.2008 16:15 Page 1ІН1 В.П. Беспалько. Природосообразном ПЕДАГОГІКА ріка типу SAT і TOEFL, що утворюють ту «каламутну водичку», в якій ловиться велика рибка. Утворенню для його прогресу життєво важливі об'єктивні методи визначення якості його діяльності і, зокрема, визначення
  4.  ВІДПОВІДІ НА ЗАПИТАННЯ ТЕСТІВ
      Глава 1: 1.1 - 1В, 2Б, 3А, 4Б, 5В; 1.2 - 1Г, 2Г, 3Г. Глава 2: 2.1 - 1А, 2Г, 3В, 4В; 2.2 - 1В, 2Г, 3А. Глава 3: 3.1 - 1Б, 2А, 3А; 3.2 - 1Г, 2В, 3В. Глава 4: 4.1 - 1А, 2В, 3Г; 4.3 - 1Б, 2В, 3Б; 4.3 - 1Г, 2Г, 3Г; 4.4. - 1Г, 2Г, 3Г, 4В, 5Б; 4.6 - 1Г, 2Б; 4.7 - 1Г, 2В, 3В, 4А, 5А; 4.8 - 1В, 2Г, 3Г, 4А. Глава 5: 5.1 - 1В, 2Б, 3А; 5.2 - 1Б, 2Г, 3Б, 4Г, 5Г; 5.3 - 1Г, 2В, 3Г.
  5.  7. Методичні рекомендації ДЛЯ ВИКОНАННЯ контрольної РОБОТИ З АДМІНІСТРАТІВНОГО ПРАВА
      тестових завдань (з Нової сторінки), потім - практичне Завдання (з Нової сторінки). Контрольна робота оцінюється: "Зараховано", "незарахована". У разі незарахування контрольної роботи вказуються причини цього. Контрольна робота может буті незарахована у випадка: - Виконано не тієї вариант контрольної роботи; - теоретичне Завдання Виконання з порушеннях вимог до нього, в т.ч. Стосовно ОБСЯГИ; - НЕ
  6.  3. Процес вимірювання та оцінки якості знань учнів
      створення тестів і тестування. Опубліковані на цю тему роботи під назвою Educational measurement (Ed. Robert L. Brennan) представляють собою феноменологическое виклад умоглядних і рецептурних рекомендацій, ніяк не підкріплених єдиною і валидной психолого-педагогічною теорією (див. Лекцію № 5). Комерційне розвиток діяльності тестування призвело до того, що пропоновані тести не
  7.  1. Чи можна довіряти тестам?
      створення, застосування та інтерпретації результатів тесту. Тільки за останні півстоліття були видані чотири практично ідентичні 800-сторінкові «біблії» тестування під одним і тим же назвою «Educational Measurements. Кожна з цих «біблій», зберігаючи наступність з попередньою, була підготовлена ??окремим колективом з двох і більше десятків найбільш кваліфікованих авторів, очолюваних
  8.  ІНСТРУМЕНТИ ДІАГНОСТИКИ ЯКОСТІ ЗНАНЬ УЧНІВ. ТЕСТИ
      створення адекватного інструменту діагностики. 2. Вимога валідності вимірювання якості навчання. 3. Процес вимірювання та оцінки якості знань учнів. 4. Тести як інструменти об'єктивного оцінювання знань учнів. 5. Структура тесту. 5.1. Надійність тестування. 6. Створення тестів різного рівня. 6.1. Тести першого рівня. 6.2. Тести другого рівня. 6.3. Тести
  9.  Глава 4.2. Характеристика тестів оцінки якостей працівника
      рівня активності і розвиненості її компонентів рекомендується використовувати методики "Опитувальник відносин" і "Опитувальник рівнів домагань". "Опитувальник відносин" (автори розробки - В. Н. Абрамова, О. А. Лосєва за участю Є. Г. Бельської; лабораторія "Прогноз", м. Обнінськ) складається з 40 тверджень, які сформовані за належністю до виду установки. Блоки тверджень об'єднані по виду мотивів.
  10.  ПЕДАГОГІЧНИЙ АНАЛІЗ ДЕЯКИХ ЗАРУБІЖНИХ ТЕСТОВИХ СИСТЕМ
      тестових систем. 3. Аналіз тестової системи SAT. 3.1. Тест SAT I. 3.2. Тест SAT II. 4. Тестова система TOEFL. 4.1. Фактична довідка. 4.2. TOEFL як він є. 4.3. Конструкція тестів TOEFL. 4.4. Педагогічний аналіз TOEFL. 5. Загальні висновки і конкретні пропозиції. Деякі публікації за темою лекції. Синопсис Дуже часто при обговоренні педагогічних проблем доводиться
  11.  Тестові контрольні завдання:
      створення єдиної держави належало: Ольгерд (1341-1377) Гедимін (1315-1341) Міндовг (1240-1263) Вітовт (1392-1430) Вітенес (1290-1315) Господарь обирався: господарськимі радою населенням держави на сеймах шляхтою боярами з споконвічно литовських земель титул передавався у спадок Державної скарбницею відав: канцлер Скарбної печатарь осменнік підкоморієм Першою і найважливішою посадою в