1. Чи можна довіряти тестам?

157

-е-

Bespalkol.qxd 28.02.2008 16:15 Page 1Іг8

В.П. Беспалько. Природосообразном ПЕДАГОГІКА

альних прикладах А. стрении показує, що цілком компетентні люди дуже часто ставляться за результатами тесту до недостатньо підготовленим або навіть безграмотним індивідам. Причиною цьому, вважає автор, є інвалідність застосовуваних тестів.

Майже двадцять років по тому вийшла ще одна подібна книга під тією ж назвою. Її автор Джордж Хіллокс (George Hillocks, Jr.) Зосередився на тому, щоб показати істотні розбіжності між тим, що являє собою вміння писати (Writing), і тим, що тестується як уміння писати. Двохсот-сторінковий аналіз тестування вміння писати в п'яти американських штатах привів автора до переконливого висновку про абсолютну змістовної та функціональної інвалідності застосовуваних з цією метою тестів.

На жаль, ні та, ні інша книга не подіяли дієвого впливу на практикуються тестові випробування в США і в країнах, де також використовується подібне тестування. Причиною цьому є не шкідливе впертість авторів існуючої тестової пастки і небажання позбутися її, а неконструктивна критика обох авторів, які чудово викрили всі пороки тестової пастки, але не запропонували ніякого реального виходу з неї.

Незважаючи на більш ніж столітню історію використання тестів у різних екзаменаційних процедурах в США, досі не стихають протести проти їх використання як для школярів, так і для цілей ліцензування різними професійними асоціаціями та комітетами («Бордо »- Boards). Ці протести особливо загострилися з введенням адміністрацією Президента США Дж. Бушем Фінального іспиту в 12-річній школі, нез'ясовним чином залишає без дипломів до 70% випускників, що дійшли до іспиту, і ведучого до відсіванню більше чверті учнів ще до іспиту. І знову та ж картина: протести без альтернативи. Повернення ж до суб'єктивного оцінювання - ще гірше.

Крім того, корпорації заробляють на тестовій індустрії мільярди доларів, і оскільки застосування навіть очевидно непридатних тестів не загрожує життю випробовуваних, боротьба з неадекватною оцінкою якості знань учнів ведеться «ні добре ні погано». Схоже, нікому діла немає до особистих трагедій учнів та їх сімейних трагедій.

158

Bespalko1.qxd 28.02.2008 16:15 Page 15 * 9

Лекція № 5. Педагогічний аналіз деяких зарубіжних тестових систем

Критикам тестів протистоять їх захисники, зусилля яких, по всій ймовірності, непогано компенсуються зацікавленими фірмами: адже тести - це багатомільярдний і поновлюваний бізнес. Показовою в цьому відношенні книга тестового експерта Річарда П. Фелпса (Richard P. Phelps). У своїй книзі під промовистою назвою «На захист стандартизованого тестування» (Defending Standardized Testing, NY, 2005) Р. Фелпс, майже 25 років по тому після А.

Представляється, що для такого висновку у Фелпса є достатньо підстав: відразу після появи в педагогічному світі тестів стали публікуватися короткі методики і «фундаментальні» праці, детальнейшим чином розглядають кожну операцію створення, застосування та інтерпретації результатів тесту . Тільки за останні півстоліття були видані чотири практично ідентичні 800-сторінкові «біблії» тестування під одним і тим же назвою «Educational Measurements. Кожна з цих «біблій», зберігаючи наступність з попередньою, була підготовлена окремим колективом з двох і більше десятків найбільш кваліфікованих авторів, очолюваних відомими вченими-психологами.

Перша з цих «біблій» була підготовлена 20 авторами і видана між 1951 і 1966 роками шістьма виданнями під редакцією Е.Ф. Лінгквіста (E.F. Lingquist).

Друга підготовлена 22 іншими авторами і видана в 1971 році другим виданням під редакцією Роберта Л. Торндайка (Robert L. Thorndike).

Третя була видана в 1989 році під редакцією Р. Л. Лінна (RL Linn).

Нарешті, четверта, тільки що опублікована (2006) об'ємиста аналітична робота представляє собою останнє слово зарубіжного досвіду тестування. Вона опублікована під редакцією Роберта Л. Бреннана (Robert L. Brennan). У створенні цієї узагальнюючої роботи взяли участь близько сорока відомих американських фахівців у галузі педагогічних вимірювань, професорів престижних університетів і співробітників провідних фірм, що спеціалізуються на педагогічних вимірювань

159

Bespalkol . qxd 28.02.2008 16:15 Page IHrO

В.П. Беспалько. Природосообразном ПЕДАГОГІКА

пах, таких, наприклад, як Educational Testing Services (ETS). У 22-х об'ємних статтях, присвячених вузловим проблемам створення та застосування тестів лише одна коротка стаття присвячена дослідженню когнітивних процесів у зв'язку з оцінкою знань учнів. Але й вона повисає в повітрі, оскільки прагнення автора проаналізувати психологічні підстави оцінки знань учнів «на кінчику його математичного пера» ні до чого, крім беззмістовних математичних вправ, побудованих на абстрактних припущеннях, не приводить. Чи не тому ні в одній з інших 21 статей їх автори не в змозі спертися на висновки Р. Д. Міслеві (автор статті - RJ Mislevy) в аргументації своїх розробок.

Аналізуючи далі статті теоретичного розділу останньої «біблії» тестування, звертає на себе увагу загальна тенденція розглядати проблеми так званої «тринітарній» (trinitarian) моделі валідності тесту (змістовної, конструктивною і критеріальною) з такої гаданої глибиною і ретельністю, що отримана суперабстрактная модель повністю втрачає хоч якийсь прикладної сенс. Не можна не провести у зв'язку зі сказаним деякі паралелі з процесами діагностики з інших областей людської діяльності. Наприклад, в медицині велика кількість симптомів не забезпечує точності діагнозу, поки не формується синдром, побудований лише на суттєвих ознаках хвороби. У машинобудуванні точність вимірювання розміру і чистоти поверхні має природні технологічні обмеження. Вимагати від тестування тієї точності вимірювання, яка закладається захопленими математиками в їх «красиві» моделі, це означає ніколи не отримати працездатною і аргументованою методики оцінки знань учнів.

Не можна також не згадати тут і п'ять видань Стандартів педагогічного та психологічного тестування (Standards

160

Bespalkol.qxd 28.02.2008 16 : 15 Page 1HKL

161

Лекція № 5. Педагогічний аналіз деяких зарубіжних тестових систем

for Educational and Psychological Testing, 1954 - 1999), підготовлених під егідою таких авторитетних організацій, як Американська асоціація педагогічних досліджень (AERA), Американська психологічна асоціація (APA) та Національна рада педагогічних вимірювань (NCME). У «Стандартах», відповідно їх назвою, містяться вимоги до розробників і користувачам тестів різного призначення: для школи, професійної атестації, професійного відбору та пр. Вимоги ці мають настільки формальний характер, що навіть американці, які обожнюють все ліцензувати (навіть забивання цвяха у стінку), поки не зважилися надати названим стандартам силу закону, і стандарти в основному існують самі по собі, а тести кояться, «як бог на душу поклав» їх автору

Крім згаданих тестових «біблій» і « стандартів », є величезна література прикладного характеру за методикою написання конкретних тестів та їх використання у навчальному процесі. Вражаючим є наявність величезної прірви, що розділяє названі вище «біблії» і стандарти з усією іншою прикладної тестової літературою. Поки перші парять десь в позахмарному математичному піднебессі, створюючи формальні математичні моделі валідності, надійності, нормування та шкалювання, другі віддають перевагу повзучий емпіризм умоглядних і приземлених рекомендацій щодо створення та застосування тестів. І найбільш імовірною причиною цього розриву теорії і практики є той факт, що, захоплюючись математичним моделюванням процесів педагогічних вимірювань, автори досягли результатів, про які краще, ніж говориться у відповідній приказці, не скажеш: «Гладко було на папері, та забули про яри, а по них ходити! ».

Мабуть, це невідповідність теорії і практики американського тестування і дало підставу Р. Фелпсу вважати, що негативне ставлення до тестів, як вчених, так і випробовуваних може бути пояснено некваліфікованим тестуванням. Але ще більш імовірно, що в самих підставах створення та застосування тестів в Америці щось суперечить людській природі, що викликає спонтанне і неусвідомлене їх неприйняття. І в даній лекції ми покажемо, що сучасне тестування, як воно утвердилося в США, - це найбільш виразний антипод відомому заклику великого Яна Амоса Коменського зробити школи «храмом радості, задоволення і успіху». До жалкую-

161

Bespalkol.qxd 28.02.2008 16:15 Page 1ІГ2

162

В.П. Беспалько. Природосообразном ПЕДАГОГІКА

нию, російські творці ЄДІ перенесли всі пороки американського тестування в свої розробки та процедури, але про це попереду.

Інформація, релевантна " 1. Чи можна довіряти тестам? "

1. ПЕДАГОГІЧНИЙ АНАЛІЗ ДЕЯКИХ ЗАРУБІЖНИХ ТЕСТОВИХ СИСТЕМ
   довіряти тестам? 2. Методика педагогічного аналізу тестових систем. 3. Аналіз тестової системи SAT. 3.1. Тест SAT I. 3.2. Тест SAT II. 4. Тестова система TOEFL. 4.1. Фактична довідка. 4.2. TOEFL як він є. 4.3. Конструкція тестів TOEFL. 4.4. Педагогічний аналіз TOEFL. 5. Загальні висновки і конкретні пропозиції. Деякі публікації за темою лекції. Синопсис Дуже
   
2. РЕЗЮМЕ
   можна сформулювати конкретні вимоги до будь-якій посаді керівника та спеціаліста. Співбесіда зі знову прийнятою працівником займає ключове місце в підборі персоналу і включає наступні етапи: підготовка до співбесіди, формулювання питань до кандидатів, план співбесіди, методи управління співбесідою, прийняття рішення за результатами співбесіди. Професійний
   
3. У турботі про себе.
   Довіряють інтуїції і відчуттям, ніж логікою. Інтуїція заснована на особистому досвіді, а почуття засновані на минулому досвіді всього виду, а тому в середньому надійніше, так як перевірені практикою. Жінки краще за чоловіків розуміють і більше довіряють мові жестів і міміки, як найдавнішого засобу спілкування. Жінки більше схильні стадності і впливу авторитетів, бо більшість в середньому частіше право, ніж
   
4. Система державної адміністрації.
   Довіряли тільки родичам царя. Він вважався скарбником богів, «таємним радником для варварських країн», начальником всіх робіт і доручень - тобто практично вся повнота управління належала йому, а не царю. Чати був також верховним суддею - начальником т. н. «6 великих палат». У єгипетських правилах, чати повинен бути в курсі всіх справ в країні: «Управителю має бути повідомлено і про закриття
   
5. Хто знає?
   Можна осягнути істину. Все, що ми маємо, - це ідеї, які можуть бути істинними, а можуть і помилковими. Для того щоб затвердити такі погляди, вони говорили, що ми не можемо покладатися на наші почуття з достовірністю. Вони також вважали, що ми не можемо покладатися на думки інших людей, оскільки різні люди часто не згодні з якихось питань. Різні скептики по-різному розуміли глибину
   
6. § 8. Як виглядає щастя в етиці абсолютизму?
   Можна умовно роздягли і, па «зовнішню» і «внутрішню». Завдяки «зовнішньої» мудрості філософ ще перебуває в світі і тому до всього НАЛЕЖИТЬ III р.го ти, не беручи нічого всерйоз. Бо ніщо в світі не заслуговує серйозного ставлення (П.июп За ко | И. - 803 Ь). Бути може, тому мудрець виробляй I ча людей враження придуркуватого людини. При дина ж цієї «недоумкуватості» в тому,
   
7. Що слід знати про знання
     чи можна довіряти власним
   
8. § 4. Оцінка значущості народів Сибіру для Московського царства в «Політиці» Ю. Г. Кріжаніча
     ливість стратегічного партнерства, заснованого на економічній необхідності один в одному. Дефіцит грошової маси в державі дозволяв безперешкодно розширювати обмін тільки в північно-східному напрямку: «Одним словом, кажучи про Сибір, треба знати, що Сибір безмірно вигідна і необхідна для цього царства. Бо від всіх тамтешніх народів ми можемо видобувати їх товари без грошей за наші прості
   
9. Освіта варварських королівств.
     довіряються багато публічних функції. Одночасно формувалися королівський двір і ієрархія військово-служивих чинів, яким довіряється управління на місцях і виконання королівських доручень, збір податків. У VIII в. за королями визнається безумовне вище право (те саме що і раніше римському imperium) наказувати. Королівське законодавство стає постійною функцією влади. На рубежі VII - VIII
   
10. Освіта Веймарської республіки. Німецька Конситуції 1919р.
      можливостям автономні області в унітарній державі. На чолі держави стояв президент, який обирається на сім років з необмеженим терміном переобрання. Він відав міжнародними справами, виробляв призначення на вищі посади, мав право відкладеного (суспензівное) вето терміном на місяць, а також право помилування. Також він наділявся правом застосовувати всі заходи, в тому числі примусові, з
    
11. ГЛАВА СЬОМА
      можна завжди йти [далі і далі], бо дихотомічні розподілу величини нескінченні. Таким чином, нескінченне тут в можливості існує, насправді ж немає, і взяте [число] завжди перевершує всяке певну безліч. Але це число невіддільне від дихотомії, і нескінченність чи не перебуває, а виникає, так само як і is час, і число часу. Що стосується величин, то у них справа
    
12. «Сюжет» перетворень.
      можна було через постійні поломок сканерів. Таким чином, замовлення нового сканера потрапив в «главу» керівників філій, а їх співробітники, в свою чергу, змогли реалізувати заяву керівництва про зацікавленість клієнтів в більш швидкому обслуговуванні і досягли певних результатів, завдяки яким поліпшилися й умови їхньої праці. Отже, співробітники кожного рівня організації дізнавалися про
    
13. 8. На шляху до нової філософії фізики
      можна спостерігати так звані «спостережувані» квантової теорії і загальної теорії відносності? - Яка мета фізичної теорії: систематизація даних, обчислення пророкувань, напрямок дальньої-ших досліджень і (або) пояснення фактів? - Чи вірно, що нічого не можна пояснити, не звертаючись до звичайних образам або наочним моделям, і що в результаті цього квантована механіка і загальна
    
14. IX. Критика та роз'яснення
      можна досягти шляхом розгляду тут деяких поглядів і доводів, що належать колишнім і сучасним моралістам. § 57. Заперечення, зроблене Сіджвік гедоністичного методу - утруднення, властиві гедоністичного обчисленню, - містить в собі частку істини, але також і частку помилковості. Бо, хоча становище, що щастя, індивідуальне або спільне, є мета діяльності, і не може
    
15. § XII Авторитет [думки] більшості особливо слабкий щодо історичних істин і теоретичних положень
      можна було б провести в Афінах, якби спробували зібрати голоси на користь істинності розповідей про подвиги Те-зея, і в Римі, якби стали збирати голоси на користь істинності розповідей про народження Ромула і про те, як його вигодувала вовчиця. Кількість голосів ще більше збільшується, коли традиційна думка має відношення до релігійного культу. Адже навіть якби всі жителі Афін були
    
16. § 6. Прогресує чи філософське світогляд?
      довіряють тільки другорядні проблеми, що утворюють корпус схоластичного знання. Епоха Відродження визначає роль філософії переважно як толковательніци мистецтв. Останні займають місце «творіння», а людина - місце «творця». Епоха Просвітництва обмежує філософію раціональним знанням, спираючись на яке, людина здатна пізнати себе і світ. Період позитивізму взагалі перетворює
    
17. 6. Застаріла філософія у творах вчених
      можна нарахувати чимало таких, які самими філософами визнані помилковими. У природознавстві, де вони зустрічали менш уважну критику, ці філософські системи довше зберегли свою живучість: так, якась різновид тварин, нездатна захищатися від своїх ворогів, може зберегтися на якому-небудь занедбаному острові, що не відкрита своїми ворогами ... »6Еті залишки застарілих філософських
    
18. Візити прибульців - об'єкт для досліджень
      можности падіння каменів з неба, яке аж ніяк не увінчало лаврами членів Французької Академії наук, які ризикнули оголосити про свою відмову досліджувати цю проблему, поставивши під сумнів свідчення очевидців. У даному розділі ми торкнемося декількох епізодів зустрічей і навіть діалогів очевидців з прибульцями, хоча в моєму архіві подібних свідчень більше двох десятків (Г. С. Белімов «Ознаки з
    
19. Княжа адміністрація
      можности - судові. У сільській адміністрації князь був представлений своїм заступником - посадником. Термін "посадник" означає міський голова, його посада назначаеми, був заступником князя у міській або місцевої адміністрації. В обов'язки посадників входило збирати податки з населення для князя. Вони мали право на частку з зібраних податків для свого існування - годування. Крім цього,