TEST: Почему quiz, а не test, и чем тестовое задание отличается от задач, вопросов и просьб.

Пожалуй, что я обдумала своё выступление про контроль в EdX. Мне запомнились два тезиса, которые, во-первых, хочется записать, чтобы не потерять, а, во-вторых, записать, чтобы проиндексировали поисковые системы.

Без претензии на научность, но некоторые ссылки я написать не поленилась.

Тезис первый. В MOOC платформах нет тестов [test, educational test], в них есть опросники/вопросники [quiz]. Мне кажется, что это связано с желанием отстраниться от термина тестирование. В конце-концов, просто так в образовании спекулировать словом "тестирование" нежелательно. Тогда нужно как минимум гарантировать одинаковость условий для всех участников тестирования. А какие уж тут гарантии? Один может проходить тест из аскетичной комнаты общежития, а другой из бани с подругами, а подруги, вообще, могут оказаться экспертами в проверяемой области и решить тест за тебя. Сплошное надувательство.

Тезис второй. Где заканчиваются задачи и начинаются тестовые задания?
Тут коротко не получится.
Этот вопрос мою фантазию беспокоил много лет. Когда я писала диплом, то прочтение кило-тонн литературы по педагогическому тестированию вгоняло меня в состояние благоговейного трепета. По одной единственной причине, интуитивно понятно, что такое тестовое задание, но определения его нигде не было.
Сегодня, кстати, я попыталась ещё раз найти что-то похожее на определение в своей подборке отечественных книг. И не нашла. Всё сразу начинается с "типологии", "классификации", "видов" тестовых заданий. А что это такое, тестовое задание? Да какая, вообщем-то, разница.

Внимательностью я не отличаюсь, поэтому если кто-нибудь снабдит меня симпатичным конструктивным определением тестового задания на русском языке, я буду очень-очень рада и не забуду про ссылку. 

С импортными источниками немного полегче, например, есть Web Glossary of Testing, Measurement and Statistical Terms (Joint Committee on Standards for Educational and Psychological Testing of the AERA, APA, and NCME. (1999). Standards for educational and psychological testing. Washington DC: American Educational Research Association), не самая свежая версия в моих запасах, но уже кое-что:

Item - A general term referring to a single statement, question, exercise, problem, or task on a test or evaluative instrument for which the test taker is to select or construct a response, or to perform a task. Includes all the elements of an item as a collective unit: the stem, response options, prompt, stimulus, etc.

Этим определением вполне можно пользоваться до момента возникновения острого желания автоматизировать процесс тестирования на этапе прохождения теста.
Однако эпоха компьютерного тестирования началась. Причём довольно давно. Вернее, настолько давно, что отдельно взятые товарищи умудрились даже нацарапать таксономии новых тестовых заданий, тех самых, которые можно реализовать только с помощью компьютера. Например, с видео- или аудио-содержимым.

Самое интересное, что наша литература меня порадовала. Ещё тогда, давно, когда я барахталась в написании диплома. Помощь подоспела с неожиданной стороны: из Энергетического института, глава 2 книги "Разработка компьютерных учебников и обучающих систем", авторы Башмаков А.И., Башмаков И.А. Похоже, что они первые в России написали про правила оценивания в привязке к тестовым заданиям (учебно-тренировочные задания, УТЗ у Башмаковых). Остальные авторы, видимо, про это знали, но предпочитали не писать. По каким причинам не известно, но начинающим это доставляет массу неудобств.
Но окончательное осознание того, что такое тестовые задания пришло ко мне после прочтения главы 7 ("Innovative Item Types for Computerized Testing", авторы Cynthia G. Parshall, Tim Davey, & Peter J. Pashley) книги "Computerized Adaptive Testing:Theory and Practice" (2002) под редакцией Wim J. van der Linden и Gees A.W. Glas. В этой главе к вопросу привязывается алгоритм оценивания [scoring algorithm], и появление этого алгоритма превращает вопрос в тестовое задание.
Всё гениальное просто.
Человека, так уж и быть, можно убедить жить в недоопределённом мире, а компьютер не получится. Если уж взялись ставить баллы за задания при помощи компьютера, то он однозначно должен "знать", как ему это делать.
Сегодня я убедилась в том, что алгоритм оценивания прочно "приклеился" к тестовым заданиям. В книге "Testlet response theory and its applications" (2007), авторы Wainer H., Bradlow E.T., Wang X. во введении я натолкнулась на следующее:

The term “question” encompasses any sort of interrogative:

Where’s the bathroom?

What time is it?

Do you come here often?

What’s your sign?

These are all questions, but they should not be confused with items. For a question to be called an item, it needs an additional characteristic:

There must be a scoring rule

Последняя упомянутая книга и описанная в ней теория сами по себе достойны отдельного поста. Отмечу, что такой важный сейчас индекс Хирша у авторов такой, что не снился многим, начиная с меня :))). Но это уже совсем другая история.