Методы описания содержания
Сущность. Методы установления валидности через описание содержания, по существу, заключаются в систематической проверке содержания теста на соответствие репрезентативной выборке измеряемой области поведения. Такая процедура валиди-зации обычно применяется к тестам, предназначенным для измерения того, насколько человек овладел конкретными навыками или учебным предметом. Может создаться впечатление, что для установления валидности любого такого теста достаточно было бы простого просмотра его содержания. Например, тест на умножение, правописание или бухгалтерские навыки, казалось бы, должен быть валидным по определению, если состоит из заданий на умножение, правописание или ведение бухгалтерских операций соответственно.
Решение, однако, не столь просто, как это может показаться. Сразу же возникает проблема формирования выборки заданий, адекватно отражающих всю оцениваемую предметную область. Поэтому тестируемая область поведения сначала должна быть подвергнута систематическому анализу, с тем чтобы существовала уверенность в полном и пропорциональном охвате ее главных аспектов заданиями теста. Например, тест можно легко перегрузить теми аспектами исследуемой области, по которым проще составить объективные задания. Поэтому рассматриваемую предметную область следует описывать заранее, и как можно полнее, а не определять после того, как тест уже составлен. Правильно построенные образовательные тесты должны охватывать цели обучения, а не только его конкретные темы. Содержание, следовательно, необходимо определять достаточно широко, включая в него помимо знания фактической: материала такие важнейшие цели обучения, как применение изученных правил v объяснение фактов. Кроме того, валидность больше зависит от релевантности тестовых ответов индивидуума рассматриваемой сфере поведения, чем от очевидной ре левантности содержания тестовых заданий. Простая проверка содержания теста мо жет и не выявить те процессы, которые действительно обеспечивают выполнение тес та испытуемыми.
Важно также избежать неоправданных обобщений в отношении области поведе ния, выборочно проверяемой тестом. Если, например, орфографический тест с мно жественным выбором ответов измеряет способность распознавать правильно и непра вильно написанные слова, то из этого не следует, что он также измеряет способност правильно написать диктант, частоту орфографических ошибок в сочинении и други аспекты умения писать без орфографических ошибок (Ahlstrom, 1964; Knoell, & Наг ris, 1952). Еще одна трудность возникает в связи с возможным влиянием посторонни факторов на показатели теста. Например, на результаты экзаменационного теста п математике или механике может чрезмерно повлиять способность понимать словес ные инструкции или скорость выполнения простых, стандартных задач.
Конкретные методы. Содержательная валидность теста обеспечивается с самог начала благодаря отбору соответствующих заданий. Что касается образовательны тестов, подготовке их заданий предшествует полный систематический просмотр ее ответствующих учебников и учебных программ, а также консультации со специал! стами по данному предмету. На основе собранной таким путем информации составлг
136
Часть 2. Технические и методологические принципы
ется спецификация теста (test specif ications)1 для составителей заданий. В ней указывается охватываемые тестом области содержания или темы, проверяемые учебные цели-задачи или способы действия, а также относительное значение отдельных тем и способов. В заключение должно быть указано требуемое число заданий каждого типа по каждой теме. Например, тест для оценки умения читать может включать понимание лексики в контексте, дословное понимание содержания и умение делать правильные выводы из приведенной информации. Кроме того, он может предполагать выборочную проверку материала из разных источников, таких как рассказы, стихи, газетные статьи или инструкции по эксплуатации оборудования. Тест по математике может охватывать вычислительные навыки, решение словесно сформулированных задач и применение усвоенных способов решения в новых и непривычных условиях.
Данные о содержательной валидности, приводимые в руководстве к тесту учебных достижений, должны сопровождаться описанием тех методов, которыми обеспечивались целесообразный отбор и репрезентативность содержания теста проверяемой предметной области. Если в процессе конструирования теста принимали участие специалисты по данному предмету, следует указать их количество и профессиональную квалификацию. Если они выступали в роли экспертов при классификации заданий, необходимо привести дававшиеся им указания и коэффициент согласованности их мнений. Поскольку программы и содержание курсов со временем меняются, особенно желательно указать дату обращения к экспертам. Следует также сообщить число и характер проанализированных при подготовке теста программ и учебников, с указанием года издания.
Содержательная валидизация тестов учебных достижений обычно дополняется рядом эмпирических методов. И суммарный показатель, и выполнение отдельных заданий можно скорректировать относительно шкалы успеваемости. В общем, сохраняются те задания теста, которые показывают наибольший прирост процента учащихся, переходящих с более низких на более высокие уровни успеваемости. Другие дополнительные методы, когда они уместны, включают анализ типичных ошибок при выполнении учащимися теста и наблюдение за способами их работы. В последнем случае тестирование ведется в индивидуальном порядке, причем ученика просят при решении каждой задачи «рассуждать вслух». Существенность скоростного фактора может контролироваться по количеству тестируемых, не успевающих закончить тест, или с помощью одного из более тонких методов, обсуждавшихся в главе 4. Чтобы обнаружить возможное нежелательное влияние способности понять инструкцию на выполнение теста, можно вычислить коэффициент корреляции между показателями по данному тесту и показателями теста на понимание прочитанного. С другой стороны, если тест предназначен для оценки понимания текста, вопросы, относящиеся к содержанию еще не прочитанного отрывка, покажут, насколько испытуемый в состоянии на них ответить, исходя лишь из имеющихся у него предварительных знаний или пользуясь другими нерелевантными источниками информации (Scherich, & Наппа, 1977).
Области применения методов содержательной валидизации. Содержательная валидизация, особенно если она подкреплена такими эмпирическими проверками, как обсуждавшиеся выше, служит адекватным средством оценивания тестов достижений. Она позволяет ответить на два основных вопроса, касающихся валидности тес-