' Иначе говоря, техническое задание на разработку теста. — Примеч. науч. ред.
Глава 5. Валидность: основные понятия
1Л/
тов учебных и профессиональных достижений: 1) охватывает ли тест репрезентативную выборку конкретных навыков и знаний и 2) свободно ли выполнение теста от влияния посторонних факторов? Валидизация по содержанию особенно подходит для предметно-ориентированных тестов, описанных в главе 3. Поскольку выполнение таких тестов интерпретируется с точки зрения содержания предметной области или деятельности, совершенно очевидно, что содержательная валидизация является первейшим условием их эффективного использования. Однако и данные о других типах валидности не будут лишними, если мы хотим получить полную оценку эффективности таких тестов (см. Hambleton, 1984b).
Содержательная валидизация применима и к некоторым тестам, предназначенным для отбора и распределения профессиональных кадров, рассматриваемым в главе 17. Этот тип валидизации подходит в тех случаях, когда тест представляет собой выборочную проверку реальных рабочих операций или как-то иначе требует применения таких профессиональных навыков и знаний. В подобных случаях для доказательства близкого сходства между профессиональной деятельностью и тестом должен проводиться полный анализ содержания работы. Ясное, последовательное изложение применения этих методов валидизации в ходе разработки теста чтения для промышленности дано в одной из классических статей в этой области исследований (Schoenfeldt, Schoenfeldt, Acker, & Perlson, 1976). Работая в тесном контакте с занимающими разные должности лицами и их непосредственными начальниками, исследователи подробно изучили требования к чтению на нижних ступеньках служебной лестницы крупной промышленной компании с точки зрения содержания и уровня понимания. И только затем составлялись задания теста, которые полностью отвечали этим требованиям. Такой подход широко используется при разработке тестов для отбора государственных служащих как на федеральном уровне, так и на уровне штата (Hardt Eyde, Primoff, & Tordy, 1981; Menne, McCarthy, & Menne, 1976; Primoff, & Eyde, 1988 Tordy, Eyde, Primoff, & Hardt, 1976).
С другой стороны, для тестов способностей и личности содержательная валидизация обычно не подходит и может даже уводить в сторону от правильного пути. Хот* рассмотрение релевантности и репрезентативности содержания должно быть состав ной частью начальных этапов конструирования любого теста, окончательная валиди зация тестов способностей и личности требует эмпирической верификации с помо щью методов, описанных в последующих разделах. Эти тесты не имеют того внутрен него сходства с выборочно оцениваемыми ими областями поведения, какое присущ" тестам достижений. Следовательно, анализ их содержания может разве что выявит] гипотезы, приведшие составителя к выбору определенного типа содержания для из мерения заданного свойства. Такие гипотезы нужно еще эмпирически подтвердить чтобы установить валидность оцениваемого теста.
В отличие от тестов достижений тесты способностей и личности не опираются н; конкретный курс обучения или на общность предшествующего жизненного опыте исходя из которых отбирается содержание теста достижений. Отсюда, способы вы полнения разными людьми одних и тех же заданий в тестах способностей и личностр равно как и используемые ими при этом психологические процессы, могут существен но отличаться друг от друга. Таким образом, вполне возможно, что тот же самый тес У разных людей будет измерять различные функции, а это значит, что проверко содержания теста фактически невозможно установить, какие психологические фуь кции им измеряются. Так, выпускники колледжа могут решить некоторую задач?
138
Часть 2. Технические и методологические принципы
используя словесные формулировки или математические формулы, тогда как механик, возможно, придет к тому же решению путем пространственной визуализации. Или, например, тест, измеряющий способность к арифметическим рассуждениям у тех, кто только что перешел в среднюю школу, при предъявлении его студентам колледжа скорее всего выявит лишь индивидуальные различия в скорости вычислений.
Очевидная валидность. Содержательную валидность не следует смешивать с очевидной валидностью ( face validity ). Последняя, собственно, и не является валидно-стью в терминологическом смысле, ибо относится не к тому, что тест на самом деле измеряет, а к тому, что он при первом рассмотрении якобы измеряет. Очевидная валидность имеет отношение к тому, насколько тест «выглядит обоснованным» (т. е. валидным) для тех, кто его проходит, для тех, кто принимает ответственное решение о его использовании, да и вообще для всех неспециалистов. По существу, вопрос очевидной валидности касается «раппорта» и «паблик рилейшнз», т. е. налаживания взаимоотношений с тестируемыми и с общественностью. Хотя обычное употребление термина «валидность» в данной связи может вводить в заблуждение, сама по себе очевидная валидность — желательное свойство тестов. Например, когда тесты, первоначально предназначавшиеся для детей и разрабатывавшиеся применительно к школьной обстановке, вследствие их расширения впервые проводили на взрослых, те часто относились к таким тестам враждебно и критично именно из-за отсутствия очевидной валидности. В самом деле, если содержание теста представляется странным, неуместным, глупым или детским, результатом будет ухудшение сотрудничества, независимо от фактической валидности теста. Одной только объективной валидности теста явно недостаточно, особенно при тестировании взрослых. Очевидная валидность нужна тестам и для того, чтобы они эффективно функционировали в практических ситуациях. Она также влияет на степень приемлемости теста при вынесении законодательных и судебных решений, равно как и на оценку тестов широкой общественностью.
В новаторскую систематическую программу исследования тестирования как оно видится тестируемому (упоминавшуюся в главе 1) Барух Нево и его коллеги включили и изучение очевидной валидности (В. Nevo, 1985, 1992; В. Nevo, & Sfez, 1985). Сначала они привлекли внимание ученых к малому количеству исследований очевидной валидности, несмотря на ее возможный вклад в господствующее отношение к тестам. Затем они предложили количественную оценку очевидной валидности на основе оценок пригодности теста для его подразумеваемого применения, полученных от проходящих тестирование и других заинтересованных (но неискушенных в психометрике) лиц. Разработанные ими методы можно также использовать при оценивании отдельных заданий теста или, напротив, полных тестовых батарей. Опубликованные этими исследователями иллюстративные данные основывались на анализе ответов на Опросник обратной связи с экзаменуемым (Examinee Feedback Questionnaire), заполненный 1385 израильскими студентами, сдававшими вступительные экзамены в университет в форме шести письменных тестов. Результаты показали многообещающую согласованность ответов экзаменуемых, хорошую ретестовую надежность и дифференциацию тестов и подгрупп респондентов, планирующих специализацию в разных областях. Было рекомендовано регулярно сообщать в руководствах к тестам качественные и количественные данные, касающиеся очевидной валидности.
Глава 5. Валидиость: основные понятия
13»
Очевидную валидность часто удается повысить простой переформулировкой заданий теста так, чтобы они выглядели уместными и правдоподобными в той конкретной обстановке, где предполагается использовать тест. Например, если тест, состоящий из простых арифметических задач, предназначен для квалифицированных рабочих механического цеха, то в условиях задач должны фигурировать машины или станки, а не количество апельсинов, которое можно купить на 86 центов, или иные предметы и персонажи из школьного задачника. Точно так же задания арифметического теста для военно-морского персонала можно сформулировать в морских терминах, не внося никакого изменения в измеряемые функции. Разумеется, очевидную валидность ни в коем случае нельзя считать заменой объективно устанавливаемой валидности. Нельзя рассчитывать на то, что улучшение очевидной валидности теста повысит его объективную валидность. Вместе с тем неправильно думать, что видоизменение теста, повышающее его очевидную валидность, никак не сказывается на его объективной валидности. Поэтому валидность теста в его окончательной форме всегда необходимо проверить заново, причем прямыми методами.