Оценка надежности. Последовательность действий при про­верке надежности.

Дата: 2025-05-21; Просмотры: 1

Оценка:

0.00 из 5.00 — оценок

Скачиваний: 0

Скачать

Выявить информацию о том, существуют ли данные о надеж­ности теста, который предполагается использовать, существенно и то, в какой диагностической ситуации проводилась проверка. Если проверки не было или имеются признаки влияния новых выборок и ситуаций на результаты, то требуется выполнить заново провер­ку с учетом указанных возможностей.

Провести повторное тестирование на всей выборке стандарти­зации и подсчитать все коэффициенты как для целого теста, так и для его отдельных пунктов.

Если возможности обследования выборки испытуемых огра­ниченны, производится повторное тестирование только на части выборки, но при этом эта часть не должна быть меньше 30 обсле­дуемых. Далее необходимо подсчитать ранговую или четырехклеточную корреляцию для оценки внутренней согласованности и стабильности теста в целом.

Надежность необходима для достижения достаточной валидности.

4.3. Валидность как соответствие результатов диагностируемому свойству

Как считала А. Анастази, валидность указывает на то свойс­тво, которое тест измеряет, и на то, как хорошо он это делает. Ва­лидность теста не может превышать надежность, но повышение надежности не обязательно приводит к повышению валидности. Основное соотношение выглядит следующим образом: В < Н. Это означает, что валидность теста не может превышать его надеж­ности, другими словами, ненадежная методика не может быть ва­лидной.

В психометрии понятию валидности уделяется не слишком много внимания по сравнению с концепцией надежности. Концеп­ция валидности относительно трудна для изучения и для матема­тического определения.

Валидность — комплексная характеристика методики, вклю­чающая сведения об области исследуемых явлений и репрезента­тивности диагностической процедуры по отношению к ним. В ка­честве сходных с ним понятий могут быть названы правдивость, полезность, точность, возможность интерпретации (интерпрети­руемость), прогностическая способность и помощь в принятии решений. Как уже подчеркивалось, разные типы валидности име­ют одну и ту же основу. Однако понятие валидности должно быть четко определено применительно к различным целям, аспектам и контекстам. Такая дифференциация дает информацию о том, в ка­ком контексте концепция валидности может быть использована.

Общепризнано, что нецелесообразно использовать в работе практического психолога один и тот же тест для оценки, напри­мер, интеллектуальных способностей и свойств темперамента всех представителей выборки и в различных экспериментальных ситу­ациях. В отдельных случаях допустимо использование различных Шкал одного и того же теста (например, тест коммуникативного и когнитивного развития младенцев Н. Бейли).

Определяется валидизация путем сопоставления (корреля­ции) результатов тестирования с успешностью выполнения ис­пытуемыми соответствующей деятельности, определяемой ины­ми способами. Процесс валидизации можно также представить как установление корреляционных связей данных, полученных в ходе психодиагностического тестирования, с результатами обсле­дования испытуемых по другим проверенным и надежным мето­дикам.

Принято считать валидность достаточно высокой, если коэф­фициент корреляции будет более 0,6. При его значении 0,45-0,65 валидность считается вполне удовлетворительной.

Валидность, надежность, соответствие тестовым нормам (репрезентативность) — основные требования адекватного пси­хометрического исследования свойств личности. Их объектив­ный характер, возможность перепроверки результатов являются гарантией достоверной психологической информации. В связи с чрезвычайно широким распространением технологий психодиаг­ностического тестирования в Западной Европе и Северной Аме­рике вопрос их возможного использования в новых региональных и социальных условиях стоит чрезвычайно остро. Необходимое условие успешного применения известных зарубежных тестовых методик — их адаптация.

Рассматривают в основном следующие типы валидности: со­держательная (логическая), прагматическая (критериальная), тео­ретическая (конструктная). В каждом руководстве по психодиаг­ностике можно встретить описание этих трех типов.

Содержательная валидность (логическая, валидность по со­держанию) характеризует степень репрезентативности заданий теста измеряемой области психологических свойств. Применя­ется в методиках, исследующих деятельность, близкую к реаль­ности. Содержательная валидность требует того, чтобы каждое задание, задача или вопрос, принадлежащие к определенной об­ласти, имели равные шансы стать заданиями теста. Валидность по содержанию оценивает соответствие содержания теста (заданий, вопросов) измеряемой области поведения. Оценка содержатель­ной валидности в определенной степени субъективна и зависит от мнений экспертов.

При исследовании содержательной валидности необходимо со­здать адекватную модель тестирования деятельности, охватывающей главные аспекты ее пропорции. На практике для определения содер­жательной валидности отбираются эксперты, которые указывают, какая область поведения важна, а затем, исходя из этих областей, ге­нерируются задания теста, которые вновь оценивают эксперты.

Прагматическая валидность (эмпирическая, критериальная) измеряется всегда с помощью статистического коррелирования. Подсчитывается корреляция двух рядов значений: баллов по тес­ту и показателей по внешнему параметру, избранному в качестве критерия валидности. Эти критерии являются показательными, обладающими непосредственной ценностью для определения об­ластей практики; условием, ориентированным на эти категории.

Критериями в большинстве случаев выступает социально-значимое поведение, например успеваемость в школе, профессио­нальная деятельность или социальная адаптация.

Психолог решает сразу две задачи: задачу измерения валид­ности и задачу измерения практической эффективности своей психолого-педагогической программы. Соответствие критерия проверяется с помощью корреляционного анализа. Если г > 0,75, то можно говорить о валидности методики.

Теоретическая (конструктная) валидность демонстрируется полным описанием переменной, для измерения которой пред­назначается тест. Каждая методика должна иметь теоретическое обоснование. Она включает в себя все виды валидности, которые были перечислены выше. Конструктная валидность имеет отно­шение к теоретическому конструкту самому по себе и включает в себя поиск факторов, объясняющих поведение человека при вы­полнении теста.

Решение вопроса о конструктивной валидности теста пред­ставляет собой поиск ответа на два вопроса:

• существует ли реально некоторое исследуемое свойство?

• надежно ли измеряет данный тест индивидуальные разли­чия по этому свойству?

Кроме этого, некоторыми исследователями выделяются также и другие требования к созданию и апробации новой методики.

Дружинин В. Н., к примеру, указывает на то, что наиболее оп­тимально использовать семь заданий (вопросов) для исследова­ния одного психологического явления. Айзенк Г. утверждает, что количество заданий теста, необходимых для качественной оценки выраженности исследуемого свойства психики или качества лич­ности, должно составлять от 20 до 30. Если мы проанализируем существующие психодиагностические методики по данному пока­зателю, то обнаружим, что разные авторы используют различное количество вопросов, которое варьируется от 7 до 220, а иногда и более тысячи, как в одном из вариантов теста Бине. При этом каж­дый автор по-своему аргументирует свою позицию, и иногда эти аргументы прямо противоположны друг другу.

4.4. Достоверность психологической диагностики

Достоверность психологической диагностики определяется тем набором психологических методов, методик, приемов, кото­рые применяются психодиагностом. Достижение достоверности требует специальных усилий и процедур по ее обеспечению. До­стоверность характеризует устойчивость измерительной процеду­ры к фальсификации результатов теста. Объективность результа­тов исследования и его достоверность во многом определяются всесторонностью изучения обследуемого.

Комплекс психологических методов — тестирование, наблю­дение, анализ продуктов деятельности, учет случайных факторов в сопоставлении друг с другом составляют основу объективнос­ти психологического диагноза. В процессе работы психодиагност должен уметь сопоставлять результаты применяемых методов и выявлять сущностные характеристики обследуемого.

Справедливо отмечается, что есть большая разница между до­стоверностью полученных в конкретном обследовании данных и достоверностью вывода. Выводы всегда относительны, поскольку щепаются на основании экспериментов или наблюдений, проведен­ных но одной или нескольким из возможных методик и направле­ний и одному из возможных способов интерпретации данных. Та­ким образом, диагноз должен основываться на критическом и ос­торожном истолковании данных, полученных из разных источни­ков (Детская психодиагностика и профориентация, 1999, с. 334).

Кроме достоверности полученных результатов и достовернос­ти выводов, существует понятие «достоверность теста», под кото­рой подразумевается способность теста защищать информацию от мотивационных искажений обследуемых.

Достоверность тестирования тесно связана со степенью дове­рительности общения с психодиагностом. Выделяются две диа-гностические ситуации: консультативная (ситуация клиента) и аттестационная (ситуация экспертизы). В первом случае обследу­емый участвует в тестировании на добровольной основе и сам за­интересован получить рекомендации по результатам диагностиро­вания. Во втором случае тестирование проводится по инициативе взрослого (педагога, психолога, родителей и других лиц). При этом обследуемый не проявляет инициативности.

Психодиагностическое исследование ребенка, как уже отме­чалось, сопровождается рядом трудностей. В данном случае труд­ность заключается в специфическом источнике информации, ко­торым является сам ребенок с его психологическими, психофизи­ологическими, индивидуальными особенностями.

Прежде чем стать источником информации, ребенок должен правильно понять вопрос, инструкцию, задание или любое другое требование психодиагноста. Но дети обладают различной способ-ностью понимания, что отражается на достоверности получаемых результатов.

При этом и психические процессы имеют разный уровень раз-вития в зависимости от возраста ребенка. Например, особенности памяти, свойства внимания имеют свою возрастную специфику. Это также необходимо учитывать в процессе диагностирования ребенка.

В процессе психологической диагностики ребенка важную роль играет мотивация участия обследуемого. Важная задача психодиаг­носта — заинтересовать ребенка в процессе тестирования, но при этом не исказить результаты диагностирования повышенной моти­вацией. Дошкольники лишь тогда будут в процессе психодиагности­ки демонстрировать свои способности, т. е. показывать результаты, объективно отражающие уровень их психологического развития, когда сами методики и имеющиеся в них психодиагностические задания вызывают и поддерживают к себе интерес на протяжении всего времени обследования. Как только непосредственный интерес ребенка к выполняемым заданиям утрачивается, он перестает про­являть те способности и задатки, которыми реально обладает.

Бодалев А. А. и Столин В. В. акцентируют внимание на досто­верности самоотчетов, что особенно существенно в отношении психодиагностики детей дошкольного возраста. Отслеживание достоверности самоотчетов больше касается взрослых обследу­емых и детей школьного возраста, у которых уже сформирована самооценка и развит уровень самосознания. Авторы выделяют оп­ределенные психологические факторы, от которых зависит досто­верность самоотчета (Бодалев А. А. Столин В. В., 2000).

1. Фактор знания. У обследуемого может быть более или менее четкое представление о следующем:

• свойственны ли ему в действительности или нет тестируе­мые поведенческие признаки;

• какое личностное свойство скрывается у психолога за тем или иным конкретным поведением, описанным в суждении;

• как это свойство соотносится с общепринятыми моральны­ми нормами и признаками социального успеха.

2. Фактор социальной желательности. Проявляется в тенден­ции обследования давать о себе социально ободряющую инфор­мацию.

Рассматриваются следующие приемы борьбы с фактором со­циальной желательности и искажения результатов тестирования:

• введение шкал лжи в диагностический вариант методики;

• устранение или сбалансирование социальной желательности с помощью использования инструкции на преднамеренную фальсификацию результатов;

• использование признаков, независимых от диагноза, и др. Имея в виду указанные факторы, очевидно, что самоотчеты и

самооценочные опросники у дошкольников чаще всего дают иска­женную и неточную информацию.

Глава 5