При составлении анкеты используют несколько вариантов вопросов: открытые, закрытые и полузакрытые, а также вопросы-фильтры и на ранжирование.
Открытыми называют вопросы, на которые респонденты должны самостоятельно дать развернутые ответы. Их используют в тех случаях, когда исследователь стремится привлечь опрашиваемого к активной работе по формированию предложений, советов по какой-либо проблеме или когда не совсем ясен набор альтернатив по вопросу.
Закрытыми называются вопросы, к которым в анкете предлагаются возможные варианты ответов либо односложные ответы опрашиваемого. Они используются в тех случаях, когда исследователь четко представляет себе, какими могут быть ответы на вопрос, или когда надо оценить что-либо по определенным, важным для изучения признакам и т. д. Преимущества закрытых вопросов состоят в возможности исключить неправильное их понимание, сопоставить ответы различных групп респондентов, а также в простоте заполнения анкеты и обработки полученных данных.
Полузакрытый вопрос отличается от закрытого тем, что кроме предложенных вариантов ответов имеется строка, на которой респондент может отразить свое личное мнение по существу вопроса. Это делается в тех случаях, если исследователь не уверен, что для выражения своего мнения опрашиваемому будет достаточно списка альтернатив.
Количество вариантов ответов в закрытых и полузакрытых вопросах не должно быть слишком большим (не более 10). Также в любом вопросе закрытого или полузакрытого типа следует дать альтернативу: «Затрудняюсь ответить». Это нужно для того, чтобы респонденты, которые не знают, как ответить на вопрос, или не имеют определенного мнения по затронутой в нем проблеме, могли отразить свою позицию.
Довольно часто в анкетах используются вопросы-фильтры. Они состоят одновременно как бы из двух частей: сначала выясняется, относится ли опрашиваемый к определенной группе или известен ли ему факт (явление), о котором пойдет далее речь. Затем респондентам, ответившим утвердительно, предлагается высказать свое мнение или оценку факта, события, свойства.
Существует еще одна разновидность анкетных вопросов – вопросы на ранжирование. Их используют тогда, когда среди множества вариантов ответов требуется выявить наиболее важные и значимые для респондента. В этом случае опрашиваемый присваивает каждому ответу соответствующий номер в зависимости от степени его значимости.
Существенное значение имеет предварительное апробирование анкеты. Внешние признаки ответов (стереотипность, односложность, альтернативность, значительное число ответов типа «не знаю», «затрудняюсь ответить» или пропусков; угадывание ответа, желательного для исследователя, и т. п.) свидетельствуют, что формулировки вопросов сложны, неточны, в известной мере дублируются одна другой, сходны по содержанию, что анкетируемые не осознали значения проводимого опроса, важности правдивых ответов.
При использовании данного метода необходимо учитывать его существенный недостаток: высокую степень субъективности ответов вследствие стремления человека показать себя с лучшей стороны, соответствовать социальным нормам и скрыть недостатки. Анкетный опрос – доступный, но и более уязвимый для всякого рода влияний метод.
Тест – это стандартизированное задание (или особым образом связанные между собой задания), обычно ограниченное по времени, предназначенное для установления в сравнительных величинах индивидуальных (групповых) особенностей, меры выраженности изучаемого свойства у испытуемого.
В результате тестирования получают некоторую характеристику, показывающую меру выраженности исследуемой особенности у личности. Она должна быть соотносима с установленными для данной категории испытуемых нормами. С помощью тестирования можно определить имеющийся уровень развития некоторого свойства и сравнить его с эталоном или с развитием этого качества у испытуемого в более ранний период.
Тесты характеризуются следующими признаками:
• объективностью (исключением влияния случайных факторов);
• стандартизированностъю (установлением одинаковых требований и норм при анализе свойств испытуемых или процессов и результатов).
Тесты как метод исследования можно классифицировать следующим образом:
• по цели применения (диагностика обученности; диагностика групповых и индивидуальных психологических характеристик, диагностика личностного развития, диагностика в целях профориентации, профессионального отбора);
• по формам процедуры их применения (индивидуальные, групповые);
• по содержанию (определение уровня развития того или иного качества);
• по использованию (аналитические и синтетические, аппаратурные и выполняемые вручную, вербальные и невербальные).
Существенной представляется классификация на тесты (задания), которые предполагают правильный ответ, и на задания, относительно которых правильных ответов не существует. К первой группе (эти тесты еще называют объективными) относят большинство тестов интеллекта, тесты специальных способностей, некоторых личностных черт, а также дидактические. Тесты второй группы – это задания, которые характеризуются лишь частотой (и направленностью) того или иного ответа, но не его правильностью (большинство личностных опросников, например, тест 16PF Р. Кэттелла).
Различают вербальные и невербальные тестовые методики. Вербальные тесты апеллируют к системе убеждений, отношений, мотивов, памяти, воображению в их опосредованной языком форме. Невербальные же включают речевую способность испытуемых только в плане понимания инструкций, само же выполнение задания опирается на невербальные способности – перцептивные, моторные.
Для диагностики обученности в основном применяются предметные или дидактические тесты и тестовые задания, тесты успешности или достижений в следующей форме: тесты-вопросы, тесты с заполнением пропусков, с выбором ответов, тесты «правильно-неправильно», со свободным ответом.
Для диагностики воспитанности и качеств личности наиболее распространены личностные, ориентированные на критерий или проективные тесты, тесты для диагностики психических состояний, свойств личности и межличностных отношений.
Для диагностики уровня развития применяются тесты диагностики интеллекта, познавательных процессов, креативности, тесты психомоторики.
По направленности тесты делят на тесты достижения, способностей и личностные.
Тесты достижений – это в основном дидактические тесты, определяющие уровень овладения учебным материалом, сформированность знаний, навыков и умений. Дидактический тест следует понимать как систему заданий специфической формы и определенного содержания с целью объективной оценки структуры и измерения уровня подготовленности человека. Трудность задания как субъективное понятие определяется эмпирически, по величине доли неправильных ответов. Этим трудность отличается от объективного показателя – сложности, под которой понимают совокупность числа понятий, вошедших в задание, числа логических связей между ними и числа операций, необходимых для выполнения задания.
Тесты способностей чаще всего связаны с диагностикой познавательной сферы личности, особенностей мышления, интеллекта. Они позволяют судить не только о результатах в усвоении определенного учебного материала, но и о предпосылках респондента к выполнению заданий данного типа, класса. К ним относятся, например, тест Равена, тест Амтхауэра, субтесты Векслера и др.
Личностные тесты дают возможность по реакции на задания судить об особенностях свойств личности – направленности, темпераменте, чертах характера. Проявления личностных свойств могут вызываться посредством предъявления проективного материала (незаконченные предложения, изображения, стимулирующие ассоциативные реакции респондентов).
Метод тестирования широко применяется в педагогических исследованиях. В то же время специалисты отмечают его определенные недостатки.
1. Успешное решение теста в обычных условиях не означает успешность аналогичных действий в сложной обстановке. Респондент, получивший высокий балл по результатам тестирования в обычных условиях, может оказаться эмоционально неустойчивым к стрессам, теряться в опасной ситуации.
2. Зная характер тестовых процедур (а скрыть их при массовых исследованиях практически невозможно), испытуемому можно подготовиться к выполнению аналогичного теста, а в некоторых случаях – узнать результат заранее. Возникает даже эффект, когда некоторые респонденты лучше выполняют тест не в силу своих способностей, а по своей предусмотрительности, находчивости, смекалке, а иногда и хитрости. Данный факт заставляет создателей тестов идти на различные ухищрения, например создавать тесты с дублирующими друг друга вопросами.
3. Результаты тестирования в данный момент могут существенно разниться с результатами подобных испытаний через значительный промежуток времени в силу неравномерного развития различных качеств у людей.
Тесты должны удовлетворять определенным требованиям, к числу которых следует отнести педагогическую, социальную и профессиональную направленность, надежность, валидность, устойчивость, достоверность, хорошую интерпретируемость. Создание тестов требует высокого уровня психолого-педагогической компетентности педагога и в большинстве случаев специальной подготовки. Эта работа связана с отбором заданий, обеспечением надежности и обоснованности информации, получаемой в период тестирования. Должны быть учтены состав обследуемых, их возрастные характеристики, этапы исследования, условия обследования, мотивационный настрой.
Практика показывает, что одни и те же тестовые методики могут успешно применяться в одних условиях и ненадежно – в других. Серьезный отпечаток на результаты тестирования накладывает фактор того, в какой ситуации проводится диагностика, – экспертизы либо доверительного контакта.
Также надо иметь в виду, что при использовании тестов каждая последующая группа обследуемых знает их содержание. Это необходимо учитывать при периодическом обследовании. Следует понимать, что результаты тестирования остаются достоверными в течение определенного времени. Выявленные характеристики не остаются постоянной величиной в течение всего периода, а изменяются под воздействием различных факторов. Результаты обследования сохраняют достоверность от трех месяцев до года.
С учетом отмеченных обстоятельств целесообразно применять не отдельный тест, а их совокупность, батарею тестов, добиваться их высокой надежности и валидности, повышать квалификацию исследователей. Все это создает предпосылки для широкого применения тестовых методик в психолого-педагогических исследованиях.
Один из наиболее эффективных способов сбора информации в педагогическом исследовании – экспертный опрос, предполагающий получение данных с помощью знаний компетентных лиц путем опроса нескольких человек (экспертов, сведущих в исследуемой области). Данный метод экспертной оценки можно рассматривать как одну из разновидностей опроса (либо анкетирования). Результаты опросов, основанные на суждении специалистов, называются экспертными оценками. Поэтому и принято так обозначать этот метод.
Его преимущество заключается в определенной объективности получаемых данных, поскольку в состав группы экспертов включаются люди, глубоко, давно и с разных сторон знающие человека (проблему, объект исследования). Однако он трудоемок, и порой сложно определить компетентность экспертов.
Метод экспертного опроса применяется для решения таких задач, как:
• уточнение основных положений методики исследования, определение процедурных вопросов, выборе методов и приемов сбора и обработки информации;
• оценка достоверности и уточнение данных массовых опросов, особенно когда существует опасность их искажения;
• более глубокий анализ результатов исследования и прогнозирование характера изменений изучаемого психолого-педагогического явления;
• подтверждение и уточнение сведений, полученных с помощью других методов;
• анализ результатов исследования, особенно если они допускают различное толкование.
В каждом из упомянутых случаев экспертный опрос подчинен целям и задачам конкретного исследования и служит одним из инструментов для сбора информации об изучаемом объекте. Повышение достоверности результатов экспертного опроса достигается с помощью логических и статистических процедур, подбора специалистов, организации опроса, обработки полученных данных.
Практика показывает, что чем больше экспертов привлечены к оценке, тем более точен общий результат, тем точнее диагностируется уровень развития личности человека, группы респондентов. Учесть мнение всех экспертов по всем оцениваемым параметрам – задача трудная. С целью оптимизации обобщения мнений экспертов обычно применяются количественные оценки. Экспертам предлагается выразить свое мнение по 5-балльной (иногда – 3-, 4-балльной) дискретной шкале. При оценке тех или иных параметров могут определяться более конкретные и содержательные критерии.
Преимущество рассматриваемого метода заключается в том, что оценку дают сразу несколько экспертов независимо друг от друга. Он может использоваться для характеристик развития тех качеств, которые не поддаются количественной оценке.
Эксперты, привлекаемые к диагностике, должны быть подготовленными, компетентными, способными к творческому мышлению, объективными, самокритичными, глубоко понимающими значимость и ответственность экспертизы. Особое внимание необходимо обратить на продуманную постановку вопросов, ответы на которые должны дать достоверную и объективную оценку тех или иных качеств личности обучающегося, отражающую его практическую деятельность и знания.
2.4.4. Эксперимент как метод педагогического исследования