Оценка уровня компетентности эксперта
Компетентность (Гурвич) – способность эксперта давать info, близкую к истинной.
Классификация критериев компетентности:
1. Азгальдов:
a. Объективность;
b. Контактность;
c. Заинтересованность в экспертизе;
2. Гурвич:
a. Креативность;
b. Эвристичность;
3. Панкова:
a. Информативность;
b. Устойчивость мнений;
c. Владение семантическим полем проблемы (min – владение профессиональной лексикой);
d. Квалиметрическая или измерительная компетентность (способность эксперта работать в заданном режиме измерения, взаимодействовать с другими участника группы и т.п.);
4. Орлов:
a. Объективные показатели, связанные с опытом профессиональной деятельности:
1) Уровень образования;
2) Профиль работы (связь с предметной областью);
3) Опыт работы по профилю;
4) Количество и качество ранее выполненных экспертиз (ранее сбывшиеся прогнозы);
b. Уровень информированности экспертов:
1) Информированность по проблеме;
2) Устойчивость мнений по экспертной задаче;
3) Профессиональная беспристрастность эксперта;
c. Умение работать в команде:
1) Коммуникабельность;
2) Способность к совместному творчеству;
3) Нонконформизм;
Общие требования к оценке – эта процедура не должна быть навязчивой и слишком явной => использование min болезненных методов оценки.
Методы оценки компетентности экспертов:
1) Априорные. Оценка до начала экспертной деятельности.
a) Документальный. Оценка уровня компетентности по вторичным источникам:
i) Листки по учету кадров;
ii) Публикации;
iii) Индекс цитирования;
iv) Справочники профессиональных сообществ;
v) Рейтинги и топ-листы профессиональных журналов;
vi) Итоги конкурсов и т.п.
b) Метод самооценки. Паниотто, Азгальдов: этот метод эффективен, т.к. специалист, уверенный в своих знаниях, как правило, имеет высокий уровень самооценки. Орлов, Гурвич, Панкова: самооценка субъективно зависит от текущего момента в профессиональной деятельности:
i) Насколько вы информативны;
ii) Конкретный вопрос: можете ли вы проранжировать…;
c) Судейский метод. Взаимная оценка экспертами уровня компетентности друг друга (при условии знакомства экспертов). Задаются критерии компетентности или формируется группа наиболее компетентных экспертов, которые должны оценить других.
2) Апостериорные. Во время экспертной деятельности.
a) Тестовый метод. Позволяет оценить степень приближенности знаний эксперта к истинным. Используется на 1ом этапе, может камуфлироваться под экспертное задание. Очень надежный метод, т.к. правильное решение известно. Обычно тестируется 2 критерия:
i) Владение профессиональной лексикой;
ii) Уровень информативности по решаемой проблеме (1ый вопрос не является экспертной проблемой, а служит для оценки компетентности) => Ранжируем список экспертов с разным весом компетентности → после проведенного исследования этот список понадобится для того, чтобы выбрать мнение наиболее компетентных экспертов. В итоге получаем 2 списка:
(1) Список незаменимых экспертов (встреча с экспертами на любых условиях).
(2) Заменяемый список – для подстраховки (более жесткая договоренность, может быть меньшее вознаграждение). Для достижения договоренности необходим специалист.
Этап формирования рабочей экспертной группы: Необходим при будущей коллективной работе экспертов.
Подготовка экспертов к работе:
1) Содержательная адаптация экспертов – все эксперты должны одинаково владеть лексикой, знанием проблемы → в письменной форме или в процессе знакомства. Общее знакомство с экспертной проблемой (дается список вопросов, которые будут обсуждаться → обратная связь: насколько им понятны вопросы, необходимость получения дополнительной info и т.п. → коррекция методических документов).
2) Квалиметрическая адаптация – все получают info о том, какой метод сбора info будет использоваться.
3) Психологическая адаптация (только для групповых форм деятельности) – совмещается с процедурой знакомства:
a) Выявление напряженных оппозиций;
b) Выявление давления авторитетов;
c) Выявление наличия узких интересов;
20. Понимание единицы исследования и принципы ее выбора в социологическом исследовании.
Основная цель измерений в социологии – это получение информации о Степени наличия Изучаемого Признака, что позволяет глубже понимать сущность социальных явлений. В отличие от физики, например, в социологии нет общепринятой единицы измерения, нет единого точного измерительного инструмента, имеющего количественную шкалу с нулевой точкой отсчета и равными интервалами. Поэтому противники использования измерений в социологии утверждают, что нет смысла терять время и средства на разработку заведомо неточных методов исследования, поскольку социальные характеристики имеют существенно качественный характер и не могут быть предметом математического исследования.
На это можно возразить: математика располагает возможностями «перевести» наблюдаемые эмпирические отношения (носящие качественный характер) между величинами признаков в количественные (метрические) отношения.
Количественные показатели социологического исследования предполагают отбор численного состава эмпирических объектов с точным указанием их отраслей и территориальной принадлежности данной социальной организации. Количественный аппарат информации об объекте невозможен без определения Единиц измерения (наблюдения). Если объектом социологического исследования выступает деятельность людей, то единицами измерения являются Люди, обладающие определенными признаками поведения. Единицей наблюдения в социологическом исследовании называется тот элемент объекта, о котором непосредственно собирается информация. Используются в исследованиях две разновидности единиц наблюдения в объекте: Единица анализа, О которой собирается информация, и Единица сбора, от которой получают информацию. Для получения достоверных знаний об изучаемых объектах совсем необязательно, чтобы число единиц сбора было равно числу единиц анализа. Чем больше общих черт между последними, тем меньше необходимо единиц сбора информации.
Единицы измерения могут быть как отдельные индивиды, так и группы людей, составляющие объект исследования. В одном и том же исследовании могут выделяться различные по своему характеру единицы измерения (в зависимости от задач и гипотез исследования). Например, в исследованиях по перемещению рабочей силы можно выделить такие единицы наблюдения (измерения), как «выбывшие рабочие», «рабочие, сменившие место работы» и т. п.
Выделение признаков единиц с последующей их группировкой называется Типологизацией. Эти отличительные признаки могут подразделяться на: объективные и субъективные, существенные и несущественные, с выделением их качественных и количественных характеристик. Варианты Количественных признаков Отличаются друг от друга определенной величиной (возраст человека, его образование, измеряемое годами обучения и т. д.).
Качественные признаки Позволяют различать и группировать единицы наблюдения в объекте по содержанию (например, по профессиям – токарь, слесарь, вальцовщик). Качественные признаки отражают неотъемлемое свойство объекта исследования. Поэтому, качественные признаки еще называют Атрибутивными. В тех случаях, когда варианты качественных признаков противоположны по значению, взаимоисключают друг друга, их называют Альтернативными (мужчина – женщина, активный – пассивный и т. д.). Количественные признаки можно измерить при помощи единиц измерения. Значения этих признаков отличаются по величине.
Количественные признаки могут быть непрерывными (выражены только целым числом, например, число работников) и дискретными, которые принимают любые промежуточные значения и могут выражаться дробью.
Под количественным определением (квантификацией) события понимается его замена числами. Целью такой замены является возможность оперировать числами вместо того, чтобы действовать с реальными вещами. Но операции с числами должны адекватно отражать действия с вещами и обосновываться известными свойствами самих вещей, иначе получаются фиктивные результаты.
Определение единицы измерения – важнейшие условие надежности техники получения первичной информации. Поиск единицы измерения осуществляется в четыре этапа.
1. Качественная классификация объекта, исходя из теоретической концепции и задач исследования. Например, исследуя структуру ценностных ориентаций, мы должны выделить типы ориентаций, выбирая в качестве критерия классификации иерархию потребностей, сферы деятельности, социальные функции различных ориентаций и т. п.
2. Поиск протяженности выделенных в качественном анализе свойств. Следует представить эти свойства в виде различных последовательных состояний измеряемого свойства: а) сильная – средняя – слабая интенсивность ориентации; б) устойчивая – малоустойчивая – неустойчивая ориентации; в) центральная или периферийная.
3. Установление эмпирических индикаторов или внешних признаков тех свойств объекта, которые поддаются расположению в континуум по некоторым индикаторам.
4. Уяснение, все ли единицы измерения, характеризующие объект, укладываются в ранжируемый ряд, все ли они обладают свойствами занимать определенное место в континууме отношений по принятым индикаторам.
В итоге всех этих операций устанавливается эталон или шкала измерения.
Индикатор – Внешний хорошо различимый показатель измеряемого признака. С его помощью устанавливается наличие или отсутствие признака, его состояние. Например, высота ртутного столбика термометра – индикатор температуры.
Простейший индикатор расположения какого-то объекта среди других объектов ориентации – порядковое по степени важности место, указанное респондентами в предложенном списке из 18 позиций, например. Объект, отмеченный первым номером представляет индикатор доминирования. Объект, помеченный 18 номером, представляет наименьший интерес (подавленная ориентация на данный объект).
Сложнее найти единицу измерения по критерию «сильные», «слабые», «средние» ориентации. Можно использовать такой прием. Допустим, измерению подлежат интересы к различным видам занятий. Предлагаются три одинаковых списка из 18 возможных занятий. В первой ситуации (широкий диапазон выбора, респондент может указать любое число занятий). Во второй ситуации (средний диапазон выбора) он может отметить шесть видов занятий. В третьем случае (узкий диапазон) – не более трех. Индикатор сильной ориентации проявится в последнем случае, средней во втором, слабой ориентации только при широком диапазоне выбора.
Одно и то же свойство можно фиксировать с помощью нескольких единиц измерения, которые сводятся в общий показатель – индекс.
21. Понимание генеральной и выборочной совокупности, общая характеристика методов формирования выборочной совокупности.
Генеральную совокупность составляют все единицы исследуемого объекта. Выборочная совокупность представляется определенной частью генеральной совокупности. Главным требованием, предъявляемым к выборочной совокупности, является репрезентативность, то есть соответствие по выделенным исследователем параметрам структуре и существенным характеристикам генеральной совокупности. Это позволяет, ограничиваясь исследованием единиц сбора информации в сравнительно небольшом объеме выборочной совокупности, утверждать с известной долей вероятности, что выявленные свойства характеризуют объект в целом.
Методы формирования выборочной совокупности зависят от целей исследования и гипотез. Прежде всего, следует по имеющимся данным о генеральной совокупности определить, какие из них имеют существенное значение в соответствии с целями исследования. Чаще всего из имеющихся в наличии статистических данных к началу исследования существенными являются: пол, возраст, образование, класс (курс) учащихся, род занятий, национальность, поселенская структура, поскольку они определяют различные типы людей по их отношению к важным аспектам трудовой, общественной, рекреационной деятельности. Как отмечает В. А.Ядов, в сочетании трех параметров – половозрастной структуры, социального состава, пространственной локализации – можно быть уверенным, что выборка будет представительна для анализа многих социальных проблем.
Степень репрезентативности выборочной совокупности измеряется Ошибкой выборки, то есть отклонением от соответствующих параметров в структуре генеральной совокупности. Уровень требований к репрезентативности выборки определяется целью исследования. Повышенная надежность (ошибка выборки до 3%) требуется в прикладных исследованиях, по результатам, которых предполагается принятие важных управленческих решений. Обыкновенная выборка допускает доверительный интервал распределений 0,03-0,1 (3-10%), приближенная – 10-20%.
Не каждое исследование нуждается в строгой статистической репрезентативности. Если социолога интересует не столько объект в целом (например, студенты университета), а отдельные, в том числе малочисленные, категории (проживающие на частных квартирах, имеющие детей), то необязательно, чтобы они были представлены абсолютно пропорционально их количеству в генеральной совокупности.
Численность (объем) выборки зависит от уровня однородности (разнородности) изучаемых объектов. Чем более они однородны, тем меньшая численность выборки необходима, чтобы обеспечить ее репрезентативность. По расчетам В. И.Паниотто, с допущением 5-процентной ошибки для генеральной совокупности 500 человек, репрезентативная выборка должна включать 222 человек (44%), для 100000 человек – 400 единиц (0,4%), то есть, чем больше численность генеральной совокупности, тем меньшую долю от нее может составлять объем выборки.
Для формирования выборочной совокупности используют различные методы отбора единиц наблюдения (от кого получают информацию). При небольших по численности генеральных совокупностях применяют Простую бесповторную выборку, например, каждого 10го по списку, включающему все единицы анализа (о ком собирается информация). Главное условие – равенство шансов (вероятности) попадания в выборку для всех единиц генеральной совокупности.
Для формирования выборки из больших совокупностей используют районированную многоступенчатую выборку. На каждой ступени отбора следует обоснованно отобрать районы (кварталы города, типы поселений, категории населения по образованию, рода занятий и т. п.).
Используя математико-статистические методы расчета объема репрезентативной выборки, следует главное внимание сосредоточить на качественном анализе структуры генеральной совокупности и выборки, на существенных факторах и условиях, определяющих социальные взаимодействия.
22. Вероятностные способы выборки в социологическом исследовании. Принципы их осуществления. Простая случайная выборка: процедурные особенности.
23. Выборочная совокупность обычно формируется таким образом, чтобы при минимуме единиц отбора с определенной степенью вероятности была смоделирована генеральная совокупность с учетом характеристик, достаточно значимых с точки зрения задач исследования. Свойство выборки моделировать эти характеристики называется Репрезентативностью.
24. Основным принципом Вероятностного способа создания выборки является равенство шансов попадания в нее для всех элементов (индивидов или группы), составляющих генеральную совокупность.
25. Первой предпосылкой для этого является определение Основы вероятностной выборки – перечня элементов генеральной совокупности, который должен удовлетворять требованиям полноты, точности, адекватности и удобства работы с ним. Основой могут служить алфавитные списки (картотеки) сотрудников упреждения, классные журналы в школе и т. п. Специально создаваемой основой для различных типов исследований может быть Социальная карта региона, города и т. п., в которой систематизируется информация о размещении половозрастнойи социальной структуре, движении населения, об условиях труда и досуга.
26. По сформированной основе различными процедурами осуществляется а) простая случайная бесповторная выборка и б) простая случайная повторная выборка. Простая случайная бесповторная выборка предполагает отбор единиц анализа наугад из генеральной совокупности, например, из картотеки, в которую включены все сотрудники организации. Или с помощью таблиц случайных чисел отбираются номера из алфавитного списка. При организации бесповторного отбора пропускаются одни и те же числа, попадающиеся повторно. Если же работают по картотеки, то попавшие в выборку карточки не возвращаются в картотеку.
27. Для определения репрезентативности и объема простой случайной выборки «Рабочая книга социолога» (1988, с. 212) рекомендует следующую таблицу формул:
| Способ отбора | Отбор по качественному признаку (для доли) | ||
| Средняя ошибка | Предельная ошибка | Объем выборки | |
| Повторный случайный | 
| 
| 
|
| Способ отбора | Отбор по количественному признаку (для средней) | ||
| Средняя ошибка | Предельная ошибка | Объем выборки | |
| Повторный случайный | 
| 
| 
|
28. Обозначения: