Аннотация

Обсуждается построение показателей, основанных на балльных оценках нескольких объектов. Для более адекватной оценки каждого из них учитываются оценки всех объектов, причем предлагается вводить параметры оценивания, индивидуальные для каждого респондента.
Вводится понятие «стандартного» профиля респондента. Показано влияние различных методик расчета на итоговые показатели.

Содержание

  1. Балльные оценки
  2. Интервальная шкала
  3. Индивидуальная шкала оценок
  4. Профиль респондента
  5. Отношение респондента к объекту оценки
  6. Предпочтения: стандартный профиль респондента
  7. Экспансивность оценок
  8. Очистка данных
  9. Заключение: ну и что мне делать с этими баллами?…

1. Балльные оценки

Психологические тесты, как правило, не предполагают взаимодействие респондентов во время опроса. Поэтому любой групповой показатель имеет смысл только тогда, когда он имеет смысл и для единственного респондента. Это и позволяет нам рассматривать группу как некоего «обобщенного» респондента и приписывать ему некие «средние» показатели. Но тогда можно сказать, что:

    тщательный анализ оценок одного респондента является основой для получения как индивидуальных, так и групповых показателей

Рассмотрим такой вариант первичных данных (назовем их b-оценками):

  • имеются оценки n объектов;
  • они находятся в диапазоне от bmin до bmax;
  • большее значение bi соответствует большей «предпочтительности» объекта Оi.

Примерами могут служить любые балльные шкалы (самоотношения, …), шкала социальной дистанции Богардуса и многие другие. Основной недостаток таких оценок – наличие неконтролируемого сдвига из-за:

  • выставления социально-ориентированных оценок;
  • индивидуальной склонности респондента к выставлению оценок того или иного рода.

Поэтому надо

    из полученных балльных оценок как «внешнего» выражения отношения респондента вывести его «внутренние», истинные предпочтения

Строго говоря, баллы — это только ранжирование. Отметим, что реальные основания для именно такого предпочтения объектов выявить весьма трудно, поскольку и сам респондент не всегда может их сформулировать.

Баллы позволяют установить порядок предпочтений для данного респондента и проранжировать объекты. Ранжирование оценок одного объекта различными респондентами обычно дает мало толку, поскольку при большом числе респондентов появляется слишком много совпадающих рангов.
Обоснованными здесь являются только статистики номинальной и порядковой шкал. Причем уже простейшая статистика — распределение частот оценок — позволяет многое сказать об «участниках»: объектах и респондентах.

2. Интервальная шкала

Ранговый характер b-оценок позволяет довольно много узнать как о респонденте, так и о группе в целом. Но чтобы пойти дальше и извлечь из b-оценок более детальную информацию, необходимо всё же сделать предположения о характере самой процедуры оценивания. Т.е., надо постулировать тип шкалы, по которой получены оценки. Мы будем полагать, как часто делается, что шкала b-оценок равноинтервальна. Т.е., для респондента различие двух объектов с оценками b и b+1 не зависит от величины b.

Это очень сильное предположение, и его обоснованность требует специальных исследований. Тем не менее, будем надеяться, что некоторые отклонения от равенства интервалов между соседними делениями шкалы не очень скажутся при описании интересующих нас характеристик респондента (или всей группы респондентов). Это означает к тому же, что не следует слишком уж доверчиво относиться к критериям согласия при сравнении различных оценок.

3. Индивидуальная шкала оценок

Первым шагом к стандартизации показателей является нормировка шкалы на интервал [-1; 1]. Однако, это никак не решает поставленных задач.

Оценивая объекты, респондент сравнивает их только между собой — именно такая задача ставится перед ним. Но тут проявляется его индивидуальная склонность завышать (занижать) все оценки или же давать крайние оценки. И это вполне понятно. Например, не всякий человек склонен обнародовать оценку типа «не хочу видеть в своей стране людей такой-то национальности», он скорее предпочтет более «мягкую» формулировку. Или признать, что ценность «Мир во всем мире» для него не так уж и важна. Чаще всего такое уклонение от «правдивого» ответа обусловлено уж слишком лобовым характером самого вопроса. Отметим этот факт:

    Склонность респондента в использованию только части диапазона оценок может изменить показатели для группы в целом

Использование своего диапазона оценок есть проявление индивидуальности респондента. Такой персональный, индивидуальный диапазон оценок определяется максимальным и минимальным значениями выставленных оценок. Он всегда находится внутри предлагаемого шкалой [bmin; bmax] (рис. 1, индивидуальный диапазон выделен красным).

Pr_pic_01

Рис. 1. Индивидуальный диапазон оценок.

    Значимость таких параметров и их влияние на характеристики респондентов и группы в целом можно проиллюстрировать прямыми данными. Автор провел соответствующие исследования на материале, предоставленном И.И. Кауненко (2004–2008 гг.). Из 856 респондентов, отвечавших на вопросы теста «Социальная дистанция», 263 (30,7%) использовали значения R, меньшие 6 (размах предлагаемой шкалы). При этом 187 (21,8%) не использовали ответ «Предпочел бы не видеть их в моей стране» (максимальное значение шкалы, равное 7), а 100 (11,7%) не использовали ответ «Принятие как близких родственников посредством брака» (минимальное, 1).
    Отмечу, что 14 (1,6%) респондентов вообще дали одну и ту же оценку для всех объектов, т.е., по сути дела, отказались от выполнения теста. Тем не менее, исследователи настаивали на включении этих респондентов в выборку. Хотя это и приводит к систематическому сдвигу средних по группе…

Распределения индивидуальных величин — bmax(k), bmin(k), , и R(k)=2·М(k) — по выборке могут дать существенную информацию о группе и послужить хорошей основой для сравнения групп между собой. Проблема — в умении исследователя содержательно интерпретировать эти различия…

    Например, в том же исследовании сравнение по этим параметрам трех возрастных групп (подростки – молодежь – взрослые) выявило значимые отличия между взрослыми и подростками с молодежью, которые между собой отличались незначимо. Наблюдалась четкая тенденция к снижению числа негативных оценок с возрастом и снижение размаха оценок.

Поскольку такие показатели характеризуют именно группу как «оценивающего субъекта» безотносительно к выделению того или иного объекта, то при обычной методике расчета они остаются вне внимания исследователя, хотя и представляют несомненный интерес. Кстати, при использовании теста социальной дистанции разумно преобразовать оценки таким образом, чтобы большее значение показателя соответствовало и более позитивной оценке объекта, как это интуитивно полагается.

Сформулируем — для каждого респондента:

  • «внешнее» отношение к объектам оценки выражается как в значениях оценок, так и в индивидуальных параметрах оценивания;
  • «внутреннее» отношение выражается в структуре оценок, которая характеризует относительное расположение объектов в сознании респондента.

4. Профиль респондента

Совокупность оценок одного респондента наглядно представляется его «профилем». Три таких профиля для 7-балльной шкалы изображены на рис. 2.

Pr_pic_02

Рис. 2. Профили трех респондентов.

В можно было бы назвать настроенным «позитивно», С — «негативно», а А — «нейтрально». Но при всем этом интуитивно ясно, что все трое относятся к объектам, в общем-то, одинаково. Профили В и С отличаются сдвигом, профиль А — растяжением. Такое различие оценок обусловлено именно индивидуальным стилем высказывания.

Сформулируем максимальные требования к стандартному профилю:

  1. Значения показателей должны находиться в диапазоне [-1; 1].
  2. Объекты с b-оценками, равными bmax(k) и bmin(k), должны иметь значения показателя, равные +1 и -1 соответственно.
  3. Среднее значение всех показателей должно равняться нулю («центрированность» показателя).

К сожалению, 2 и 3 требования противоречат друг другу — в общем случае добиться их одновременного выполнения нельзя. Поэтому придется выбирать:

  1. 1 + 2: крайних значений не менее 2-х, но среднее значение не равно 0;
  2. 1 + 3: центрированность, но крайнее значение м.б. и только одно.

Конечно, при специальном подборе оценок можно выполнить все 3 условия, но нам-то нужен произвольный случай. Выбор довольно труден — оба варианта имеют свои преимущества.

В первом варианте облегчается задача выделения «крайних» объектов, поскольку такие объекты характеризуются значениями ±1. Но трудно ожидать, что остальные объекты расположатся настолько удачно, чтобы среднее значение равнялось нулю. Среднее значение показателей как раз и характеризует общий настрой в оценке. Поскольку оно чаще всего будет невелико по абсолютной величине, то речь идет скорее о знаке этого отношения. Следовательно, такая система показателей отражает отношение респондента к объектам.

Второй вариант соответствует интуитивному представлению о профиле как о такой структуре отношений респондента к объектам, при которой он находится «в равновесии между объектами», в некоем «центре тяжести» этой группы объектов. Такая система показателей отражает предпочтения респондента по отношению к объектам. Тогда естественно полагать, что, скорее всего, только один из них находится дальше всех от «центра».

Впрочем, что мешает использовать оба варианта?

5. Отношение респондента к объекту оценки

Для 1-го варианта нормируем индивидуальные b–оценки по формуле:

Pr_f_01 (1)

с такими параметрами:

— середина диапазона b-оценок данного респондента
— полуразмах его b-оценок

Это дает нам нормированную р-оценку (от англ. personal — личный, персональный) объекта Оi:

(2)

Здесь и далее индекс респондента ‘k’ будем опускать для упрощения записи, если это не приведет к недоразумениям. Монотонность преобразования (1) обеспечивает сохранение порядка р-оценок, поэтому все ранги объектов для данного респондента сохраняются.

Легко рассчитать среднее значение р-оценок:

Pr_f_03 (3)

Здесь <b> — арифметическое среднее всех b-оценок, выставленных респондентом:

Pr_f_04 (4)

Так как среди р-оценок некоторые принимают экстремальные значения ±1, то легко выделить объекты, наиболее предпочитаемые или отвергаемые данным респондентом. Среднее значение р-оценок для респондента характеризует его «настрой оценивания» — положительное значение свидетельствует о том, что б´ольшая часть его оценок выше середины индивидуального диапазона оценок (отголосок «внешнего» оценивания).

Формула (2) решает задачу получения показателей отношения (т.е., 1-й вариант). Основной недостаток р-оценки в том, что она учитывает оценки остальных объектов лишь частично — через максимальное и минимальное значения индивидуального диапазона.

Поэтому следует найти такие показатели отношения к объекту, значение которых для любого объекта учитывало бы явно оценки всех объектов. Только тогда решается задача построения показателя, характеризующего внутреннее отношение респондента к каждому объекту.

6. Предпочтения: стандартный профиль респондента

Вернемся к первому варианту. Поскольку мы хотим получить центрированные показатели, то из значений р-оценок надо вычесть их среднее значение: pi — <p>. А поскольку мы хотим, чтобы хотя бы один из объектов с р = ±1 имел в новом показателе значение ±1, то разность эту надо нормировать. Для этого разделим разность на её максимальное значение v = max{abs(pi — <p>)}:

Pr_f_06 (6)

После всех преобразований формула для расчета принимает простой вид:

Pr_f_07 (7)

где нормировочный множитель тоже весьма прост: w = max{abs(bi — <b>)}, средний балл вычисляется по формуле (4).

Для примера приведем баллы и вычисленные по ним показатели (оценивались 5 объектов по 7-балльной шкале).

Pr_pic_03

Рис. 3. Профили оценок.

Как уже упоминалось, несомненным плюсом введенного формулой (7) показателя «предпочтение» является учет оценок всех объектов при расчете показателя одного объекта. Поэтому можно ожидать, что введенный показатель «предпочтение» является более адекватным для учета индивидуальных особенностей респондентов (даже без учета индивидуальных параметров оценки).

Таблица 1. Сравнение различных показателей 3-х респондентов.

Pr_t1

Для удобства отрицательные значения выделены красным. Как уже говорилось, линейная по переменной «b-оценка» нормировка с любыми прочими величинами, одинаковыми для респондента, не меняет рангов объектов. В данном случае они совпали с рангами средних b-оценок.

В то же время ранги групповых средних значений различаются для различных показателей. Причем разность рангов одного и того же объекта достигает 2 — и это при 5-ти объектах! Показательно, насколько по-разному распределяются первые три объекта в р-оценках и в s-предпочтениях. Отметим и тот факт, что именно эти показатели смогли «развести» по местам 4-й и 5-й объекты, делившие в b-оценках 1-2 места.

Меры различия между распределениями рангов могут быть различными. В качестве таковых приведем коэффициент ранговой корреляции (по Спирмену, поправка на совпадающие ранги учтена) и городское расстояние L (см. табл. 2).

Таблица 2. Меры различия распределений рангов.

Сравниваемые показатели ro L
b-оценки — p-оценки 0,85 3
p-оценки — s-предпочтения 0,70 4
b-оценки — s-предпочтения 0,55 5

Таблица 3. Ранги респондентов по различным показателям.

Pr_t3

И эдесь различие между р-оценками и s-предпочтениями больше всего. При этом изменения рангов таковы, что могут кардинально поменять выводы исследователя о структуре выборки и её предпочтениях. Например, если судить о «настрое» респондента по сумме мест, которые он получил при ранжировании объектов, то все три показателя дадут различные ранги.

Но «лучше один раз увидеть…»:

Pr_pic_04

Рис. 4. Профили 3-х респондентов в различных показателях.

На первый взгляд, профили очень похожи, что, впрочем, естественно — ведь они отражают одни и те же оценки. Но именно различный сдвиг и растяжение/сжатие приводят к изменению рангов респондентов, которые они получают по каждому из показателей для каждого объекта.

Предпочтения, вычисленные при помощи индивидуальных параметров, назовем р-предпочтениями. Наибольших отличий в групповых результатов можно ожидать именно от предпочтений. Связано это с тем, что данный показатель получается с помощью нелинейного преобразования (7).

Отметим, что само разнообразие показателей и степень их согласованности могут служить характеристикой группы, что, естественно, требует дальнейшего анализа как исследователями-психологами, так и аналитиками.

7. Экспансивность оценок

Рассмотрим ещё один аспект отношения респондента к объектам в целом — какие оценки он чаще выставляет: экстремальные или же из середины диапазона? Этот аспект можно назвать «экспансивностью» респондента e (от англ. expansive). В качестве меры можно выбрать любую меру рассеяния. Предлагаю выбрать нормированное среднее абсолютное отклонение b-оценок респондента:

Pr_f_05 (5)

Т.е., экспансивность равна среднему абсолютных значений р-оценок объектов, причем e [0; 1].

Таблица 4. Экспансивность респондентов, вычисленная по различным показателям.

Pr_t4

Экспансивности по b- и р-оценкам, естественно, одинаковы. Поскольку среднее значение предпочтений равно нулю, то в таком показателе экспансивность сводится к сумме абсолютных значений s-предпочтений. И тут различие весьма значительно — при всего трех рангах городское расстояние между рангами экспансивностей по p-оценкам и по s-предпочтениям равно 4 — максимально возможному!

Можно вычислить и экспансивность группы по объекту Оi. Она близка к 1, если объект получает крайние оценки у большинства респондентов. Это происходит в случае, когда группа «монолитна» в своем отношении (позитивном или негативном) к этому объекту. Либо она представляет собой «смесь» из двух подгрупп с противоположным отношением.

Таблица 5. Экспансивность по объектам.

Pr_t5

Тут согласие получше, но ведь дело в принципе… Заключение о ранжировании оцениваемых объектов группой респондентов может быть совершенно различным, если оно опирается на различные показатели.

Кстати, из того, что все данные в статье носят демонстрационный характер, вовсе не следует, что при больших группах и при большем числе объектов получаемые эффекты исчезнут. Бабка надвое сказала… Может, ещё и усилятся.

8. Очистка данных

Рассмотрим некоторые ситуации, возникающие при определенных наборах b-оценок. Вначале обратимся к данным, содержащим оценки всех объектов. Даже в этом случае, обычном и благополучном, возникает специфическая проблема. Пусть респондент поставил всем объектам одинаковые оценки. Но ведь в этом случае он, в сущности, оценивания не произвел и просто «отмазался» от опроса (например, в упомянутом исследовании таких было 1,4%). При общепринятом методе расчета такой респондент благополучно (и незаметно!) вносит в показатели свою долю «шума», лишь затушевывая возможные интересные результаты.

Формально это вылезает при расчете р-оценок. Ведь в данной ситуации bmin = bmax, выражение в знаменателе формулы (2) обращается в ноль, что лишает смысла все р-оценки данного респондента. Поскольку деление на ноль не определено, его результат можно выбрать любым. Поэтому, даже формально, такого респондента следует исключить из расчетов показателя.

С т. зр. s-предпочтений все его предпочтения просто равны нулю. Это легко учесть при расчетах. Но тут возникает проблема усреднения — ведь и ноль вносит свой вклад в эту величину, увеличивая знаменатель как раз на число таких нулей. И если бы не пропуски прочих данных, это можно было бы проигнорировать как «несущественное изменение масштаба». Правда, это «прошло» бы только внутри одного исследования, где учитываются одни и те же респонденты.

Поэтому, по моему мнению, следует сразу исключить таких респондентов из потока обработки. Они вполне могут представлять отдельный интерес для исследователя, но уж никак не должны учитываться при расчетах показателей. Обычно их число невелико, и потерями можно пренебречь. Выкидываем же мы в ранговых критериях случаи с совпадающими рангами — и ничего, живем.

При подсчете же «внешних» показателей такой респондент тоже «вылезет» из общего потока. Его учет в этом случае тоже должен быть обдуман, а процедура зафиксирована ДО начала исследования.

Тогда же надо обсудить и неизбежные, к сожалению, пропуски данных. Следует задаться той долей пропущенных респондентом оценок, превышение которой приводит к исключению его из обработки. Если пропущена только одна оценка, то остальные данные такого респондента, по-видимому, ещё могут учитываться при расчете прочих оценок и предпочтений. При пропуске же большего числа оценок точность получаемых показателей снижается. Поэтому следует заранее, до обработки данных установить, какое число и каких пропусков всё же допустимо.

9. Заключение: ну и что мне делать с этими баллами?…

Не буду касаться нескольких аспектов балльных оценок нескольких объектов, которые могут сильно исказить получаемые на их основе результаты. Во-первых, сам способ получения результирующего балла во многих методиках вызывает серьезные подозрения в их обоснованности. Во-вторых, предполагаемая равноинтервальность балльной шкалы весьма сомнительна. И никакое увеличение числа вопросов не спасает балльную шкалу от этой проблемы.

Конечно, даже простая нормировка по формуле (1) с общими для всех респондентов параметрами на диапазон [-1; 1] — уже шаг вперед. Такие оценки естественно называть с-оценками (от common — общий). В частности, для опросника Богардуса bmin = 1, bmax = 7, bmiddle = 4, R = 6, M = 3. Но посмотрите на рис. 5 и, что говорится, «найдите отличия» от верхнего графика («Балл») на рис. 4.

Pr_pic_05

Рассмотренные выше показатели позволяют отразить различные аспекты отношения респондента к объектам. Методика их расчета опирается на предположение об интервальности шкалы первичных оценок, которое, скорее всего, выполняется весьма приблизительно. Более адекватный перевод балльной шкалы в интервальную требует специальных исследований. Например, возможно применение метода расстановки приоритетов для оценки интервалов между отметками балльной шкалы. При этом следует ожидать зависимости получаемых интервалов от демографических и социальных характеристик респондентов, что само по себе достаточно интересная задача.

Пока же можно сказать следующее. Пусть есть массив балльных оценок, данных группой респондентов одному и тому же набору объектов. К стандартно принятому частотному и т.п. анализам баллов как первичных данных следует добавить такой же анализ некоторых вторичных данных. Таковыми являются:

  • параметры индивидуальных оценок bmax(k), bmin(k), R(k), bmiddlek и M(k);
  • р-оценки;
  • s-предпочтения.

Предлагаемые методики расчета требуют значительного объема вычислений и разработки новых алгоритмов их выполнения. Поэтому их дальнейшее развитие имеет смысл только после всестороннего обсуждения смысла и адекватности вводимых показателей.

Хотя предлагаемые методики расчета требуют значительного объема вычислений и разработки новых алгоритмов их выполнения, в современных условиях это никак не может служить ограничением для их применения. Куда важнее концептуальная ясность предлагаемых показателей. Дело теперь за «предметниками» — психологами, социологами и пр. исследователями. Dixi.

Реклама

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s

%d такие блоггеры, как: