Аннотация

На примере результатов опроса «Якоря карьеры» обсуждаются проблемы, возникающие при построении и интерпретации показателей, получаемых суммированием баллов.
Трудности с интерпретацией многих ответов позволяют утверждать, что опросник «Якоря карьеры» в его теперешнем состоянии следует признать концептуально невалидным.
Предложены способы исправления исследованных недостатков.


Возможно, многие математики предпочли бы вести откровенный разговор о современном статусе своей науки в узком кругу профессионалов. Публичное обсуждение возникающих трудностей они считают таким же проявлением дурного вкуса, как разглашение перед посторонними семейных тайн. Но мыслящие люди должны отчетливо осознавать сильные и слабые стороны тех средств, которыми они располагают. Ясное понимание ограниченности (равно как и возможностей) того или иного подхода приносит несравненно больше пользы, чем слепая вера, способная исказить наши представления или даже привести к краху.

М. Клайн. Математика: утрата определенности.

Содержание

  1. О чем пойдет речь
  2. Интерпретация ответов
    1. Стабильность работы
    2. Стабильность места жительства
    3. Профессиональная компетентность
    4. Автономия
    5. Служение
    6. Вызов
    7. Интегрированный стиль жизни
  3. Как мы спрашиваем
  4. Как понимается вопрос
  5. Что же мы получаем
  6. Каков смысл показателя
  7. Кто же конструирует показатель
  8. Параметры показателя
  9. Размах оценок
  10. Определенность показателя
  11. И что делать?

1. О чем пойдет речь

В очень многих тестах и опросах применяется т.н. балльная шкала. Значение показателя по такой шкале получается путем суммирования баллов. Балл назначается за каждый вопрос по определенному правилу – ключу. При этом, явно или неявно, предполагается:

все вопросы имеют прямое отношение к смыслу показателя
и полностью его раскрывают

Анализом этого предположения и вытекающих из него следствий я и займусь. Сначала, на примере реальных данных опроса «Якоря карьеры», покажем распространенность проблем с интерпретацией данных, а затем обсудим общие проблемы, связанные с построением балльных показателей.

2. Интерпретация ответов

В качестве исходных данных для анализа я взял результаты опроса «Якоря карьеры» на сайте Бизнес-тренер, любезно предоставленные Николаем Типатовым.

Разберем несколько примеров ответов и попробуем выяснить, с какими проблемами в их интерпретации, а также в вычислении значения показателя мы можем столкнуться. Для четкого выделения проблемы следует, естественно, выбирать «крайние» случаи, в которых ответы относятся к крайним же значениям шкалы. Причем я выбирал для иллюстрации те случаи, в которых среднее абсолютное отклонение (САО) имело значения, максимально возможное для данного количества вопросов и возможных баллов. Это 4,32 для 5-вопросных показателей и 4 – для 3.

Напомню, что означают выставляемые баллы, которые потом суммируются для получения значения показателя (номера в заголовках столбцов относятся к вопросам первой и второй частям опросника):

Балл 1-21 22-41
1 абсолютно не важно совершенно не согласен
10 исключительно важно полностью согласен

Чтобы можно было сравнивать значения показателей, получаемых при различном числе вопросов, произведем их нормировку на интервал [0; 1]. Чтобы не было обвинений типа «такого не бывает, мало ли что вы там придумаете!», в качестве примеров буду приводить только реально имеющиеся в выборке варианты ответов. Они являются лишь частью теоретически возможных, конечно. Номера соответствующих респондентов в выборке приводятся в заголовках, над баллами. Приводятся не все ЯК, так как не всегда ответы были только 1 и 10, а варианты 1 и 9, 2 и 10 и т.п. я в таблицу не включал – слишком уж их много…

Конечно, автор любого опросника полагает, что уж он-то правильно и абсолютно прозрачно сформулировал вопрос. Допустим, что это и так. Хотя простейший анализ вопросов и комментарии респондентов позволяют в этом усомниться. Но вот за что голову могу дать наотрез – почти никто не пытался посмотреть, как сочетаются ответы на два или более таких «ясных» вопроса. Если и пробовал, то, похоже, тут же бросал это поганое дело. Мы продолжим.

2.1. Стабильность работы

Вот варианты (5 человек):

Вопрос Формулировка 117 499 172 394 454
J04 Иметь постоянное место работы с гарантированным окладом и социальной защищенностью 1 1 10

J12

Работать в организации, которая обеспечит мне стабильность на длительный период времени 10 1 10

J36

Я бы предпочел работать в организации, которая обеспечивает длительный контракт 1 10 1
Значение показателя: 0,33 0,33 0,67

Как это совместить, что имел в виду респондент №117 (женщина 33 лет, служащая со средн. спец. обр. неруков, образование высшее, мат. положение среднее)? Ладно бы она сделала это только в этом показателе, тогда можно полагать, что это просто сбой, ошибка ввода и т.п. выброс. Выкинуть этот ответ и забыть. Но ведь №117 имеет размахи в 9 баллов по 7 показателям из 9! Это уже диагноз, что ли?

Действительно, так ли уж велика смысловая разница между 36-м и 12-м вопросами, чтобы кто-то осознанно мог дать на них противоположные ответы? Я попросил своих друзей попытаться придумать такую ситуацию и такое понимание этих вопросов, чтобы можно было бы согласиться с ответами №117 без очень уж большой натяжки.

Не сразу, после криков и взаимных намеков на интеллект, но все же была придумана такая мотивация: иметь постоянно много мелких работ с одной и той же организацией, но не заключать с ней длительный контракт. Уф, допустим. Ну, и как тогда следует оценить для №117 «карьерную направленность» Стабильность работы – хочет она стабильную работу или нет? Типа: да, но…?

Кстати, есть человек, ответивший на эти два вопроса противоположным образом. С ним как? Хочет работать по длительному контракту в организации, которая не будет давать ему стабильности? Ну что ж, охота пуще неволи. Главное – у них одинаковые значения показателей! Вот это уже серьезно — присвоение одинаковых значений показателя респондентам, дающих противоположные ответы на одни и те же вопросы, говорит о полной несостоятельности такого показателя.

А как понимать ответы трех из последнего столбца? Хотят иметь постоянное место работы, но не связывать себя контрактом? Что тогда вообще имеется в виду, когда говорят о «стабильности работы»? Постоянное рабочее место в обозримом будущем или доступность работы в любое желаемое время? Ясно, что это принципиально разные требования! И о чем же спрашивается в этом «якоре карьеры»? Что тогда измеряет данный показатель? Что означает его величина, равная 0,5 или любому другому числу?

2.1. Стабильность места жительства

Варианты (7 человек):

Вопрос

Формулировка

253 390

215

185 326

36 122

L20

Оставаться на одном месте жительства, чем переехать в связи с повышением

1

1

10

10

L28

Для меня важнее остаться на нынешнем месте жительства, чем получить повышение или новую работу в другой деятельности

1

10

1

10

L41

Я предпочитаю работу, которая не связана с командировками

10

10

10

1

Значение показателя:

0,33

0,67

0,67

0,67

Ответы на вопрос 41 довольно часто противоположны остальным двум вопросам этого якоря. Он отличается от них и по смыслу – человек вполне может любить командировки (новые впечатления, любовница в другом городе, …) и в то же время не желать переезжать, даже в своем же городе (удобная квартира, гараж под боком, метро недалеко, прелестная соседка, приятели-собутыльники, …).
Вопросы 20 и 28 для меня лично вполне идентичны. Думаю, что и автор тоже так думал. Но нашлось же люди, которые ответили на них противоположно! Вообще, ответы на них встречаются во всех возможных сочетаниях.
И опять – в трех последних столбцах значения показателя одинаковы, а ответы – с точностью до наоборот. Ясно, что попытка «уточнить», «разнообразить» описание ЯК несколькими вопросами приводит только к недоразумениям.

2.1. Профессиональная компетентность

Варианты (5 человек):

Вопрос Формулировка 291 322 535 122 394
P01 Строить свою карьеру в пределах конкретной научной или технической сферы 1 1 10 10
P09 Продолжать работу по своей специальности, чем получить более высокую должность, не связанную с моей специальностью 1 10 1 10
P17 Посвятить всю жизнь избранной профессии 10 10 10 10
P25 Я соглашусь на руководящую должность только в том случае, если она находится в сфере моей профессиональной компетенции 10 10 1 1
P33 Я бы скорее ушел из организации, чем стал заниматься работой, не связанной с моей профессией 10 1 10 1

Значение показателя:

0,6 0,6 0,6 0,6

Порадуемся тому, что вопрос 17 получил 10 для всех отобранных респондентов. Остальные 4 «развалились» надвое – 2 по 1 и 2 по 10. Так что значения показателей у них одинаковы. И встречаются все возможные комбинации в первой и последней парах вопросов. А вот со смыслом опять невнятица. Попробуйте сами представить мотивацию человека, отвечающего так, как приведено в таблице. Примите валерьянку — и удачи вам! Мне начинает надоедать…

2.1. Автономия

Варианты (1 человек):

Вопрос Формулировка 326

A03

Иметь возможность делать все по-своему и не быть стесненным правилами какой-либо организации

1

A11

Иметь работу, не связанную с режимом или другими организационными ограничениями

10

A19

Иметь работу, которая представляет максимум свободы и автономии в выборе характера занятий, времени выполнения и т.д.

1

A27

В моей профессиональной деятельности я более всего заботился о своей свободе и автономии

1

A35

Я не хочу, чтобы меня стесняла какая-нибудь организация или мир бизнеса

10

Значение показателя:

0,4

Тут явно просматривается конфликт между двумя интерпретациями вопросов – личная автономия при выполнении своей профессиональной работы и независимость от внешних ограничений (типа налоговой инспекции?).

Этот респондент любопытен ещё и тем, что применял только три оценки – 1, 5 и 10.

2.1. Служение

Варианты (1 человек):

Вопрос Формулировка 303

S05

Употреблять свое умение общаться на пользу людям, помогать другим

1

S13

Употребить свои умения и способности  на то, чтобы сделать мир лучше

1

S21

Иметь возможность использовать свои умения и таланты для служения важной цели

10

S29

Я всегда искал работу, на которой мог бы приносить пользу другим

1

S37

Я бы хотел посвятить свою карьеру достижению важной и полезной цели

10

Значение показателя:

0,4

Отмечу, что эти вопросы получили наибольшее число комментариев от респондентов:

  • я не знаю, как сделать мир лучше, я могу повлиять только на себя, исходя из своих ценностей, что лучше, а что хуже
  • меня смущает слово «важной цели», для кого важной?
  • опять важная цель, для кого?

То есть, вроде бы «очевидный смысл» вопросов для автора (будем думать про него хорошо…) вовсе не является таковым для других. Напоминаю про презумпцию виновности автора!

2.1. Вызов

Варианты (2 человека):

Вопрос Формулировка 326 535

C06

Работать над проблемами, которые представляются почти неразрешимыми

10

1

C14

Соревноваться с другими и побеждать

10

10

C22

Единственная действительная цель моей карьеры – находить и решать трудные проблемы, независимо от того, в какой области они возникли

1

1

C30

Соревнование и выигрыш – это наиболее важные и волнующие стороны моей карьеры

1

10

C38

Я чувствую себя преуспевающим только тогда, когда я постоянно вовлечен в решение трудных проблем или в ситуацию соревнования

10

10

Значение показателя:

0,6

0,6

Кстати, №535 вполне последователен – он стремится к соревнованию и победе, но отнюдь не хочет решать трудные проблемы. И как оценить его ЯК Вызов? Опять амбивалентность!? А №326, похоже, сам не очень может сказать, чего он хочет. Или его поставили в такую ситуацию?

А вот и комментарии:

  • С06 — интересно добиваться положительного результата
  • С14 — соревноваться, значит доказывать кому-то, что ты лучше, мне это не интересно
  • С22 — странный вопрос,  трудные проблемы складского хозяйства для главбуха?
  • С38 — не обязательно соревнования

Как насчет «однозначности понимания»?

2.1. Интегрированный стиль жизни

Варианты ( человек):

Вопрос Формулировка 535 394 411 2

I07

Вести такой образ жизни, чтобы интересы семьи и карьеры взаимно уравновешивали друг друга

1

10

10

10

I15

Строить карьеру, которая позволит мне не изменять своему образу жизни

10

1

1

10

I23

Я всегда стремлюсь уделять одинаковое внимание моей семье и моей карьере

1

10

10

10

I31

Карьера имеет смысл только в том случае, если она позволяет вести жизнь, которая мне нравится

10

1

10

1

I39

Выбрать и поддерживать определенный образ жизни важнее, чем добиваться успеха в карьере

1

1

1

1

Значение показателя:

0,4

0,4

0,6

0,6

И тут возможно вполне разумное «расщепление» показателя (см. оценки №394) – человек ценит сочетание интересов семьи и карьеры, но безразличен к образу жизни как таковому.

3. Как мы спрашиваем

Теперь, когда мы убедились в существовании реальной проблемы, которую можно было бы назвать как «интерпретация показателя», обсудим её истоки и возможности её решения. Придется начать немного издалека, поскольку речь идет не только о конкретном опросе ЯК. Данная проблема возникает, к сожалению, весьма часто, во всех балльных шкалах.

Пусть мы хотим узнать (оценить, измерить) некоторое качество (свойство, мнение, …) опрашиваемого. Как же надо спрашивать, чтобы достичь цели? Например, мы хотим узнать отношение человека к чему-либо или ценность лично для него некоторого объекта. Проще всего спросить человека, вот он и скажет. В жизни мы чаще всего так и делаем. Но тут есть опасности, поскольку человек может:

1)      неверно понять вопрос (с нашей т.зр., естественно), и тогда его ответ будет, строго говоря, ответом на другой вопрос;

2)      исходя из своих целей, скрывать нужную нам информацию, особенно если его спросили «в лоб»;

3)      не осознавать своего «истинного отношения» к предмету беседы (особенно если речь идет о чем-то весьма для него болезненном).

В реальном диалоге мы можем все это как-то уточнить и, в конце концов, прийти к более или менее обоснованному выводу. Конечно, все очень зависит от обоих собеседников и прочих условий разговора, но в принципе возможно — есть обратная связь, мы можем внести коррективы в беседу.

Ситуация же опроса онлайн (или при обычном анкетировании-тестировании) принципиально одноразова и тем самым монологична: при анализе ответов они все, что у нас есть.

4. Как понимается вопрос

Естественно желание опрашивающего получить как можно более достоверную информацию. Тогда понятно стремление авторов тестов-опросов задавать «одинаковые по существу вопросы» для выведения «среднего значения». Но ведь «одинаковость вопросов» — дело проблематичное, полной синонимии не существует. Для «чистоты эксперимента» следовало бы задавать один и тот же вопрос — уж про него-то мы знаем наверняка, что он «одинаков». Ведь ситуативные воздействия мы все равно убрать не сможем, так хоть тут добьемся постоянства.

Проведем мысленный эксперимент (в реальности он для меня закончился плохо…) – будем задавать человеку один и тот же вопрос, подряд, чтобы не было времени на переключение внимания на нечто другое. Смешно стало? А почему, собственно? Метод «доведения до абсурда» (или: приведение к нелепости) — вполне законный логический метод.

Второй вариант эксперимента – один и тот же вопрос с некоторыми интервалами во времени. Опять-таки реакция людей разная, но даже в самом благожелательном случае вас спросят, что же именно вы имеете в виду и чего добиваетесь, чем вас не устраивает данный ранее ответ. Это разумно и естественно – раз вы повторяете вопрос, на который вам уже был дан ответ, то, значит, мне надо менять понимание вопроса, и, как следствие, свой ответ. Так рождается сдвиг понимания. И что самое разочаровывающее – нет способов заранее угадать, куда и как именно у данного респондента произойдет этот сдвиг.

Получается противоречие: для сохранения темы надо задавать один и тот же вопрос — и нельзя задавать один и тот же вопрос. Нечто вроде принципа неопределенности, аналогично объему и содержанию понятия – при попытке фиксировать, уточнить смысл понятия новым вопросом оно «пускает щупальцы» в самые разные стороны, что формирует в нем новые аспекты смысла.

Следовательно, пытаясь сузить смысл вопроса, конкретизировать его, мы на деле различными его формулировками только размываем его, уводим респондента от «центра понятия». Надеяться, что человек сам, подсознательно выделит некий единый смысл, ядро понятия, о котором мы его спрашиваем, просто наивно. Ну посудите сами: чтобы произвести такое выделение-обобщение, надо рассматривать все вопросы по этой теме сразу вместе. Только тогда, да ещё подчеркивая, что все вопросы обязательно имеют общий предмет, можно надеяться на некое общее понимание этого предмета. Посмотрите дискуссии на всяких ток-шоу — даже ведущему, со сценарием в руках, с трудом удается удержать обсуждение в рамках заданной темы.

При реальном обсуждении мы разумно придерживаемся одной темы и, лишь закончив с ней, переходим к другой. Но общепринятая схема опроса, при которой вопросы, отнесенные к различным темам, перемежаются друг с другом, как раз и мешает фиксации предмета обсуждения. Более того, этого ещё и специально добиваются, желая получить некую «спонтанность» реакции. А раз так, то каковы гарантии того, что при переходе к следующему вопросу человек снова восстановит то же самое («измеряемое») отношение к интересующему нас предмету?

Отметим, что крайне редко обсуждается предположение о том, что сформулированный автором вопрос понимается респондентом именно так, как автор и задумал. Необоснованность столь сильного предположения выявляется сразу же, как только мы вспомним о том, что восприятие ситуативно, ибо зависит от внешних условий (построения опроса в том числе) и состояния человека. Не лучше дела с «искренностью» респондента и степенью «осознанности».

5. Что же мы получаем

При онлайновом опросе мы можем только задавать вопросы. И нет возможности проследить за реакцией человека на вопрос, переспросить, уточнить, исправить. Даже проверить, правильно ли он указал свой пол. Вообще, после опроса у нас нет ничего, что бы ещё говорило о нем, его мыслях, чувствах, реакциях и прочем. Впрочем, вспомните приведенные в начале статьи ответы на вопросы и проблемы с их интерпретацией. Поэтому снова скажу:

результатом опроса является только совокупность полученных ответов

И только с ней мы можем иметь дело — больше у нас просто ничего нет. Ну, не считая, конечно, наших мозгов (опыта, интуиции, подготовки, …). Такова же ситуация после опроса и для любого другого исследователя (коллеги, аналитика, …), для которого только эти ответы есть первичные и единственные данные. Тогда получается, что, строго говоря,

все наши выводы являются домыслами (в той или иной мере)

В том смысле, что мы делаем их, опираясь на многие предположения, которые принципиально влияют на эти выводы. Вряд ли можно отрицать влияние установок исследователя на интерпретацию получаемых данных (назовем это точкой зрения). Помните картинки с двойственными изображениями? Или фигура и фон?

Т.е., при одних и тех же первичных данных разные исследователи могут получить различные результаты. А тут ещё влезает и мастерство интерпретации. Вспомним, например, приписывание мотива или то, как мы выше пытались интерпретировать ответы на вопросы ЯК. Получается нечто вроде проекции (по Фрейду) наших установок на полученные ответы.

Упомяну о таком специальном виде домысливания, которое называется «теория». В молодости меня потрясла прочитанная где-то фраза: «В зависимости от школы, психиатр обнаруживает психические заболевания от 23 до 45% пациентов». Поскольку в наше время положение с теориями в гуманитарных областях не улучшилось, то интерпретация одних и тех же данных последователями различных школ вполне может дать и противоположные результаты.

6. Каков смысл показателя

Но пусть все эти проблемы решены. Рассмотрим самую простую ситуацию: все вопросы построены идеально, относятся к одной и той же теме, задаются последовательно, … Теперь ответы на эти вопросы надо как-то обобщить, сведя их в единый показатель, характеризующий степень проявления исследуемого качества. А для этого ответы должны быть согласованы. Если этого нет – см. примеры выше.

Действительно, пусть из 4-х вопросов получены два «позитивных» и два «негативных» ответа. В результате имеем «нейтрала»? 50% интроверт и 50% экстраверт? Ах, в зависимости от ситуации!? Да это и так все знают, чего спрашивать-то?

Формально все верно, а по сути – чистая ерунда. И даже нечетное число не спасет – формальный «перевес» одних ответов над другими просто прячет эту проблему «под ковер». Как бы мы не оценивали сами вопросы… Ибо невозможно одним числом отразить два противоположных ответа! Именно тут основной — и неустранимый — недостаток суммирующих шкал.

Ещё хуже становится ситуация, когда в погоне за «точностью» начинают начислять «баллы» по шкале с большим числом градаций. Множество чисел, и столь детальных и различных, просто гипнотизирует неопытного (или невдумчивого) исследователя — и вот он начинает искренне полагать, что действительно что-то там «измерил». Что получаемые числа отделены от реального человека стеной предположений и уже никак с ним не связаны — очень легко забывается, тем более что самого человека уже нет и в помине. Естественно, что толку от такого показателя нет. Возникают сумрачные заявления о «принципиальном отличии гуманитарных наук от точных» и о «неприменимости в них математических методов». И что хуже всего, проблема сваливается с больной головы на здоровую: предметники во всем начинают обвинять математиков (аналитиков), забывая о том, что

единственный смысл показателя – совокупность вопросов
и набор всевозможных  ответов на них

Со всеми условностями типа одинаковости понимания, правильности интерпретации и прочая и прочая.

Но есть и чисто логические критерии, нарушение которых ставит под сомнение смысл показателя. Главный из них приведен выше – согласованность ответов между собой, ведь они, по замыслу, относятся к одному и тому же показателю.

7. Кто же конструирует показатель

Спросим сначала – а кто должен это делать? и кто может это делать? и кому это нужно? Тут явно вылезают мотивы исследователя. Хочет он изучать нечто, имеющее пусть отдаленную и опосредованную связь с реальностью – тогда он главный. Но и несет тогда всю ответственность за качество работы. Если же он полагает своей задачей выдвижение гениальных идей, а выполнение всей «рутинной» работы возлагает на других (имея в виду только пожинать лавры) – что ж, результаты заранее предсказуемы.

Вот мы и подошли к главному выводу:

исследователь должен сам, до начала опроса, сформулировать правило присвоения величины показателя, причем для всех мыслимых вариантов ответов на предлагаемые вопросы

Общепринятая практика вычисления «среднего балла», увы, похоже, порочна по самой своей сути. И я глубоко убежден, что

именно такие попытки интерпретации различных вариантов ответов носят очень стимулирующий характер и подталкивают исследователя к более глубокому пониманию того, чего же он «меряет»

Пытаясь проинтерпретировать самые «фантастические» ответы на все вопросы как единое целое, исследователь, чаще всего, с изумлением обнаружит, что далеко не всегда может понять ответы в целом. Что это реальная ситуация — показано выше.Если же какую-то комбинацию ответов он полагает «идиотской» — пусть скажет, что с ней делать. И аналитик это без проблем выполнит — ему-то что, считает все равно компьютер.

Думаю, ни один настоящий аналитик не откажется помочь исследователю в столь сложной работе. Он сможет подсказать ранее применявшиеся варианты расчетов, указать на возможные проблемы, предложить новые методики и прочая, и прочая. Но «ведущим специалистом» в этом тандеме, безусловно, является предметник. К сожалению, среди них встречаются и такие, одна аспирантка,  заявившая: «Я в этом не разбираюсь — я заплатила, мне посчитали!»

8. Параметры показателя

Как учит матстатистика, совокупность чисел можно сжато описать, используя два параметра – центр и разброс.

Центром полученного набора чисел-баллов можно выбрать:

  • моду
  • медиану
  • среднее (обычно арифметическое)

и др.

Хорошо известны как достоинства, так и недостатки этих мер. Например, при небольшом числе ответов мода ведь может и не существовать. А жаль – ведь как раз постоянство ответов и говорит о том, что мы имеем дело с чем-то определенным.

Конечно, человек может варьировать свои оценки. Но давайте уж не будем слишком расширять его возможности в этом направлении. Вполне можно вместо шкалы с 10 позициями предложить 5. Для качественных оценок, каковыми и является большинство ответов, этого вполне достаточно. А «повышение точности» при увеличении числа делений шкалы – чистая иллюзия, поскольку человек при оценке навскидку весьма неточен.

Среднее очень чувствительно к наличию крайних значений («выбросов»). И таких крайностей в выборке полно. Остается медиана. Или урезанное среднее, но при 3-х ответах что урезать-то? Получим просто медиану. Да и как урезать в вышеприведенных примерах, где все оценки  — 1 или 10?

Чтобы любой центр был осмысленным, разброс оценок около него д.б. как можно меньше. Мер такого разброса несколько:

  • размах R (разность наибольшей и наименьшей оценок, т.е., баллов);
  • межквартильное расстояние;
  • дисперсия;
  • среднее абсолютное отклонение (САО)

и др.

9. Размах оценок

Как уже показал анализ конкретных примеров, мнение некоторых респондентов просто нельзя сформулировать одним термином. И как оценить одним числом мнение человека, высказывающего противоположные точки зрения или дающего противоположные оценки. Я плохо представляю себе, что какой смысл имеет в таких условиях значение показателя, определяемое как «среднее по ответам» (или как их сумма, что логически одно и то же). Мало понятны тут и прочие меры для центра. Опять средняя температура по больнице? Кто-то из великих (кажется, Гёте?) сказал, что «истина не лежит посередине между крайними точками зрения, там находится проблема!»

Поскольку тут нельзя сказать ничего определенного про данный показатель, то его значения просто нет. Строго говоря, этих респондентов надо удалять из выборки как шум.

И проблема не в сложности вычислений! В конце концов, аналитик вычислит среднее – и делайте с ним что хотите. Магия чисел – не самая слабая, числа производят впечатление чего-то солидного и обоснованного. Но: цель расчета – не число, а понимание (академик А.Н.Крылов, чистый технарь, заметьте). А понимание невозможно без четкости, пусть даже и ограниченной, как это только и возможно в гуманитарных дисциплинах на современном уровне их развития.

Но насколько часто встречаются такие ситуации, каковы реальные разбросы ответов, какова доля совсем уж неприемлемых? Вот таблица частот, с которыми встречаются различные размахи для каждого из показателей. Фоном выделены «запредельные» размахи, превышающие 6 баллов (6 выбрано потому, что при нем хотя бы два ответа попадут в противоположные концы шкалы). Отметим, что ЯК стабильность работы – самый «благополучный» среди всех показателей.

Ужас, с моей точки зрения, в том, что ответы с размахом в 7 и более баллов составляют 18% (закрашено желтым фоном). О какой согласованности ответов может идти речь? Если полагать разумным разброс в треть шкалы (размах в 3 и менее балла), то таких всего 43%, т.е., меньше половины. Довольно низка и доля последовательно согласованных ответов (нулевой размах) – их всего 8%. И, к сожалению, все это разбросано по разным респондентам.

Естественно, я тут же подсчитал максимальный размах, который встречается у каждого из респондентов (по всем показателям). Всего один парень (школьник, до 18 лет) имеет максимальный размах, равный 2!!! И ещё трое — равный 3. Строго говоря, работать можно только с 15-ю респондентами, у которых максимальный размах не превосходит 4. Если же «снизить» планку до 5, то их уже станет аж 71 – всего 12,7%. Соответственно, хотя бы по одному размаху, большему или равному 6, имеют 87,3% респондентов. Т.е., только один из восьми респондентов может последовательно и членораздельно сформулировать свои установки? Но вот что совсем убивает: 32% (треть!) дают просто максимально противоположные ответы на ОДИН И ТОТ ЖЕ якорь хотя бы для одного ЯК!!! Грустно становится, господа…

Строго говоря, любой размах, превышающий 3-4 балла, малообъясним для данного опроса. Потому что это уже почти половина шкалы! А таких – 320 человек (т.е., у них имеется более 3-х размахов, превышающих 5), 57% выборки.

Отмечу, что гендерных различий не наблюдается, поскольку угловой критерий Фишера (укФ) нигде не достигает значимого уровня, равного 1,63 для уровня 0,05.

9. Определенность показателя

Что-то неладно в датском королевстве… Неужели наши респонденты в большинстве своем столь глупы, что неспособны сформулировать свое мнение? Как-то не верится. Но ведь мы имеем взаимодействие двух систем – респондентов и опроса. Надо бы присмотреться повнимательнее ко всем участникам.

Предполагая (!), что респондент искренне хочет узнать свои «карьерные ориентации», вполне вменяем и обладает хотя бы средним интеллектом, мы рассмотрели вопросы с его точки зрения и попытались понять его ответы. Т.е., мы предположили, что респондент честно отвечал так, «как он понял» вопросы, правда, не всегда истолковывая их так, как это предполагал автор.

И если дело действительно в интерпретации текущего вопроса, становится понятно столь большое число противоречий. Поскольку они составляют значительную часть выборки, приходится сказать, что:

вопросы могут пониматься по-разному настолько,
что величина показателя становится неопределенной

Увы – проверить степень правильности понимания и внести исправления уже ну никак нельзя. Но тогда показатель становится просто бессмысленным: что он отражает и как — неизвестно. Ясно, что эти респонденты должны быть обработаны каким-то особым образом. Я бы их просто выкинул из выборки – только помехи создают. Правда, мало кто останется. А оставишь – получишь бессмысленные числа.

Естественно, что оценка существенности разброса – дело непростое. Очевидно, что чисто статистическими критериями тут не обойтись. Думаю, что

критерий согласованности ответов должен сформулировать исследователь

Именно когда будет рассматривать всевозможные варианты ответов. Я как аналитик готов ему помочь, но сделать за него эту работу просто не в силах – не моя компетенция.

9. И что делать?

Но все равно будут встречаться люди, которые будут «неверно» отвечать на опросник ЯК. С моей т.зр. это говорит о том, что

опрос «Якоря карьеры» концептуально невалиден

То, что в его результате получаются некие числа, которые называются карьерными ориентациями человека, ещё ни о чем не говорит. Мало ли на свете чисел и способов их получения…

Возникает вопрос – кто же должен отвечать на возникающие недоразумения? Кстати, и за их возникновение? Похоже, ответ напрашивается однозначно.

Но искать стрелочника – задача простая, хотя и увлекательная для людей с определенным складом психики. Попробуем сформулировать нечто конструктивное и припомним основной источник возникающих проблем:

a)      попытка получить ответы на несколько вопросов, относящихся к одной теме,

b)      приводит к непроизвольному «сдвигу смысла» вопроса, что

c)      влечет несогласованные ответы, а это

d)      лишает искомый показатель смысла.

Т.е., главная проблема – в сдвиге смысла вопроса. Поэтому вопросы надо было бы переработать, изменив их формулировку. Но это мало что изменит, поскольку задавать их вразбивку – значит провоцировать «своими руками» тот самый чертов сдвиг. Тогда напрашивается простейшее решение — изменить порядок подачи уже имеющихся вопросов:

  1. Собрать все вопросы по одной теме в одну группу.
  2. Задать их один за другим.
  3. Получить ответы.
  4. Вычислить параметры центра и разброса для данной группы.
  5. Проверить выполнение критериев «согласованности» ответов.
    Если ответы согласованы,
    то
    Перейти к следующей группе вопросов.
    иначе
    :
  • либо попросить респондента уточнить свои ответы, вводя тем самым некую интерактивность;
  • либо исключить данные ответы из общей обработки при расчете параметров выборки (а респонденту — строго указать!).

Конечно, тут человек может сконцентрироваться и, поняв, чего от него хотят, давать «нужные» ответы. Но хоть последовательные! А иначе мы получаем «искренние, спонтанные» ответы, которые порождают не имеющие смысла значения показателя.

Возможен и такой вариант — изменить способ обработки уже полученных данных, с учетом высказанных замечаний. Самое простое — изменить способ вычисления центра, рассчитывая его, например, как медиану или как усеченное среднее. Можно провести дополнительно цензурирование выборки, отбрасывая респондентов с максимальными размахами. Перспектив не вижу — слишком «прыгают» ответы.

Другой способ — вклад респондента в групповой показатель надо учитывать с весом, зависящим от степени согласованности его ответов. Как рассчитывать такой вес – проблема весьма сложная, и её решение вряд ли будет однозначным. Понятно, что при различном выборе весов можно получить чуть ли не любые наперед заданные результаты.

Есть и вполне радикальное решение:

  • сформулировать набор терминов (объектов, понятий, качеств, …) один раз, прилагая, естественно, все возможные усилия для выражения нужного нам смысла;
  • спрашивать про него один раз, причем по шкале с 5 (максимум – 7) градациями.

Но куда лучше «сталкивать» их между собой, заставлять человека поневоле сравнивать их и тем самым проявлять свое отношение к ним. На этом и построена предлагаемая методика расстановки приоритетов.

интересно добиваться положительного результата
соревноваться, значит доказывать кому-то, что ты лучше, мне это не интересно
странный вопрос,  трудные проблемы складского хозяйства для главбуха?
не обязательно соревнования

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s

%d такие блоггеры, как: