Анализ ответов на опросник «Якоря карьеры»

Аннотация

Проведен анализ ответов 559 респондентов на вопросы опросника «Якоря карьеры». Выявлена структура их ответов. показано наличие как общих элементов структуры, так и отличий.
Проанализированы влияние на эти моменты как выбираемой меры близости (городское расстояние и хи-квадрат между наборами частот ответов), как и способа получения структуры (многомерное шкалирование PROXSCAL и иерархическая кластеризация методом Ward-а).
Сформулированы требования к построению вопросов и проведен анализ имеющихся ошибок.

Мы наблюдаем природу не саму по себе,
а природу в том виде, в каком она открывается
нашему умению ставить вопросы.
В. Гейзенберг

1. Проблема

Поскольку смысл показателя есть совокупность ответов на заданные по его поводу вопросы, то проблема уже сформулирована в эпиграфе. Т.е., умеем ли мы задавать вопросы? Или: какие вопросы и как надо задавать? Естественно проанализировать те вопросы, которые уже задаются для построения некоторого показателя. Ну, просто чтобы не наступать на те же грабли.

В опроснике «Якоря карьеры» («Карьерные ориентации» и т.п. модификации), как и во многих других «апробированных» методиках, имеется ключ – правило вычисления величины результирующего показателя по ответам на вопросы. Т.е., правило отнесения вопроса к показателю задано заранее. Такая ситуация куда проще случая, когда мы задаем некие вопросы и лишь затем пытаемся выявить, что же мы получили.

Поэтому сначала следует рассмотреть, насколько тесно связаны между собой ответы на эти вопросы. И главное – соответствует ли структура ответов (их связи между собой) предполагаемой в опроснике. Проблемы, возникающие даже в том случае, когда мы не подвергаем сомнению «принадлежность» вопроса, были рассмотрены ранее.

2. Методика анализа

Отнесемся к данному опросу чисто формально, не задаваясь пока проблемами его валидности, согласованности вопросов и интерпретации ответов.

Поскольку принадлежность вопросов к «своим» показателям нам задана, то мерой адекватности вопросов и показателей может служить степень близости структуры ответов к «идеальной». А идеальной естественно назвать такую структуру ответов, для которой характерны:

близость «родственных» ответов друг к другу;
наличие «щели» между ответами на «неродственные» вопросы.

Иными словами говоря, ответы на вопросы должны группироваться в соответствии со своей принадлежностью. Сами вопросы характеризуются распределением ответов – набором частот, с которыми встречается тот или иной балл в ответах на данный вопрос. Это ограничивает выбор мер близости, которых придумано довольно много. Я выбрал в качестве таковых только две:

«статистическую» – значение хи-квадрат между наборами частот, полученных двумя вопросами (правда, в программе SPSS вместо этой меры используется корень из неё);
«геометрическую» – значение городского расстояния между наборами частот.

Получение структуры производится двумя методами:

многомерным шкалированием (метод PROXSCAL), причем ограничимся двумерным пространством;
кластерным анализом, причем ограничимся иерархическим методом Уодда (Ward).

Поскольку результаты многомерного шкалирования хоть слабо, но все же зависят от некоторых особенностей методики расчета, то я проводил расчеты с различными начальными установками, а в конце выбирал те результаты, которые давали наименьший общий стресс.

Получаемые структуры, скорее всего, не будут полностью совпадать. Эти несовпадения вполне естественны из-за различия методов и нечеткости самой исходной структуры ответов. Но если будет найдено сочетание элементов, повторяющееся во всех вариантах исследования, то можно с большой долей правдоподобия полагать, что именно оно и является основной структурой ответов. Конечно, только для данной выборки.

Для классификации респондентов, помимо общих факторов типа пол и т.п., нет ничего, кроме их ответов. Как уже было показано, они различаются, в частности, и по тому, насколько согласованы их ответы, относящиеся к одному показателю. Порождаемые этим обстоятельством проблемы тоже уже обсуждались . Поскольку часть респондентов давала противоположные ответы на вопросы одного и того же показателя, то интересно сравнить структуры для выборки в целом (559 чел.) и двух подвыборок:

Выборка 1 – респонденты, которые для любого вопроса давали ответы, размах которых не превышал 5 баллов (R<=5). Их оказалось 71 человек. Отмечу, что более строгое ограничение R<=4 оставляет уже только 15 человек. Так что не от хорошей жизни первая выборка содержит так мало народу. А увеличение допустимого размаха может смазать все теоретически возможные различия.
Выборка 2 – респонденты, которые хотя бы для одного вопроса давали ответы, размах которых превышал 5 баллов (R>=6). Таких – 488. Составляя большинство общей выборки, они, скорее всего, и определяют общую структуру ответов. Увы…

Теперь об обозначениях. Поскольку структура обычно представляется графически, а вопросов у нас 41, то для обозначения вопросов необходимо использовать короткие коды. Эти коды являются 3-хсимвольными, причем последние две цифры есть номер вопросоа по общему списку, а первый символ кодирует его «принадлежность» в соответствии с таблицей:

Шкала	Карьерная ориентация	Термин	Код
1	Профессиональная компетентность	Professional competency	P
2	Менеджмент	Management	M
3	Автономия (независимость)	Autonomy	A
4	Стабильность работы	Job’s stability	J
5	Стабильность места жительства	Local’s stability	L
6	Служение	Serving	S
7	Вызов	Challenge	C
8	Интеграция стилей жизни	Integration	I
9	Предпринимательство	Enterprise	E

Английские символы выбраны просто потому, что они не повторяются…

3. Мера: городское расстояние

3.1. Вся выборка (559 чел.)

Образы вопросов расположены достаточно равномерно, что говорит о не очень больших различиях между объектами (подробнее тут):

Ну что можно сказать, глядя на эти точки? По большому счету – ничего. Постаравшись, можно провести примерные границы между группами точек (серые пунктиры). Но если помнить о том, что 2-мерное пространство довольно «тесно» для 41 объекта, то надеяться на выделение групп «на пустом месте» в данном случае самонадеянно. Хотя и возможно.

Отметим принадлежность точек к показателям следующими маркерами:

и снова выведем это же пространство:

Когда принадлежность объектов задана заранее, как это имеет место в данном случае, всегда можно «подогнать» границы групп и потом с апломбом заявить, что «именно это мы и имели в виду».

В общем, точки группируются достаточно компактно, большинство вопросов находится недалеко друг от друга и укладывается в «свои» группы. Но все же для нескольких показателей имеются «отщепенцы» — вопросы, расположенные слишком далеко от «своих» собратьев.

Образы вопросов можно «на глазок» объединить в несколько кластеров, которые бывают следующих типов (см. диаграмму):

«полный» – содержит только все вопросы данного показателя (синие фигуры);
«неполный» – отсутствует один или два из вопросов (зеленые);
«комбинированный» (желтый), в котором тесно перемешаны все вопросы двух и более показателей.

Однако мы можем полагать, что принадлежность вопросов к тому или иному показателю, заданная автором, не является безусловной. Тогда мы можем провести группировку вопросов по их близости на диаграмме. И сразу получаем материал для размышлений – что же именно имеет в виду «средний» респондент из данной выборки, отвечая на тот или иной «выдающийся» вопрос. Например, «отщепенцы» таковы: P25, I39, S29, E08, E32, A35.
Кластеры тоже дают вполне четкую структуру, причем довольно быстро они объединяются в три крупных кластера. При этом кластеры из образов, соседние в пространстве, быстрее объединяются и при кластеризации.
Вопросы А35 и I39, стоящие обособленно в пространстве, попали и в совершенно другой кластер. Однако, не менее «изолированные» остальные отщепенцы все же прекрасно уместились в своих кластерах. Следовательно, кластеризация и многомерное шкалирование по-разному реагируют на одни и те же матрицы расстояний. И все-таки что-то общее в них находят.

3.2. Выборка R>=6 (488 чел.)

Напомню, что в этой подвыборке собраны респонденты, которые хотя бы для одной пары вопросов по одному показателю дали противоположные ответы. Это – очень жесткое условие, и недаром их 488 чел, что составляет 87% от полной. Естественно, следует ожидать значительных совпадений получаемых результатов с предыдущими:

На первый взгляд, различия практически отсутствуют! Но при анализе полной диаграммы отличия все-таки выявляются. Да, при многомерном шкалировании три кластера (синие) по составу совпадают полностью. Сохранились и два неполных кластера (зеленые) , причем в том же объеме. Сохранился и «сдвоенный» (желтый) кластер, в котором Е08, правда, переместился ближе к центру группы. Список «отщепенцев»: I39, A35, E08, Е32.
Но главным стало слияние «сдвоенного» кластера и сравнительно изолированной группы J. Кроме того, они вместе сблизились со второй сдвоенной группой. Скажем прямо – выделение групп в такой ситуации выглядит откровенной подгонкой данных под заранее заданные отношения вопросов и показателей.
Правда, кластеризация в какой-то мере подтверждает эти результаты. И сдвиг Е08 в кластер А, и сближение S05 с точками I и J – все нашло отражение в дендрограмме. Отметим, что кластерная структура в данной подвыборке отличается от полученной для общей выборки положением только двух вопросов! Т.е.: либо оставшиеся 13% дают ту же самую кластерную структуру, либо влияние большинства при используемом методе кластеризации является преобладающим.

3.3. Выборка R<=5 (71 чел.)

В пространстве многомерного шкалирования полученная для «самосогласованных» респондентов структура даже внешне довольно сильно отличается от своего «оппонента»:

Подробности — на диаграмме. Наиболее характерной особенностью тут является перемешивание двух групп вопросов (Е и С) с двумя сравнительно компактно расположенными вопросами М и А. Но поразмыслив, можно «проинтерпретировать» и это наблюдение таким образом. Все эти показатели – Менеджмент, Автономия, Предпринимательство и Вызов – близко связаны в сознании респондентов, имеющих сравнительно четкое представление (R<=5) о предмете опроса. Если принять это объяснение как правдоподобное, то следует сказать, что вопросы по якорям Предпринимательство и Вызов для этих респондентов представляются весьма невнятными – что-то уж очень они разбросаны по пространству…
Тем более что остальные вопросы группируются довольно компактно. Список «отщепенцев» невелик: E08, E32, S29, C30. И очень любопытно появление «стойкого отщепенца» I39 в самом центре группы Профкомпетентность. На мой взгляд, это связано со структурой этого вопроса, который содержит сравнение в чистом виде двух якорей! Кстати, именно такую структуру имеют ещё два вопроса из этой группы (Р09 и Р33) и два вопроса из соседней (L20 и L28). В принципе, все пятеро расположены довольно близко друг к другу для того, чтобы можно было говорить о них как о самостоятельной группе. Но тут уже мы говорим о классификации на основании структуры самих вопросов, а не их содержании. Что само по себе весьма любопытно и заслуживает отдельного исследования.
Отмеченная близость в пространстве четко проявилась и на дендрограмме. L20 и L28 сливаются вместе на первом же шаге, а I39 уже на втором шаге сливается с Р09 и Р33. Очень показателен мелкий кластер из М02, А03 и Е08, который влез к С и М. Впрочем, вся эта компания из отмеченных ранее 4-х якорей оказалась в одном кластере и тут. Поэтому «отщепенцы» тут таковы: I39, M02, A03, E08.

4. Мера: хи — квадрат

Рассмотрим теперь результаты, которые получаются при мере расстояния хи-квадрат. Они в чем-то аналогичны, а в чем-то и отличаются. Их сравнение с предыдущими позволит нам выявить «ядро» связей между вопросами и якорями.

4.1. Вся выборка (559 чел.)

Основная трудность была в том, чтобы сделать пространства хоть как-то похожими для облегчения сравнения. Поворот осей я применять не стал, только отражение (т.е., умножение координат на -1) и смену осей, если это приводило к большей ясности. Преобразования подсказывало «главное» направление пространства – от группы образов Менеджмента (M) к Стабильности места жительства (L):

Несмотря на столь различные меры близости, получаемые структуры обладают большим сходством. Группа наблюдаемых тут «отщепенцев» такова: P33, P01, I39, S29, E08 (знакомые все лица…). Отметим, что, строго говоря, точки С вполне можно считать слипающимися в две группы (что, кстати, подтверждается и дендрограммой).
Вообще следует отметить, что в данном случае (мера хи-квадрат) точки, близкие в полученном пространстве, объединяются в кластеры на первых же шагах. Похоже, что именно эта мера наиболее адекватна рассматриваемым данным.

4.2. Выборка R>=6 (488 чел.)

Общие картинки весьма похожи, различаются, и то незначительно, лишь положения вопросов. В частности, меняются по второму измерению два вопроса из менеджмента и вызова – М10 и С30 (см. диаграмму). «Отщепенцы»: Р33, Е08, S29, I39, М10.

Отличие от аналогичной диаграммы с городским расстоянием, куда больше – другим является как расположение групп в пространстве, так и вопросов внутри группы (см. диаграмму). Дендрограмма полностью совпадает с полной выборкой.

4.3. Выборка R<=5 (71 чел.)

Группы точек вполне компактны. Если не обращать внимания на принадлежность образов к якорям, то можно выделить, причем с достаточной уверенностью, несколько крупных групп. И сделать это разными способами:

Учет принадлежности, с одной стороны укрепляет нашу уверенность в близости многих «однородных» вопросов, а с другой – показывает «перемешивание» вопросов от различных якорей (детали – на диаграмме):

Для выборки с R<=5 характерна близость вопросов из пар показателей Менеджмент–Вызов (левый желтый, с приблудным Е08) и Интеграция–Профкомпетентность (правый желтый). Это можно интерпретировать так, что для них вопросы по теме Менеджмент ассоциируются с вопросами по теме Вызов, и наоборот. Аналогично и во второй паре показателей.
Для выборки с R>=6 тоже характерна близость вопросов из пар показателей Менеджмент–Вызов (левый желтый), а вот Профкомпетентность и Интеграция уже разведены.
Указанная близость вполне логически понятна, а вот как и почему замеченная связь вопросов этих показателей обусловлена противоположными ответами – судить не берусь. Дело аналитика – выявить некую закономерность, которая носит исключительно статистический характер. А уж её предметная интерпретация, выдвижение гипотез и, при необходимости, их проверка – дело предметника. Кто знает, м.б., по размаху ответов можно статистически уверенно судить о внутренних семантических связях респондента? Тут, как я понимаю, конь не валялся.
Дендрограмма – почти идеальное расположение вопросов по якорям. «Отщепенец» только один: М02.

5. Сравнение структур

Для сравнения структур выберем такие параметры:

список отщепенцев
число «чистых» групп: полных + неполных / однородных кластеров
«сливающиеся» группы / шаг, на котором выделяются 9 кластеров.

Рассмотрим таблицу:

При всей условности этих параметров они все же позволяют провести сравнение и сделать некоторые выводы. В частности, при мере хи-квадрат 9 кластеров (по числу якорей-показателей-групп вопросов) выделяются чуть позже.

Гистограмма «отщепенцев»

показывает безусловных лидеров – вопросы Е08 и I39. И если последние 6 можно как-то списать на субъективность выделения отщепенца (хотя я могу привести и формальные обоснования) и не рассматривать, поскольку они встречаются лишь однажды, то уж первая шестерка явно не случайна.

6. Обсуждение вопросов-«отщепенцев»

Наличие «отщепенцев» означает, что ответы на эти вопросы значительно отличаются от ответов на прочие «свои» вопросы. Т.е., эти вопросы воспринимаются респондентами как-то «не так» по сравнению с другими вопросами то го же якоря. Имеет смысл обсудить хотя бы первых лидеров.

Вопрос Е08 (Создать и построить нечто, что будет всецело моим произведением или идеей) действительно отличается от всех остальных вопросов этого якоря тем, что не содержит прямого указания на предпринимательство, бизнес, дело и т.п. понятия. Так что инородность этого вопроса, вполне очевидная логически, подтверждается и статистически. Отмечу, что именно этот вопрос имеет максимальное среднее расстояние до «своих» вопросов. Среднее значение хи-квадрат – второе по группе.

Вопрос А35 (Я не хочу, чтобы меня стесняла какая-нибудь организация или мир бизнеса), как и предыдущий, содержит две «сложности» в своей формулировке: отрицание (не) и перечисление (или). Он тоже имеет максимальное среднее расстояние до своих и максимальное же среднее значение хи-квадрат.

А вопрос I39 (Выбрать и поддерживать определенный образ жизни важнее, чем добиваться успеха в карьере) – единственный среди своих «одноякорников», который содержит явное сравнение двух якорей. Т.е., этот вопрос, построенный почти строго по предлагаемой методике расстановки приоритетов, и статистически выделяется среди «одноякорников». Он же единственный среди всех – для него среднее городское расстояние до «своих» вопросов меньше, чем до «чужих». То-то он часто попадает в чужую кампанию.

Вопрос S29 (Я всегда искал работу, на которой мог бы приносить пользу другим) тоже имеет максимальное до своих и минимальное до чужих. Его особенность – наличие категоричного наречия всегда. Уж совсем наивный человек ответит на этот вопрос полным согласием (или отпетый лгун).

Вопрос С30 (Соревнование и выигрыш – это наиболее важные и волнующие стороны моей карьеры) тоже сочетает в себе отнюдь не синонимы (которых в строгом смысле вообще не существует), соединяемые союзом и. Соревнование вполне м.б. волнующим, а выигрыш неважным – и что надо ответить?

Вопрос Е32 (Предпринимательская деятельность составляет центральную часть моей карьеры) просто непонятен, по крайней мере, хотя бы мне. Если это простая калька с первоисточника, то надо помнить, что у Шейна термины карьера и успех употребляются как синонимичные, что характерно для США. Тогда понятно: предприимчивость – таки-да основа успеха. А сказать, что причиной успешной карьеры руководителя в России является его предпринимательская деятельность – это как-то не катит.

В остальных вопросах тоже имеются всяческие «недоработки». Поэтому имеет смысл рассмотреть их все на предмет подобных огрехов в формулировках. Думаю, что именно они порождают во многом разночтения и вытекающую из них несогласованность ответов.

7. Правила формулирования вопросов

Как известно, при опросе у респондентов часто возникают сомнения при интерпретации конкретного вопроса. А поскольку никакие разъяснения при анкетировании не допускаются, чтобы не нарушать единообразие условий для респондентов, опрашивающему запрещается такие разъяснения давать. Автору же опросника-теста рекомендуется тщательно составлять вопросы и инструкцию к проведению опроса. Тем более актуальными эти требования становятся при онлайновых опросах.

Правила известны давно. Например, при составлении вопросов для сертификации бухгалтеров по информатике мне вручили целый трактат с соответствующими требованиями. И, должен сказать, далеко не все из них показались мне чрезмерными.

Если требуется оценить степень важности (или согласия) респондента с утверждением, содержащимся в вопросе, то эти утверждения не должны содержать, как минимум, следующих моментов (т.е., ошибок, если говорить нелицеприятно):

перечисления двух (или более) понятий, выражаемого наличием запятой или союзов (или, и, чем, …) и т.п.
отрицания (частица не)
категоричности (всегда, никогда, очень, только, любой, какой-либо, …)
нарушения правил классификации
чрезмерной общности формулировки
сужения до частного случая
невнятности формулировки

Если для первых 3-х пунктов имеются формально-грамматические признаки, 4-е правило носит логический характер, то последние 3 имеют семантический характер. Поэтому тут возможны самые различные интерпретации, порождающие никчемные споры. Тут уже вылезают наружу ограничения спорящих – наличие развитого воображения, широта кругозора, общая образованность. А при указании на ошибки – автору следует уметь укротить авторское самолюбие и амбиции, не искать проколов у рецензента-оппонента. Кроме того – автор должен помнить о презумпции собственной виновности и о поговорке «Взялся за гуж, не говори, что не дюж». Или, как говорили в детстве: если делать, то по-большому.
Итоговая таблица замеченных нарушений показывает, что среднее их число равно примерно 1,5 на один вопрос (полная таблица ошибок):

Больше всего ошибок связано с «естественным» стремлением авторов «уточнить» смысл вопроса, т.е., с перечислением. Отмечу, что в некоторых случаях в одном вопросе было перечисление более чем двух объектов. Как уже было показано, это наивно, поскольку не учитывает неизбежный «сдвиг смысла» при предъявлении вопросов вперемежку.
И только 3 вопроса из 41 можно считать сформулированными достаточно правильно – J12, J36 и Е16. Интересно, что два из них очень мало различаются по смыслу и относятся к якорю Стабильность работы, содержащему всего три вопроса, причем очень близкихпо смыслу, и получившему поэтому наименьшие размахи. Аналогичная картина и со Стабильностью мж, занявшей второе место по согласованности ответов. Тут картину подпортил вопрос L41 (Я предпочитаю работу, которая не связана с командировками), который, кстати, имеет в группе наибольшее расстояние как до своих, так и до чужих. Да это было видно и во всех пространствах – L41 везде стоит на обочине, при всех мерах и во всех выборках. Особенно он «вылезает вбок» как раз для выборки с наиболее согласованными ответами (R<=5). Т.е., этот вопрос просто инороден в данном опроснике. Думаю, уже невозможно будет установить, кто именно вел его в данный опросник, но автор явно подменил своим понимание Стабильности мж. Выделение этой стабильности из общей у Шейна как самостоятельного якоря, наверное, сопровождалось некими «соображениями», которые, однако, не были проанализированы в своих последствиях. В общем, хотели как лучше…
Это позволяет ещё раз сформулировать положение:

согласованность ответов на «однородные» вопросы определяется, в основном, качеством самих вопросов

И вроде бы очевидное утверждение, однако, составители опросников продолжают наступать на те же грабли…

8. Выводы

Как видим из сравнения этих двух выборок, именно та из них, в которой ответы были наиболее согласованы, показала наличие в своих ответах и наиболее четкой структуры. Вывод довольно мрачный – при несогласованных ответах у нас нет уверенности в адекватности получаемой структуры истинным связям ответов. А это означает, что без очистки выборки (данных) от таких респондентов результаты расчетов могут носить самый фантастический характер.
Но ведь и несовпадение структур для одной и той же выборки тоже о чем-то говорит:

если получаемая структура существенно зависит от метода её получения,
то такая структура – просто артефакт

В нашем случае получаемые структуры в чем-то аналогичны, а в чем-то отличаются довольно сильно.
Но, с моей точки зрения, это уже не имеет никакого значения. Проведенный анализ лишь подтверждает ранее сделанный вывод:

опросник «Якоря карьеры» («Карьерные ориентации») в теперешнем виде не позволяет получить обоснованные характеристики респондента

Грубо говоря – опросник невалиден, причем не только концептуально, но и формально.

Подготовка и обработка, анализ и представление данных