21.12.2009

Проект возник после обсуждения с Николаем Типатовым и Олегом Поповым.

Данный опрос был выбран для модификации потому, что он:

  • активно используется при подборе кадров и в исследованиях;
  • сравнительно невелик по объему и довольно прост по своей структуре;
  • «прозрачен» по смыслу для респондентов;
  • имеет большую статистику (более 2000 респондентов).

Сначала был проведен анализ имеющихся данных, который вполне может представлять самостоятельный интерес.

Поскольку в первоначальном варианте опрос планировался только как онлайновый, для экспресс-информации текущему респонденту, то первичные данные (ответы на сами вопросы) не сохранялись. Но первое же пристальное рассмотрение этих вопросов выявило некорректность некоторых из них. К тому же они во многом просто дублировали друг друга.

Возникла идея упростить опрос за счет уменьшения числа вопросов. Поскольку опрос не имеет целью «подловить» респондента, а предназначен, в первую очередь, для его самоопределения в данной области, то вполне можно поставить задачу — сократить число пунктов первоначального опросника.

Вопрос — как это сделать,  на что при этом опираться и как обосновать сделанный выбор. Поскольку известно, какие вопросы к какому ЯК относятся, то, следуя стандартной методе,  можно статистически выделить утверждения, наиболее тесно связанные как с получаемым показателем ЯК. Можно применить также факторный и кластерный анализ. Так мы получим «базовые» утверждения. Используя в опроснике только эти утверждения, мы мало что теряем в его «разрешающей способности», значительно сокращая при этом его объем.

Оставляя только по два таких утверждения для каждого ЯК, мы получим опросник, содержащий всего 18 пунктов, не потеряв при этом его эффективности. Строго говоря, разумно было бы оставить только по одному вопросу на каждый ЯК. Но так как любой вопрос м.б. понят с различной степенью совпадения его понимания автором и респондентом, лучше немного «подстраховаться». Казалось бы, ещё лучше три и более вопросов – усреднение их ответов сгладит возможные отклонения от некоего «общего для всех содержания». Но составить набор вопросов (утверждений) с одним и тем же смыслом — задача весьма сложная. Да и как проверить эту «одинаковость смысла»? Только по согласованности ответов между собой, не так ли? А какова мера такой согласованности, каковы её критические значения, … — все это требует обсуждения.

Эту дилемму – один вопрос или много – решает метод расстановки приоритетов. Поскольку предлагаемая методика является «открытой» в том смысле, что мы не пытаемся «вытащить» из респондента нечто им сознательно скрываемое, то наиболее простым решением служили бы сами формулировки ЯК.  Можно применять и несколько «эквивалентных» описаний каждого ЯК. Мы пытались сделать это, опрашивая экспертов на эту тему. К сожалению, они на этот призыв не откликнулись.
Поэтому нам остается самим:

  • либо выделить наиболее адекватные формулировки ЯК из имеющихся, опираясь на имеющиеся статистические данные;
  • либо сконструировать их заново.

На деле, конечно, оба этих метода надо сочетать. Этому и посвящена основная часть второго отчета, который сейчас пишется.
Далее имеем два направления модификации опросника, в котором сохраняются все 9 ЯК:

  1. сокращение числа вопросов при сохранении структуры опросника;
  2. изменение методики расчета показателей.

Для обоснованного выбора между между ними следовало бы организовать «параллельный» опрос по этим методикам одних и тех же респондентов. Кроме того, на выборе может сказаться и степень анализа респондентов, необходимая пользователю опроса (кадровику, психологу, …).

29 декабря 2009 г.

Получены первые результаты анализа вопросов.В первую очередь были рассмотрены параметры, характеризующие согласованность ответов на вопросы, отнесенные к одному показателю. Степень согласованности можно оценить размахом оценок — разностью между максимальным и минимальным баллами, которые были выставлены в ответах на эти вопросы. Наибольшее значение этой величины равно 10-1=9. Т.е., при наличии такого размаха мы получаем для одного и того же показателя противоположные оценки. Естественно, что в этом случае говорить о какой бы то ни было определенности показателя просто нет смысла. Как выразить одним числом (показателем) тот факт, что один и тот же человек и хочет иметь стабильную работу, и не хочет того же?
Если бы таких случаев было бы немного (кстати, сколько это — «немного»?), то можно было бы просто их отбросить как шум (случайные ошибки, сбои и т.п.). Но респондентов, которые выдали максимальный размах хотя бы для одного ЯК, аж 32%!!! И есть среди них такие, кто выставил противоположные оценки для 7 якорей из общего числа 9. Более подробно см. статью «Что показывает балльный показатель
Основной вывод пока неутешителен:

в теперешнем состоянии опрос «Якоря карьеры», скорее всего, концептуально невалиден

Для выявления конкретных «проколов» в структуре опросника будет проведен анализ ответов в более широком, чем обычно, масштабе. Кстати, комментарии, которые давали некоторые респонденты, очень хорошо выявляли невнятность в имеющихся вопросах. Жаль, что таких комментариев было мало.

05 января 2010 г.

Одним из обсуждавшихся направлений модификации опросника было упрощение шкалы оценок. В теперешнем виде она содержит деления от 1 до 10 баллов. Мы ожидали, что респонденты будут испытывать трудности с выбором при таком большом числе делений.
Получение новых данных, содержащих и выставленные баллы, позволило рассмотреть и этот аспект модификации. В статье Сколько делений шкалы надо? показано «с числами в руках», что используемое в теперешнем варианте опросника шкала с 10-ю делениями совершенно не нужна. Поэтому в предполагаемом варианте будет, скорее всего, использована шкала с 5-ю градациями.

16 января 2010 г.

Я было занялся более подробным анализов вопросов, продолжая наш проект по модернизации опросника в той его части, в которой стояла задача его «упрощения» путем сокращения числа вопросов. Провел анализ, вот его аннотация:

Проведен анализ ответов 559 респондентов на вопросы опросника «Якоря карьеры». Выявлена структура их ответов. показано наличие как общих элементов структуры, так и отличий.
Проанализированы влияние на эти моменты как выбираемой меры близости (городское расстояние и хи-квадрат между наборами частот ответов), как и способа получения структуры (многомерное шкалирование PROXSCAL и иерархическая кластеризация методом Ward-а).
Сформулированы требования к построению вопросов и проведен анализ имеющихся ошибок.

И этот анализ показал, что вопросы не структурированы настолько, чтобы из них можно было обоснованно «дистиллировать» нужные несколько (2-3) вопросов. Поскольку остается большой произвол в интерпретации выделяемых для использования вопросов, то

данное направление модернизации я полагаю бесперспективным

Остается второй вариант: сформулировать кратко якоря карьеры (или: карьерные ориентации) и применить методику расстановки приоритетов в нашей модификации.
Поэтому и не делается анализ выборки, подобный 1-му отчету — зачем вычислять заведомо неадекватные показатели. Это может породить впечатление, что с опросником все в порядке, в то время как тут дела совсем плохи.
Естественно, результаты первого отчета тоже сомнительны — при отсутствии ответов на вопросы невозможно провести очистку данных. А из имеющихся данных по второй выборке (559 человек) лишь 71 (13%) имеют размах ответов, не превышающий 5. У остальных ответы настолько не согласованы, что говорить об определенности вычисляемого на их основе показателя просто неприлично.
Надеюсь уговорить себя все же сделать отчет по тем 71 респонденту, для которых согласованность ответов хоть как-то м.б. названа достаточной. Это те респонденты, у которых такая «нормальная» согласованность имеется по всем 9-ти показателям.  Можно было бы оставлять у каждого респондента только те показатели, для которых согласованность «нормальна», а остальные отбрасывать. Мы получим куда более обоснованные выводы о значениях показателей в целом, только вот выборки для каждого показателя уже будут свои. Поэтому интерпретация полученных результатов будет относиться неизвестно к кому. Так что вряд ли имеет смысл тратить на это время — результаты вряд ли будут интересны, а мороки много…

18 января 2010 г.

Как я полагаю, многие проблемы данного опросника порождены самим процессом его перевода и адаптации. В частности, 41-й вопрос (что это за число такое — 41? Лавренев тут же на ум приходит) явно вставлен автором данной модификации. См. нечто вроде исторической реконструкции того, как модифицировался опросник.

2 февраля 2010 г.

Наконец-то рассмотрел взаимосвязь между согласованностью ответов на вопросы одного и того же «якоря» и обоснованностью получаемых результатов. Естественно, получил то, что и ожидает любой здравомыслящий человек: чем согласованнее ответы, тем осмысленнее результаты. Вот краткая аннотация статьи:

На материале онлайн-опроса показано, что использование несогласованных ответов приводит к «зашумлению» получаемых результатов. Это не позволяет выявить действительно обоснованные и значимые различия в выборке, а также приводит к появлению необоснованных различий, т.е., артефактов.

Поэтому методика расчета балльного показателя без дополнительного контроля согласованности ответов как своеобразной «цензуры ответов» является порочной. В качестве примера такой цензуры использованы усеченные средние по ответам, для которых показана «ломка значимости».

Там же приведены и результаты расчета показателей для последней выборки.

Кажется, с анализом данных по этому опросу покончено. Выводы таковы:

  • Опросник «Якоря карьеры» (или «Карьерные ориентации») в теперешнем состоянии не позволяет достичь тех целей, для которых он разрабатывался — определить «карьерные ориентации» респондента.
  • Возможные модификации опросника, связанные с переформулировкой вопросов, изменением их числа и способа подачи, скорее всего, к радикальному улучшению не приведут.

Основная причина этого — сама конструкция опросника, порождающая все те недостатки, о которых я писал раньше. Поэтому, если данный опросник действительно нужен практикам для выявления т.н. «карьерных ориентаций», то план дальнейших действий примерно таков:

  1. Сформулировать описания «якорей карьеры» (полное, краткое и само название якоря), модифицированные для наших условий. Например, не вижу необходимости разбивать ЯК Шейна «Безопасность/стабильность» на две стабильности, выкидывая куда более важный компонент «стремление к безопасности».
  2. Применить неоднократно упоминавшуюся методику расстановки приоритетов, которая дает именно то, что и нужно практику — относительную важность карьерных ориентаций для данного кандидата или сотрудника. Все равно средних и разброса нет и не предвидится, а без них сами по себе значения показателей не имеют смысла.

Раньше я уже писал и об этом. Повторюсь — практику-эйчару (кадровику то бишь) нужна программа-опросник, в которую он вставит свой набор «объектов» (карьерных ориентаций, ценностей, мотивов, …) и получит их относительную оценку каждым респондентом. А дальше уж пусть сам решает — годится для их организации данный человек или нет.

На этом пока заканчиваю. Формулировать «якоря» мне как-то не хочется — слишком много мороки и мути. Методику я разработал, программу написал — и флаг всем в руки…

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s

%d такие блоггеры, как: