Ситуация в её простейшей формулировке такова:

  1. Имеется простой метод подсчета значения некоторого показателя как «обычного» среднего (т.е., невзвешенное арифметическое среднее) из ответов на серию вопросов (т.н. «балльный показатель»).
  2. Среди серии ответов довольно часто встречаются противоположные по смыслу (до 32% в одном исследовании).
  3. В таком случае приписать показателю определенный смысл не представляется возможным.

Проблема выглядит так: надо выбирать между возможностями:

    A) менять методику получения искомого показателя (как сами вопросы, так и способ их обработки);
    B) ничего не менять в методике, т.е., продолжать получать малоосмысленные результаты;
    C) отказаться от использования данного показателя.

Пока большинство «повязанных» академических исследователей идет по пути В, отчаявшиеся и «честные» практики – все больше по пути С. Попытки идти по пути А выражаются в разработке новых опросников-тестов – другие вопросы (как кажется авторам, более «адекватные»), другие показатели и т.п.
Полная аналогия с законотворчеством наших политиков – если закон не работает, надо придумать новый закон. Что он не будет работать так же, как и предыдущие – а кого это волнует? Мы-то стараемся – гоните бонусы!

Что нужно практику?

Январь 19, 2010

Как известно, профессионализм человека проявляется в том, каким инструментарием он пользуется. Анализ, даже не очень придирчивый, показывает, что эйчары (кадровики, если по-русски) пользуются заимствованными у психологов-социологов методиками. И, как написал Николай Типатов, верят в них как в «священную корову».
А это как раз и говорит об их профессионализме. Впрочем, не стреляйте в пианиста — он играет как умеет. Поскольку специального профессионального образования по HR у нас нет (или я неправ, и оно уже таки-да есть? Интересно посмотреть…), то в кадровики попадают довольно случайные люди. Это не их вина, так уж сложилась судьба, и им надо просто помочь.
Я полагаю, что реально работающий специалист формирует то, что называется «профессиональной интуицией». Ясно, что она аккумулирует именно его личный опыт — используемые методики, проблемы с интерпретацией, да столько всего! Можно ли рассчитывать, что методика, разработанная специалистом (психологом, социологом, врачом, …) из другой профессиональной области, будет автоматом применима в сфере интересов кадровика? С другими людьми, в другой обстановке, … — все другое!? Как говаривал Станиславский — не верю!
И что же делать практику? Часть бездумно применяет чужие методики, часть «чует ересь», да сделать ничего не может — нет соответствующей подготовки. И отказывается от более или менее стандартизированных методик, поскольку испытывают обоснованные подозрения в их пригодности для своих целей.
Так вот — профессионал делает свой инструментарий сам! Кстати, именно это мы и называем опытом. К сожалению, он носит зачастую подсознательный характер и поэтому подвержен искажениям.
Следовательно, нужен инструмент кадровика, который позволил бы ему самому устанавливать интересующий его «профиль кандидата» — в соответствии с конкретикой его организации, её текущих потребностей и пр. Конечно, это не устранит возможных злоупотреблений, но ведь сейчас поле для них куда шире — субъективизм в оценке кандидатов стал притчей во языцех.
Думаю, что надо разработать

методику построения профиля
по перечню качеств, задаваемых самим кадровиком

Составление перечня интересующих кадровика качеств — его проблема, ему и решать её. А вот методика уже есть. Осталось «немного» — разработать программную оболочку, в которую кадровик (и вообще любой, кому это надо) внесет свой перечень качеств-объектов, посадит перед ней испытуемого и получит профиль его приоритетов по этим качествам.

Тем самым мы помогаем кадровику, но недаром: ему придется разрабатывать соответствующие перечни, экспериментировать с ними и, главное, нести ответственность за них и принятые на их основе решения. Уже нельзя будет, как это повсеместно делается (вспомните блеяние психологов про «адекватность» Евсюкова), спихивать ответственность на чужие методики. Впрочем, на месте руководителя я бы уже сейчас драл бы эйчаров за ошибки и низкий профессионализм.

Конечно, часть эйчаров будет всеми силами сопротивляться возросшим требованиям. Но тут уже речь идет о профессионализме руководителя, взявшего такого на работу. Пусть это наивно, но хочется верить, что среди кадровиков найдутся люди, относящиеся к своей работе не только как к способу «срубить бабло», но и как к некоей миссии. Бог им в помощь.

Ошибки в тестах

Январь 19, 2010

Думаю, что ошибки в тестах не случайны. Мне пришлось практически с нуля создавать ключи для методики «Общение в семье» — 6 вопросов не были разнесены по шкалам, поменены знаки ключей, переставлены вопросы в шкалах и т.п. Слишком много для одного простенького теста.
Как мне сказал мой друг, ныне проживающий в США, там принято при публикации результатов вносить незаметные, но существенные искажения в описание сделанной работы (особенно у химиков). Это не позволяет воспользоваться результатами, если вор не является профессионалом достаточно высокого уровня и не способен сам воспроизвести весь процесс. Таких людей немного, они наперечет, всегда можно установить, кто сделал (ой ли?).
А в тестах помехи внести проще всего. Но горе в том, что и «исправленные» тесты чаще всего не работают. По той простой причине, что плохо «сделаны» изначально. Поскольку в их основе чеще всего лежит порочная идея. Подробности — в статье «Что показывает балльный показатель?«.
Вот что надо, на мой взгляд, обсуждать. «Ловить блох» (т.е., выискивать и исправлять ошибки), конечно, надо. Но авторы будут нам их подкидывать как сознательно, так и в силу своего общего уровня.

При адаптации опросника Якоря карьеры (Карьерные ориентации) автором был добавлен 41-й вопрос в такой формулировке:

Я предпочитаю работу, которая не связана с командировками

Сделаю одно предположение, которое ничем, кроме общих, но, на мой взгляд, правдоподобных рассуждений, подтвердить не могу:

его автором является женщина

На эту мысль наводит сама формулировка вопроса. Мужики к командировкам относятся явно терпимее.

Насколько мне известно, автором рассматриваемой модификации является В.А. Чикер и, кажется, Почебут. Увы, фамилии авторов не дают возможности судить об их поле, так что моя гипотеза «висит». Но зная на личном опыте о громадном численном перевесе женщин среди российских и СНГ-овских психологов, считаю свое предположение весьма правдоподобным.

И хотя я высказал это предположение в порядке развлечения, оно наводит на мысль:

пол автора влияет как на разработку,
так и интерпретацию тестов-опросников

А поскольку среди западных психологов мужчин куда больше, то проблема адаптации разработанного ими инструментария вполне может иметь и гендерный, а не только кросскультурный аспект.

Ведь предполагается же, явно или неявно, что установки личности сказываются на всей её деятельности. На этом построены все методики, пытающиеся нечто «измерить» в человеке. Так почему же авторы полагают, что к ним это не относится? Классический ответ: я – это другое дело?

И не надо про самоанализ – у других людей психологи считают его неадекватным методом познания.

Почему бы нашим авторам всяческих «адаптаций» не поступать проще (на мой взгляд): взять идею, положенную в основу той или иной методики (обычно – американской) и разрабатывать свой тест-опросник. Конечно, сослаться на первоисточник (или нет, по мере приличий), но зато получить методику, изначально привязанную к «нашей почве». Ведь все равно надо все пересчитывать – нормы, …

Или слабО? Конечно, трудно, так ведь не в сказке живем.

Для конкретности рассмотрим один из т.н. «якорей карьеры» — стабильность работы. Для большинства респондентов он очень важен. Но что они имели в виду при этом:
— постоянство выполняемых обязанностей
— возможность получить работу в любой момент
— гарантированный постоянный доход
— что-то ещё…

Конечно, все это раскрывает различные аспекты понятия «стабильность работы». Но кто станет утверждать, что отношение человека к различным аспектам даже одного и того же объекта будет одинаковым? Они потому и различны, что к ним различное отношение! Да ещё у каждого человека есть свои, важные именно для него персонально, аспекты «всеобщего» понятия «стабильность работы». И как их выявить?

Но что удивительно — это совершенно неважно! Пусть даже мы и сумели выявить все аспекты и получить оценки, например, важности для каждого из них. Естественно, что эти оценки будут различными, в том числе и противоположными. И как же мы будем их «обобщать-интегрировать» в некий единый показатель, который должен характеризовать исходное понятие «в целом»?

Вспоминаю свою шуточную статью в стенгазету факультета к 8 марта, которая называлась «К вопросу о женщинах». Год — застой в расцвете. В разделе «Статистика» была фраза: «Советская женщина на 60% блондинка, на 3/4 замужем и всегда слегка беременна». Кстати, реакция партбюро факультета была совершенно безумной — они бросились наверх и дошли, кажется, до горкома. Газета провисела 2 дня, потом сняли от греха подальше.

Так что же наша «стабильность работы» — слегка беременна? На 3/4 замужем? Детали — в обсуждении результатов опросника «Якоря карьеры».

Поэтому смысл показателя — это ответы на заданные по его поводу вопросы. Попытка стандартизировать смысл, как-то его ограничить приводит к формулировке нескольких вопросов, в которых автор пытается «раскрыть смысл» интересующего его понятия. Порождая тем самым уже веер интерпретаций, новый для каждого из вопросов, поскольку там вводятся новые же термины-понятия-слова. И ладно бы делалось это подряд, тогда были бы шансы, что человек сосредоточится «на теме» и как-то сформирует свое отношение к «основному термину». Не тут-то было — вопросы будем задавать вразнобой, чтоб не догадался человек, о чем его спрашивают. А то ведь обмануть захочет, зараза этакая.

Но тогда уже проще поступить так. Выбрать термин (понятие, слово, показатель), для которого мы хотим выяснить нечто у человека. Задавать вопросы, ставящие его в отношения с различными другими терминами (можно и показателями!), назовем их «базисом». По ответам построить нечто вроде «профиля» этого показателя по данному базису. Далее — обычный анализ: статистика, различия, значимости, распознавание образов и пр.

Можно рассматривать группу показателей совместно, тогда они будут базисом друг для друга. Получим структуры, их можно анализировать обычным образом. Достоинство такой методики в том, что устраняется необходимость выявлять смысл каждого из понятий в отдельности. Ситуация напоминает аксиоматику в геометрии — свойства неопределяемых объектов задаются системой аксиом, в которых они участвуют. А если уж приперло выяснить «смысл» понятия, то беседуйте с каждым респондентов отдельно. Но каждый из них обязательно будет иметь свое мнение, и в результате «общее мнение» так и не будет сформулировано.

Напоминает мне это давние исследования по «обобщенному портрету» людей различных национальностей — выбранные «опорные точки» (там были центры зрачков) совмещались и поэтому были видны четко, а все остальное — расплывчато, и чем дальше от «опоры», тем туманнее. Так и в поисках смысла: мы постулируем, пусть даже неосознанно — все люди понимают данное слово так же, как и мы. А всякий постулат, вообще, говоря, требует проверки.

В то же время, как мне кажется, именно структуры отношения человека к различным объектам наиболее стабильны для него и поэтому лучше всего его характеризуют. Нечто вроде порождающей грамматики Н.Хомского — эти структуры конкретизируются в оценках предлагаемых объектов.

Он сакраментален: что означают полученные ответы?

Я утверждаю, что ничего, кроме самих ответов.

Все остальное – наши домыслы. Можно назвать их предположениями, гипотезами, теориями, наконец – суть дела не меняется. Разнятся только более или менее правдоподобные рассуждения, которыми все это сопровождается.

Возможно, я ломлюсь в открытые двери, но, похоже, ответ на этот принципиальный вопрос никто как-то давать и не собирается. Все дружно усредняют и пр., имитируя «применение матметодов в …». Обоснование одно – все так делают, блин, чего тебе ещё надо!?

Но математика подобна мясорубке (не помню уж автора этого сравнения): суешь кости – не надейся на фарш. Именно оценку исходного сырья и делает в первую очередь аналитик данных. И качество этого сырья как-то удручает…

Например, как оценить некий показатель, получаемый в виде суммы баллов, если на его вопросы респондент дает противоположные ответы? Вспоминается «средняя температура по больнице».

Так ведущую роль приобретает очистка данных, причем логическая, для которой статистика – только подспорье. И все меньше данных остается для анализа… Вариантов немного:

  • либо отобрать мало  первичных данных, но зато получить качественные выводы,
  • либо взять данные «как есть» и получить соответствующие результаты.

Поскольку очистка данных уменьшает их число, а оно является святыней для любого гуманитария, которого «обучали» статистике, скорее всего, математики, то берутся все данные (иначе снизится значимость результатов!). И где те результаты, кто пользуется числовыми результатами чужих исследований!?

Вы думаете, этот автор сделал мало? Он снизил общий уровень!
С.Е. Лец

Случайно попал на страничку психфака МГУ и увидел там вопрос: А Вы любите статистику?

Один из комментаторов, преподающий «методы стат. обработки в программе Psychometric Expert» написал: «С литературой, конечно проблемы есть и основная проблема, что в основном они пишутся не психологами, а в большей части математиками

Первая реакция — ну напиши сам, если ты психолог и умеешь обрабатывать данные! Казалось бы, тебе и карты в руки.

Однако тут вылезает старая дилемма — метод vs проблема. Проще: метод (обработки и анализа данных) применим к разным проблемам, проблема решается разными методами. Проблема формулируется предметником (психологом, социологом, …), методы разрабатываются, в основном, математиками.

Вот и получается — проблема, для уровня которой уже актуальна методика обработки данных, носит практически всегда частный характер. И можно, конечно, подобрать походящий набор методов, наиболее подходящих для данной предметной области, достаточно узкой. Соответствующий учебник, мог бы называться, например, так: «Обработка данных при тестировании способности устанавливать сложные аналогии». И тут можно применить довольно много разнообразных методов.

На более «высоком» уровне обобщения предметной области это м.б. названо так: «Обработка данных при тестировании интеллекта». И т.д., и т.п., вплоть до «Обработка данных в психологии». И как же выглядела бы такая книга? Как написанная аналитиком (т.е., математиком по сути), ну пусть работающим с вполне конкретным кругом психологов.

Так таких книг — вагон. Повторяют и переписывают друг друга, конечно. Но само их многообразие как раз и отражает множество тех частных предметных областей, в которых они работали. И, естественно, хотят поделиться наработанным опытом. А при «обобщении» как раз и приходят к изложению общих методов с примерами из своей области.

На деле, как я полагаю, любая научная статья в журнале должна содержать достаточно подробное описание методов анализа данных. Только тогда, на вполне конкретных работах, и можно научиться «обработке и анализу данных в психологии (социологии, …)».

Но для этого надо публиковать и сами первичные данные тоже! А то получается, что и проверить-то ни правильность расчетов, ни обоснованность выводов никак нельзя. Верь на слово — и все тут! Как же тут можно чему-то научиться? Правда, значительная часть работ в журналах печатается для диссеров и как отчеты по грантам. И поскольку сами результаты (численные — так точно!) нигде не используются, то и их происхождение мало кому интересно. А жаль…