Ситуация в её простейшей формулировке такова:

  1. Имеется простой метод подсчета значения некоторого показателя как «обычного» среднего (т.е., невзвешенное арифметическое среднее) из ответов на серию вопросов (т.н. «балльный показатель»).
  2. Среди серии ответов довольно часто встречаются противоположные по смыслу (до 32% в одном исследовании).
  3. В таком случае приписать показателю определенный смысл не представляется возможным.

Проблема выглядит так: надо выбирать между возможностями:

    A) менять методику получения искомого показателя (как сами вопросы, так и способ их обработки);
    B) ничего не менять в методике, т.е., продолжать получать малоосмысленные результаты;
    C) отказаться от использования данного показателя.

Пока большинство «повязанных» академических исследователей идет по пути В, отчаявшиеся и «честные» практики – все больше по пути С. Попытки идти по пути А выражаются в разработке новых опросников-тестов – другие вопросы (как кажется авторам, более «адекватные»), другие показатели и т.п.
Полная аналогия с законотворчеством наших политиков – если закон не работает, надо придумать новый закон. Что он не будет работать так же, как и предыдущие – а кого это волнует? Мы-то стараемся – гоните бонусы!

Что нужно практику?

19 января, 2010

Как известно, профессионализм человека проявляется в том, каким инструментарием он пользуется. Анализ, даже не очень придирчивый, показывает, что эйчары (кадровики, если по-русски) пользуются заимствованными у психологов-социологов методиками. И, как написал Николай Типатов, верят в них как в «священную корову».
А это как раз и говорит об их профессионализме. Впрочем, не стреляйте в пианиста — он играет как умеет. Поскольку специального профессионального образования по HR у нас нет (или я неправ, и оно уже таки-да есть? Интересно посмотреть…), то в кадровики попадают довольно случайные люди. Это не их вина, так уж сложилась судьба, и им надо просто помочь.
Я полагаю, что реально работающий специалист формирует то, что называется «профессиональной интуицией». Ясно, что она аккумулирует именно его личный опыт — используемые методики, проблемы с интерпретацией, да столько всего! Можно ли рассчитывать, что методика, разработанная специалистом (психологом, социологом, врачом, …) из другой профессиональной области, будет автоматом применима в сфере интересов кадровика? С другими людьми, в другой обстановке, … — все другое!? Как говаривал Станиславский — не верю!
И что же делать практику? Часть бездумно применяет чужие методики, часть «чует ересь», да сделать ничего не может — нет соответствующей подготовки. И отказывается от более или менее стандартизированных методик, поскольку испытывают обоснованные подозрения в их пригодности для своих целей.
Так вот — профессионал делает свой инструментарий сам! Кстати, именно это мы и называем опытом. К сожалению, он носит зачастую подсознательный характер и поэтому подвержен искажениям.
Следовательно, нужен инструмент кадровика, который позволил бы ему самому устанавливать интересующий его «профиль кандидата» — в соответствии с конкретикой его организации, её текущих потребностей и пр. Конечно, это не устранит возможных злоупотреблений, но ведь сейчас поле для них куда шире — субъективизм в оценке кандидатов стал притчей во языцех.
Думаю, что надо разработать

методику построения профиля
по перечню качеств, задаваемых самим кадровиком

Составление перечня интересующих кадровика качеств — его проблема, ему и решать её. А вот методика уже есть. Осталось «немного» — разработать программную оболочку, в которую кадровик (и вообще любой, кому это надо) внесет свой перечень качеств-объектов, посадит перед ней испытуемого и получит профиль его приоритетов по этим качествам.

Тем самым мы помогаем кадровику, но недаром: ему придется разрабатывать соответствующие перечни, экспериментировать с ними и, главное, нести ответственность за них и принятые на их основе решения. Уже нельзя будет, как это повсеместно делается (вспомните блеяние психологов про «адекватность» Евсюкова), спихивать ответственность на чужие методики. Впрочем, на месте руководителя я бы уже сейчас драл бы эйчаров за ошибки и низкий профессионализм.

Конечно, часть эйчаров будет всеми силами сопротивляться возросшим требованиям. Но тут уже речь идет о профессионализме руководителя, взявшего такого на работу. Пусть это наивно, но хочется верить, что среди кадровиков найдутся люди, относящиеся к своей работе не только как к способу «срубить бабло», но и как к некоей миссии. Бог им в помощь.

Ошибки в тестах

19 января, 2010

Думаю, что ошибки в тестах не случайны. Мне пришлось практически с нуля создавать ключи для методики «Общение в семье» — 6 вопросов не были разнесены по шкалам, поменены знаки ключей, переставлены вопросы в шкалах и т.п. Слишком много для одного простенького теста.
Как мне сказал мой друг, ныне проживающий в США, там принято при публикации результатов вносить незаметные, но существенные искажения в описание сделанной работы (особенно у химиков). Это не позволяет воспользоваться результатами, если вор не является профессионалом достаточно высокого уровня и не способен сам воспроизвести весь процесс. Таких людей немного, они наперечет, всегда можно установить, кто сделал (ой ли?).
А в тестах помехи внести проще всего. Но горе в том, что и «исправленные» тесты чаще всего не работают. По той простой причине, что плохо «сделаны» изначально. Поскольку в их основе чеще всего лежит порочная идея. Подробности — в статье «Что показывает балльный показатель?«.
Вот что надо, на мой взгляд, обсуждать. «Ловить блох» (т.е., выискивать и исправлять ошибки), конечно, надо. Но авторы будут нам их подкидывать как сознательно, так и в силу своего общего уровня.

При адаптации опросника Якоря карьеры (Карьерные ориентации) автором был добавлен 41-й вопрос в такой формулировке:

Я предпочитаю работу, которая не связана с командировками

Сделаю одно предположение, которое ничем, кроме общих, но, на мой взгляд, правдоподобных рассуждений, подтвердить не могу:

его автором является женщина

На эту мысль наводит сама формулировка вопроса. Мужики к командировкам относятся явно терпимее.

Насколько мне известно, автором рассматриваемой модификации является В.А. Чикер и, кажется, Почебут. Увы, фамилии авторов не дают возможности судить об их поле, так что моя гипотеза «висит». Но зная на личном опыте о громадном численном перевесе женщин среди российских и СНГ-овских психологов, считаю свое предположение весьма правдоподобным.

И хотя я высказал это предположение в порядке развлечения, оно наводит на мысль:

пол автора влияет как на разработку,
так и интерпретацию тестов-опросников

А поскольку среди западных психологов мужчин куда больше, то проблема адаптации разработанного ими инструментария вполне может иметь и гендерный, а не только кросскультурный аспект.

Ведь предполагается же, явно или неявно, что установки личности сказываются на всей её деятельности. На этом построены все методики, пытающиеся нечто «измерить» в человеке. Так почему же авторы полагают, что к ним это не относится? Классический ответ: я – это другое дело?

И не надо про самоанализ – у других людей психологи считают его неадекватным методом познания.

Почему бы нашим авторам всяческих «адаптаций» не поступать проще (на мой взгляд): взять идею, положенную в основу той или иной методики (обычно – американской) и разрабатывать свой тест-опросник. Конечно, сослаться на первоисточник (или нет, по мере приличий), но зато получить методику, изначально привязанную к «нашей почве». Ведь все равно надо все пересчитывать – нормы, …

Или слабО? Конечно, трудно, так ведь не в сказке живем.

Для конкретности рассмотрим один из т.н. «якорей карьеры» — стабильность работы. Для большинства респондентов он очень важен. Но что они имели в виду при этом:
— постоянство выполняемых обязанностей
— возможность получить работу в любой момент
— гарантированный постоянный доход
— что-то ещё…

Конечно, все это раскрывает различные аспекты понятия «стабильность работы». Но кто станет утверждать, что отношение человека к различным аспектам даже одного и того же объекта будет одинаковым? Они потому и различны, что к ним различное отношение! Да ещё у каждого человека есть свои, важные именно для него персонально, аспекты «всеобщего» понятия «стабильность работы». И как их выявить?

Но что удивительно — это совершенно неважно! Пусть даже мы и сумели выявить все аспекты и получить оценки, например, важности для каждого из них. Естественно, что эти оценки будут различными, в том числе и противоположными. И как же мы будем их «обобщать-интегрировать» в некий единый показатель, который должен характеризовать исходное понятие «в целом»?

Вспоминаю свою шуточную статью в стенгазету факультета к 8 марта, которая называлась «К вопросу о женщинах». Год — застой в расцвете. В разделе «Статистика» была фраза: «Советская женщина на 60% блондинка, на 3/4 замужем и всегда слегка беременна». Кстати, реакция партбюро факультета была совершенно безумной — они бросились наверх и дошли, кажется, до горкома. Газета провисела 2 дня, потом сняли от греха подальше.

Так что же наша «стабильность работы» — слегка беременна? На 3/4 замужем? Детали — в обсуждении результатов опросника «Якоря карьеры».

Поэтому смысл показателя — это ответы на заданные по его поводу вопросы. Попытка стандартизировать смысл, как-то его ограничить приводит к формулировке нескольких вопросов, в которых автор пытается «раскрыть смысл» интересующего его понятия. Порождая тем самым уже веер интерпретаций, новый для каждого из вопросов, поскольку там вводятся новые же термины-понятия-слова. И ладно бы делалось это подряд, тогда были бы шансы, что человек сосредоточится «на теме» и как-то сформирует свое отношение к «основному термину». Не тут-то было — вопросы будем задавать вразнобой, чтоб не догадался человек, о чем его спрашивают. А то ведь обмануть захочет, зараза этакая.

Но тогда уже проще поступить так. Выбрать термин (понятие, слово, показатель), для которого мы хотим выяснить нечто у человека. Задавать вопросы, ставящие его в отношения с различными другими терминами (можно и показателями!), назовем их «базисом». По ответам построить нечто вроде «профиля» этого показателя по данному базису. Далее — обычный анализ: статистика, различия, значимости, распознавание образов и пр.

Можно рассматривать группу показателей совместно, тогда они будут базисом друг для друга. Получим структуры, их можно анализировать обычным образом. Достоинство такой методики в том, что устраняется необходимость выявлять смысл каждого из понятий в отдельности. Ситуация напоминает аксиоматику в геометрии — свойства неопределяемых объектов задаются системой аксиом, в которых они участвуют. А если уж приперло выяснить «смысл» понятия, то беседуйте с каждым респондентов отдельно. Но каждый из них обязательно будет иметь свое мнение, и в результате «общее мнение» так и не будет сформулировано.

Напоминает мне это давние исследования по «обобщенному портрету» людей различных национальностей — выбранные «опорные точки» (там были центры зрачков) совмещались и поэтому были видны четко, а все остальное — расплывчато, и чем дальше от «опоры», тем туманнее. Так и в поисках смысла: мы постулируем, пусть даже неосознанно — все люди понимают данное слово так же, как и мы. А всякий постулат, вообще, говоря, требует проверки.

В то же время, как мне кажется, именно структуры отношения человека к различным объектам наиболее стабильны для него и поэтому лучше всего его характеризуют. Нечто вроде порождающей грамматики Н.Хомского — эти структуры конкретизируются в оценках предлагаемых объектов.

Он сакраментален: что означают полученные ответы?

Я утверждаю, что ничего, кроме самих ответов.

Все остальное – наши домыслы. Можно назвать их предположениями, гипотезами, теориями, наконец – суть дела не меняется. Разнятся только более или менее правдоподобные рассуждения, которыми все это сопровождается.

Возможно, я ломлюсь в открытые двери, но, похоже, ответ на этот принципиальный вопрос никто как-то давать и не собирается. Все дружно усредняют и пр., имитируя «применение матметодов в …». Обоснование одно – все так делают, блин, чего тебе ещё надо!?

Но математика подобна мясорубке (не помню уж автора этого сравнения): суешь кости – не надейся на фарш. Именно оценку исходного сырья и делает в первую очередь аналитик данных. И качество этого сырья как-то удручает…

Например, как оценить некий показатель, получаемый в виде суммы баллов, если на его вопросы респондент дает противоположные ответы? Вспоминается «средняя температура по больнице».

Так ведущую роль приобретает очистка данных, причем логическая, для которой статистика – только подспорье. И все меньше данных остается для анализа… Вариантов немного:

  • либо отобрать мало  первичных данных, но зато получить качественные выводы,
  • либо взять данные «как есть» и получить соответствующие результаты.

Поскольку очистка данных уменьшает их число, а оно является святыней для любого гуманитария, которого «обучали» статистике, скорее всего, математики, то берутся все данные (иначе снизится значимость результатов!). И где те результаты, кто пользуется числовыми результатами чужих исследований!?

Вы думаете, этот автор сделал мало? Он снизил общий уровень!
С.Е. Лец

Случайно попал на страничку психфака МГУ и увидел там вопрос: А Вы любите статистику?

Один из комментаторов, преподающий «методы стат. обработки в программе Psychometric Expert» написал: «С литературой, конечно проблемы есть и основная проблема, что в основном они пишутся не психологами, а в большей части математиками

Первая реакция — ну напиши сам, если ты психолог и умеешь обрабатывать данные! Казалось бы, тебе и карты в руки.

Однако тут вылезает старая дилемма — метод vs проблема. Проще: метод (обработки и анализа данных) применим к разным проблемам, проблема решается разными методами. Проблема формулируется предметником (психологом, социологом, …), методы разрабатываются, в основном, математиками.

Вот и получается — проблема, для уровня которой уже актуальна методика обработки данных, носит практически всегда частный характер. И можно, конечно, подобрать походящий набор методов, наиболее подходящих для данной предметной области, достаточно узкой. Соответствующий учебник, мог бы называться, например, так: «Обработка данных при тестировании способности устанавливать сложные аналогии». И тут можно применить довольно много разнообразных методов.

На более «высоком» уровне обобщения предметной области это м.б. названо так: «Обработка данных при тестировании интеллекта». И т.д., и т.п., вплоть до «Обработка данных в психологии». И как же выглядела бы такая книга? Как написанная аналитиком (т.е., математиком по сути), ну пусть работающим с вполне конкретным кругом психологов.

Так таких книг — вагон. Повторяют и переписывают друг друга, конечно. Но само их многообразие как раз и отражает множество тех частных предметных областей, в которых они работали. И, естественно, хотят поделиться наработанным опытом. А при «обобщении» как раз и приходят к изложению общих методов с примерами из своей области.

На деле, как я полагаю, любая научная статья в журнале должна содержать достаточно подробное описание методов анализа данных. Только тогда, на вполне конкретных работах, и можно научиться «обработке и анализу данных в психологии (социологии, …)».

Но для этого надо публиковать и сами первичные данные тоже! А то получается, что и проверить-то ни правильность расчетов, ни обоснованность выводов никак нельзя. Верь на слово — и все тут! Как же тут можно чему-то научиться? Правда, значительная часть работ в журналах печатается для диссеров и как отчеты по грантам. И поскольку сами результаты (численные — так точно!) нигде не используются, то и их происхождение мало кому интересно. А жаль…

В действительности все не так, как на самом деле.
С.Е. Лец

Обычно говорят, что переменную можно считать непрерывной, если она может принимать любые значения из некоторого интервала. Конечно, все это — чистая теория, поскольку на практике результат всегда выражается рациональным числом. А его точность определяется инструментом-мерой.

Насколько знаю, всегда предполагается, что возраст есть непрерывная переменная. Но мало кто из нас точно знает даже час своего рождения, не говоря уже о минутах и секундах. Будем надеяться, что хоть день указали точно. А в опросах просят: «укажите ваш возраст». И тут, как говорят, «возможны варианты». Обычно предполагается число полных прожитых лет. В некоторых анкетах это иногда даже прямо уточняется. Но, поскольку никто при опросе, тем более при электронном, документов не требует, то тут появляются широкие возможности для «неточностей».

Не будем говорить о сознательном обмане — нет у нас возможностей (м.б., пока?) проверить вводимые на сайте данные. И чисто психологических, неосознаваемых причин достаточно. Например, пожилые и старики вполне могут «скосить» себе часть лет. Не будем говорить о женщинах: традиционно считается, что для них скрыть свой возраст — просто-таки доблесть. Вот она рефлекторно и при опросе назовет «чуток поменьше» — в душе-то она ещё ого-го как молода!

Молодежь, скорее всего, округлит в сторону увеличения. Раз не указано, как именно вычислять возраст, то я вполне честно могу принять, что меня просят округлить. Вот я и скажу, что мне уже 16 (без какой-то малости в 7-8 месяцев…).

Даже если строго и честно выполнять все указания опроса, то все равно можем получить довольно глупую ситуацию. Два подростка, с разницей в возрасте в два дня, вполне могут попасть в разные возрастные категории, если один проходит опрос за день до дня рождения. а другой — на следующий день. Конечно, это общая проблема любой непрерывной переменной – как провести границу при укрупнении.

Обычно диапазон возрастов охватывает лет 50-60 лет: от 10-15 до 65-70. М.б., встречаются и более пожилые, но для них уже просто отводится позиция «свыше 70». А то и «свыше 60»: все зависит от составителя анкеты — насколько он близок к такому «свыше».

Давно известно разделение «двух времен» — «абсолютного» (физического) и «относительного» (биологического, психологического и т.п. индивидуального). Тут куча всяческих исследований, от акселерации до социальных проблем, пытающихся провести хоть какую-нибудь периодизацию. Честь им и хвала — проблема-то действительно сложная. Но опять-таки — никакого конструктива для меня как аналитика.

Картину ещё больше запутывает наложение линий развития человека как биологического, психологического и социального существа, их взаимовлияние. См, например, статью: «Проблема возраста и возрастной периодизации«.

Проблема в том, что «на самом деле», как это утверждают врачи, психологи и социологи, каждый из нас движется по жизни, переходя со ступеньки на ступеньку. Т.е., в жизни есть сравнительно длительные периоды стабильности нас как личностей, а есть и сравнительно краткие «переходные периоды» — кризисы личности:

Возрастные кризисы – особые, относительно непродолжительные по времени (до года) периоды онтогенеза, характеризующиеся резкими психическими изменениями. Относятся к нормативным процессам, необходимым для нормального поступательного хода личностного развития (Эриксон, http://www.psyworld.ru/students/bilety/texts/2.html).

Вот описание одного кризиса:

    Кризис 17 лет (от 15 до 17 лет). Возникает точно на рубеже привычной школьной и новой взрослой жизни. Может сместиться на 15 лет. В это время ребенок оказывается на пороге реальной взрослой жизни.

Ну что мне дает это «определение»? Например, парень в 16 лет до- или послекризисный? А девушка? И вообще, разве возрастные группы могут быть одинаковыми для мужчин и женщин? У них даже выход на пенсию в разном возрасте установлен…

Полная неконструктивность для меня как аналитика данных. Мне-то надо знать, к какому этапу жизни следует отнести того или иного респондента. Напоминаю, что статистика работает с однородными группами, для которых только и можно говорить о «средних» характеристиках. А тут мне говорят только, что «кризисы бывают»! Да это я и по себе знаю. Оч-чень ценная информация…, только вот что мне с ней делать, непонятно.

Конечно, сама привязка кризиса к возрасту как раз и производится на основе происходящих с человеком изменений. А они разные для каждого человека. Поэтому приходится выбирать «физическое» время как основу для шкалы возраста.
И вот отчаявшийся аналитик берет десятичную дубину и делит возрасты «по пять» или «по десять». Тут же проявляя непоследовательность и меняя как длину интервалов, так и сами границы. Таковы, например, диапазоны параметра «Возраст» на сайте Глас Рунета:

  1. до 18
  2. от 18 до 25
  3. от 26 до 30
  4. от 31 до 35
  5. от 36 до 40
  6. от 41 до 45
  7. от 46 до 55
  8. старше 55

(спасибо за подсказку Николаю Типатову)
Возьмем категорию от 18 до 25 лет. Сюда попадают и первокурсник, и проработавший 3 года выпускник. Сколько и чего у них общего? И понятно, что для сравнительно молодых авторов в Рунете люди старше 55 просто неразличимо глубокие старики. Впрочем, как и они сами для 15-летней девицы.

Получается так: чтобы провести разумную группировку респондентов, надо анализировать ВСЕ их показатели — и т.н. «управляемые» факторы, и собственно переменные. Но как мы будем конструировать эти группы? Естественно, чтобы они максимально отличались друг от друга (кластеризация и т.п. распознавание образов). Тогда значимость различий в показателях, которые мы сами стремились сделать максимально возможными, говорит лишь о статистической удачности такого разбиения.

Но статистика привязана к выборке! И наши выводы, столь обоснованные на первый взгляд, вполне могут оказаться артефактами… О какой репрезентативности выборки при онлайн-опросе можно говорить? Какой статистический ансамбль представляют эти люди? Ясно, что у них есть выход в Интернет, время по нему лазить и желание отвечать на вопросы. И нет никакой уверенности в том, что параметры среднесетевого респондента хоть как-то связаны, например, со средним кандидатом на должность. Например, женщин в опросе «Якоря карьеры» втрое больше, чем мужчин!

Правда, чем дальше, тем меньше будет это различие, но каково оно в динамике – бог ведает, если ему это интересно. Старшие возрастные группы, мало привычные к Интернету, естественно, постепенно вымрут. И, м.б., когда-нибудь онлайн-опрос станет по валидности эквивалентен собеседованию у кадровика.

Вернемся к выделению групп. Можно попытаться ограничиться только «факторами» — полом, возрастом, образованием и т.п. параметрами, не имеющими отношения к теме опроса. Это методологически куда более грамотно — мы сначала конструируем группы, а затем исследуем, как они отличаются в отношении темы опроса (теста и т.п.).

Но ведь люди, «одинаковые» с одной т.зр., могут кардинально отличаться с другой. И только сам исследователь может объявить тех или иных людей «одинаковыми» для своих целей. Поэтому для него

    никакие априорные группировки не могут служить абсолютной истиной и непререкаемым авторитетом

Казалось бы, что-то общее для людей все же есть – люди они. И что? Какой набор параметров для всех людей один и тот же? Вес, рост, возраст? Так это «физические» параметры. У всех есть совесть и потребности? А какие?

Очевидно, что при опросе, тем более – электронном, нет возможностей «глубинного» интервью, когда исследователь может уточнить и даже исправить нестыковки в запрашиваемых факторах. Не будем говорить о «приколистах» — и без них есть много проблем: одинаковость понимания вопросов, подсознательное желание угадать «желательный» ответ, …

Все это ложится на плечи аналитика и называется «очистка данных». Он должен обнаружить возможные «нестыковки» в данных и предложить методы их обработки. Чаще всего это будет простое исключение таких респондентов из выборки. Респондентов и так много, а индивидуальный опрос невозможен. Так что лично я — за самые суровые критерии отбора данных.

Ясно, что выделение групп людей со сходными параметрами производится как раз на основе статистических данных, как наиболее часто встречающихся. Т.е., есть только два пути укрупнения, когда получаемые диапазоны выбираются, исходя только из:

  • сокращения числа диапазонов (абсолютный подход);
  • получаемых при этом групп (статистический подход).

Отметим основной недостаток второго подхода. Пока нет «общепринятого» набора диапазонов, любой из них привязан к конкретной выборке. А на этом основании такое укрупнение может подвергаться сомнению как «неподходящее» к другим выборкам.

В основе лежит, конечно, подход «физический», поскольку только он может служить опорой для выводов об изменчивости любых характеристик человека со временем. Но поскольку мы говорим именно о человеке, то явно или неявно, нам придется учитывать его особенности как объекта исследования. Тут возникает две проблемы:

  • с какого возраста должны «стартовать» вводимые диапазоны;
  • какова д.б. их длина — одинаковой или нет, и какой именно.

Тут все не так просто, как кажется на первый взгляд. Очевидно различие в скорости развития человека — как организма, так и личности — с течением времени. Она, эта скорость, очень высока в первые периоды после рождения и практически нулевая (чтоб не сказать – отрицательная) в конце жизни. Поскольку нас интересует именно «пройденный путь», и именно его мы стремимся разбить на какие-то качественно различные участки, то длины интервалов явно должны нарастать.

Понятно, что «укрупнять» диапазоны возраста придется. Но что это дает, к каким проблемам приводит – особая тема. И обсуждать её надо с числами в руках. Вот это я и проделаю в статье.

Ведь только одно нас и интересует — каков состав групп. А вовсе не средние значения показателей по группе, сколь бы заманчивыми не казались эти числа. Группа — это воображаемый объект, не более.

И не надо про групповую психологию. Ситуация человека в толпе качественно отличается от опроса. Поэтому и его ответы не имеют ну никакого отношения к его действиям в толпе.

Как, впрочем, и не в толпе. Проведите опрос в группе, в присутствии других людей. Как вы думаете, ответы совпадут с теми, что были наедине с опросным листом? И есть ли у вас уверенность в том, что предпочтения, выявленные наедине, устоят перед давлением группы при принятии решения в реальной ситуации?

Это давно меня занимало. Зачем опросы и тестирования проводят ученые, вполне очевидно: интерес познавательный (не будем про диссеры, это неприлично…). А вот практики-то зачем это делают? Они что, уж совсем не понимают, что «лабораторные» работы и реальная жизнь — две большие разницы? И не раз ведь сталкивались с этим, и обжигались, и т.п. и т.д. Ничего их не учит… Даже жизнь.

Кстати, примеры с ментами, что прошли ВСЕ тесты и такое вытворяли — уж это ли не пример!?

В некоторых заданиях возможны типа «что лишнее?» возможны несколько вполне разумных ответов. При попытке обсудить эту проблему часто говорят об уровне обобщения как критерии «правильного» ответа. И если «ответчик» не отвечает так, как задумал автор — получает клеймо. Мысль, что автор всегда прав, представляется мне как раз свидетельством того, что мозг, в котором эта мысль обосновалась, следовало бы почистить. Это не клеймо, а рекомендация.

Не будем голословными:
1. Что лишнее: трапеция, параллелограмм, прямоугольник, квадрат, ромб?
1а — трапеция: у неё нет центра симметрии
1б — трапеция: все остальные есть её частные случаи
1с — квадрат: у него наивысшая симметрия
И где здесь «высший уровень обобщения»?

Уберем трапецию!
2. Что лишнее: параллелограмм, прямоугольник, квадрат, ромб?
2а — параллелограмм (нет осей симметрии)
2б — -«- (все остальные есть его частные случаи)
2с — квадрат: у него наивысшая симметрия
Чем эти варианты хуже один другого?

О чем вообще свидетельствует ответ, отличающийся от задуманного автором? О том, что у отвечающего богатая фантазия? он «креативен»? не знает предметной области? А, м.б., о том, что автор чего-то не додумал?

Ну не знаю я, например, про Фета или Тютчева, нейтрино или мю-бозон, нематоду или аскариду — и что? Понятно, кругозор м.б. и побольше, но ведь и автор теста тоже не всеведущ. И я могу задать ему вопрос, на который он не сможет ответить так, как я задумал.

Ссылка на «общеизвестность» сразу выдает привязку к конкретной социо-культурной группе. В общем, получается, что тесты «способностей» — это тесты достижений в некоей группе. Знает — не знает: вот и все различие. Типа знатоков.