Тестирование как строго субъективная наука

Вместо эпиграфа

Сидя за столом в своём кабинете, мой собеседник похлопал рукой по пыльной стопке бумаги.

- Знаете, в чем проблема этих тестов?.. Мы вообще не получаем плохих результатов. Самоконтроль у нас минимум 7 из 10, у большинства 8 и выше; энергия - от 8, общение - всегда 8-9-10; уход от проблем — тут, наоборот, никто не уходит, у всех 1-2-3. Понимаете меня?

- Да.

- Нет никакого смысла тестировать! Все результаты одинаковые. Все - хорошие работники. Тест нам не даёт никакой помощи. Это бессмысленно!

Ожидания и реальность

Вокруг тестов существуют определённые мифы и ожидания. Большинство считает, что тест — это некий объективный инструмент, наподобие линейки или весов, дающий точные данные, но только не о весе или размере, а о психологии индивидуума.

Эти ожидания существуют во многом благодаря стараниям самих психологов, резонно опасающихся недоверия и всячески повышающих научный статус своих методов, фактически строя их по образцу из точных наук. Соответствующая терминология: «достоверность», «надёжность», «воспроизводимость» и т. п. придаёт методу серьёзную наукообразность. Поэтому любой разработчик легко подаст свой тест, как некий реальный инструмент, запускающий объективный процесс снятия информации с объекта, а на выходе дающий надёжные результаты, которые можно повторить, проверить и т. д.

Это так?

Да, это так, но только на большой выборке: если мы протестируем 100 человек, то в целом получим надежность, воспроизводимость и всё, что полагается. Но с каждым конкрентным человеком...

С точки зрения здравого смысла для нас совершенно очевидно, что условный физик легко может 10 раз подряд взвесить один кирпич и получить одинаковые результаты. Тогда как психолог, повторно проводящий свой тест с одним и тем же человеком 10 раз, никогда одни и те же ответы на свои вопросы не получит. Как говорится, «в одну реку нельзя войти дважды».

С другой стороны, никто не ждёт того же, скажем, от интервью. Если два интервьюера отработают с кандидатом по одной методике с единым стандартом отчета, никто не будет от них ждать совершенно одинаковых заключений. Потому что понятно, что каждая ситуация складывается индивидуально, одному что-то расскажут, другому нет, один заметит какую-то деталь, а второй — нет, и т. д. Это в случае идеального интервьюера! В реальности же эксперт переносит на кандидата кучу своих стереотипов и предрассудков, не зря же специалисты шутят: «О чьих особенностях больше говорит заключение — кандидата или всё-таки самого исследователя?»

А что показали эксперименты?

Да подтвердили, что тест одинаково сделать нормальному человеку крайне сложно. Более того, в исследованиях были выявлены факторы, направленно влияющие определенным образом на выполнение тестов. Вот некоторые из них:

• голод
• недостаток сна
• употребление наркотиков (в т.ч. легальных алкоголя и табака)
• только что перенесенный стресс
• коммуникации перед тестированием
• яркие особенности человека, проводящего тест
• обстановка в помещении, где идет тестирование
• дополнения и разъяснения инструкции к тесту
• прерывания во время теста

Вы ещё верите, что результаты теста объективны?

Почему тесты работают не так, как ожидалось?

Наши ожидания от теста как объективного инструмента строятся на неверных посылках:

• процессом рулит экспериментатор
• отвечая на вопросы о каких-то ситуациях из жизни, испытуемый более-менее объективно описывает то, как вёл бы себя в действительности
• математические процедуры над данными позволяют сделать получаемые результаты объективными

Разберём по порядку:

1. Процессом рулит экспериментатор.

Это вовсе не так, каждый из участников имеет одинаковые по силе рычаги для управления ситуацией. Более того, экспериментатор связан процедурой, испытуемый не связан ничем.

2. Отвечая на вопросы о каких-то ситуациях из жизни, тестируемый более-менее объективно описывает то, как он вёл бы себя в действительности.

У любого человека, разбирающегося в психологии, этот посыл вызовет скорее недоумение или смех — даже если бы испытуемый по каким-то причинам решил отвечать максимально честно, всё равно человек не способен наблюдать за собой и объективно описывать своё поведение. Даже среди профессионалов, которые специально этому много лет учились, далеко не все реально смогут это сделать.

3. Математические процедуры над данными позволяют сделать получаемые результаты объективными.

К сожалению, и это - глубочайшее заблуждение. Когда мы имеем дело с очень сложными многослойными, многопараметрическими процессами, процедуры ничего не определяют. Процедуры помогают анализировать, а не создают объективность. Объясню подробнее.

Дело в том, что объективность при анализе очень сложных процессов прямо связана с уровнем понимания происходящего. Если экспериментатор очень слабо понимает, что в действительности происходит, он никаким образом не сможет раскрыть ни одной реальной закономерности. Данные могут прямо написать ему что-то огромными красными буквами, но надпись останется незамеченной, так как в голове нет адекватной реконструкции происходящего.

Поясню по аналогии. Допустим, надо на слух определить неисправность машины (очень похоже на психологическое тестирование, кстати). Опытный автомеханик послушает, понажимает на газ, чуть проедет, и, скорее всего, выяснит, в чем проблема. По крайней мере, даст пару гипотез. Представим теперь, что та же задача стоит перед условным пещерным человеком, который на машине просто пару раз проехал. Что он сможет определить? В машину вселился местный дух зла? Она проехала по плохому месту? Очевидно, что надо уже знать устройство, чтобы что-то анализировать и делать выводы. Однако, в тестах мы очень часто видим, как психометр, не совершивший в жизни ни одной продажи, производит тест на эффективность продавцов. Студент делает тест для топ-руководителей (ха-ха, это как раз я 30 лет назад). Ну и т.д...

заблуждения великих

В своё время Институтом Кеттелла, провайдером известного Теста Кеттелла, проводились исследования личных качеств футболистов, и было выявлено, что одним из наиболее важных качеств является конформизм. Это качество стало ведущим в оптимальном психологическом профиле. Неожиданно, да? Но допустим, что это так...

Тогда представим теперь, что мы ведём подбор будущих футболистов. В числе прочего тестируем их на конформизм. Должны ли мы отобрать самых конформных, и забраковать тех, кто покажет здесь низкий результат? Почему-то не хочется, не даёт покоя мысль, что многие великие игроки — как раз нонконформисты.

Разберёмся на уровне фактов.

По факту мы знаем только то, что футболисты продемонстрировали конформизм в ответах. Помимо официальной трактовки «конформизм важен для эффективности» мы можем допустить и другие варианты, например:

1) конформизм формируется под влиянием жизни и работы в команде; в этом случае он изначально не важен и нет смысла руководствоваться им при отборе;

2) все игроки командного вида спорта высокого уровня имеют навык командной дисциплины; поскольку они знают, что их тестируют, всю команду, как футболистов, они включают этот навык во время теста — в ответах это выглядит, как конформизм; их реальный конформизм неизвестен, он может быть любым.

Мы видим, что математические процедуры, не основанные на глубоком понимании явления, не дают пользы, а просто уводят в каком-то случайном неверном направлении. Но они заработают, если человек хорошо разбирается в том, что исследует. Статистика и математика — очень эффективное оружие — во-первых, с их помощью можно увидеть любые нюансы, которые не видны «невооружённым» глазом, а во-вторых, это прекрасный инструмент проверки предположений, гипотез.

Итог: объективность тестов — вопрос веры, а не науки. С точки зрения точной науки психологический тест не может быть объективным по определению.

Идём к разумному подходу

Главная ошибка существующего подхода — отрицание активной роли испытуемого. Он пассивен, мы проводим свою процедуру, тестируем его. Но это не кирпич, на деле мы работаем с ним, а он работает с нами.

Первое, что следует понять:

тест — особое взаимодействие, очень редкое в жизни испытуемого, и потому не имеющее накатанных поведенческих стереотипов.

Что же происходит? А вот что:

Эти два фактора (что понял и что решил) дают нам на выходе огромное количество вариантов поведения, то есть, два и более условных «одинаковых человека» могут совершенно по разному заполнить тест в реальности.

Грубый пример. Допустим, «первому клону» понравилась и расположила к себе симпатичная девушка, давшая тест. «Второго клона» сильно напряг мужчина с суровым взглядом, словно говорящим «я выведу тебя на чистую воду». «Третьему клону» секретарша сунула бумажку, как нечто ничего не значащее. «Первый» расслабился, раскрепостился и решил отвечать максимально откровенно. Его дубликат во второй ситуации, наоборот, насторожился и решил работать с тестом предельно внимательно и максимально закрыто, ожидая всяких ловушек. А «третий» решил, что тест — незначимая формальность, и заполнял, даже не читая половину вопросов. Итог: одинаковые человеки, разные ситуации - разные ответы, разные результаты.

Именно поэтому отладка теста для подбора и оценки на добровольцах абсолютно бессмысленна. Основной мотивацией добровольца является желание узнать о себе, тогда как при оценке работает уже мотивация понравиться. Разница между первым и вторым космическая. Когда я делал первую версию Теста «50», то из 18 добровольцев (при отладке первичного текста) 10 ответило «да» на пункт «в компании незнакомых людей в первое время я чувствую себя неловко». А при подборе продавцов-звёзд в автосалоны «Автоганза», «Ауди Центр Москва» и «Независимость ЛандРовер» у меня за 3 года скопилась замечательная выборка в 1004 кандидата на вакансию продавца. Так вот, на вопрос «в компании незнакомых людей в первое время я чувствую себя неловко» ответило «да»… 0 человек. Вдумайтесь в эту цифру — ноль из тысячи. Ноль! Из тысячи!!! Казалось бы, кто-то должен ответить хотя бы в силу закона больших чисел. Нет, никто. В общем, люди вовсе не такие идиоты, как о них думают психологи. Они прекрасно понимают, кто тестирует, для чего, и что надо отвечать.

Продолжим анализ поведения кандидата:

Это грубая ошибка, всё равно, что анализировать действия футболиста, исключив то, что его цель — попасть в чужие ворота и защитить свои. Давайте замерим его пульс, скорость бега, количество контактов с мячом - конечно, что-то мы о нем узнаем, но оценка эффективности будет сильно смещена в сторону наших предрассудков.

Так есть ли объективность у теста?

Надеюсь, к этому моменту вы уже отлично понимаете, что тест — это не нечто незыблемое, что даст результат при любом поведении испытуемого. Напротив, это лёгкая конструкция, уязвимая для любого намеренного или случайного вмешательства. А значит, нам нужна гибкость и защита — мы должны докопаться до настоящих данных через наслоения многочисленных фильтров и стратегий, вызванных ситуацией.

Мои статистические данные напрямую подтверждают то, о чём я сейчас пишу - до 70% полученной информации в тесте «50» (это тест деловых и личных качеств) объясняется выбранной стратегией ответов.

Основатели рекрутингового агентства «Анкор» были по образованию психологами, и естественно, пробовали в начале работы различные психологически тесты. О работе с модным опросником Майерс-Бриггс их отзыв был такой: «Вместо 8 типов на выходе мы в 80% случаев имеем тип ESTJ, еще 10% INTJ - у программистов, и только 10% все остальные типы. Так быть не должно, наши коллеги, работающие не на отборе, получают примерно равное распределение всех восьми типов.»

Объяснение этого разочарования простое - в схожей ситуации люди выбирают близкие стратегии ответов, поэтому лишь у единиц результаты чем-то отличаются.

Разница уровней тестирующего и тестируемого

Отдельной проблемой становится тестирование действительно компетентных испытуемых.

Допустим, психолог создал тест на эффективность управления. Сам он никогда не управлял, но прочитал пару книжек по теме и сделал тест.

И вот он формулирует некую ситуацию с подчиненным, имеющую, допустим, три варианта ответа: «похвалить», «отругать», «промолчать».

Теперь перейдём к испытуемому — а он у нас действительно компетентный руководитель, он уже 20 лет в бизнесе, пуд соли съел, пытливо изучал вопрос, прошёл десяток тренингов, прочитал всё, что издавалось на эту тему, в общем, реально крут.

Вот он читает ситуацию и думает: «судя по примитивной формулировке вопроса, тест составлял явный новичок, значит, надо отвечать «1» - эти новички очень любят теории позитивной мотивации; но, с другой стороны, должны же эти психологи хоть какие-то основы понимать в управлении; система не может работать без обратной связи, и если они хотят знать, понимаю ли я это, тогда ответ «2»; главное, что сам то я на практике хорошо уяснил, что именно в этой ситуации правильный ответ только «3 — промолчать», но поймут ли мой ответ?». Ну и ответит он 2 или 3. Но наш то клоун уверен, что лучший ответ 1 — в итоге низкий балл и «вали с пляжа, ты плохой руководитель».

В живой беседе опытный интервьюер спросит, почему именно такой ответ, получит комментарии к вариантам, есть шанс понять высокий уровень собеседника. Но при заполнении стандартизованного теста у испытуемого нет никакой возможности объяснить свой ответ и подтвердить свою компетентность.

Уровень тестирующего не должен быть ниже уровня испытуемого.

Сложность реальных черт

Выискивая слабые места теста 50, я обратил внимание, что каждый ответ на вопрос теста имеет не одну, а несколько причин для выбора.

К примеру, вопрос «Если бы меня спросили, нравлюсь ли я сам себе, я ответил бы: "В целом, мне не в чем себя упрекнуть"» выбирается, как минимум, под влиянием четырёх возможных мотивов:

• (1) демонстрация низких притязаний
• (2) позиция ответственности строго за свой участок работы (про позиции)
• (3) удовлетворённость жизненной ситуацией, низкое желание перемен
• (4) невротическое стремление управлять всем

Как видно из этой карты мотивов, последняя причина находится в серьёзной оппозиции к первым двум. Это бывает не так уж и редко и наглядно показывает, что представляют собой черты реального человека - взаимодействие разных сил, корректирующих друг друга. Как гипотеза, мотивы 1 и 2 вполне могут быть результатом внутреннего лечения от 4: сначала человек страдал от невроза (стремясь быть везде и управлять всем), терял кучу времени и энергии, но смог адаптироваться, снизив притязания и поняв, что разумнее отвечать за свой участок работы.

На этом примере хорошо видно, что стандарная схема «вопрос/ключ» будет довольно плохо работать, так как просто нет шкалы, к которой можно уверенно приплюсовать данный ответ. Никакую черту нельзя рассматривать отдельно, не в совокупности со всеми остальными качествами.

Резюме: почему тесты не работают

Конструируем тест

Наша первая задача — определить и отследить все основные виды влияния испытуемого на результаты. А дальше мы должны использовать эту информацию.

Заключение. Так можно ли верить тестам?

Верить или нет - слишком простая и наивная постановка вопроса. Тест - это не магический ключик к человеку, а инструмент, позволяющий провести некое испытание. Если сам инструмент добротный, хороший, то он годен для работы. В случае использования по назначению и соблюдения инструкции.

Это инструмент тонкий и сложный, поэтому достаточно хрупкий и уязвимый. Его использование требует внимания и аккуратности. Не относитесь к тесту, как к магии, а контролируйте базовые условия его использования.

PS. Некоторые практические рекомендации

Как понять, насколько можно доверять конкретному тесту?

О тестах вообще

Итак, тест - сложная конструкция, а значит, два основных ориентира - грамотная разработка и правильное использование.

С чем следует в первую очередь разобраться:

Кто делал? Компетентен ли он в изучаемой области, с одной стороны, и в математике, статистике и прочей психометрике, с другой?

• Если тест для программистов делает историк, то он сделает тест по истории программирования. А нам нужен программист.
• Если тест для продавцов делал психолог, который сам ничего не продает, то это тест о фантазиях психолога. А нам нужен дельный продавец.
• Если тест для руководителей делал бывший руководитель, ничего не понимающий в психологии тестирования, обработке данных и матстатистике, то если повезёт, получится тест на схожесть с мышлением этого руководителя. Впрочем, без нормальной обработки данных и этого будет невероятно сложно добиться.

Адекватна и воспроизводима ли базовая экспериментальная ситуация?

Если тест создавался в одной ситуации для определенной задачи, а пользоваться мы планируем в других условиях и для задач других, в 95% случаев тест не сработает. Поэтому собираем информацию и включаем максимальный скепсис.

К счастью для нас, полезная информация часто содержится уже в аннотациях: «мы отладили наш великий тест продаж на 120 продавцах, заглянувших к нам на сайт». Какие здесь основные моменты: заглянувших на сайт мы не можем уверенно отнести к продавцам - вообще-то это посетители, это первое; а второе - их мотивация - не попасть в компанию, а узнать о себе. Значит, если тест нам нужен для развлечения посетителей сайта, или как мотив для лэндинга - он свою задачу выполнит. А в качесте инструмента отбора не годится - другая ситуация, другая мотивация. Нет смысла даже пробовать - чудес не будет, а случайные результаты 2,3, или даже 5 человек вас только запутают.

Что можно и чего не следует делать

Единичные пробные тестирования

Годится для знакомства с функционалом, интерфейсом и форматом результатов, для оценки достоверности - бессмысленно.

Во-первых, тесты - это про выборки, статистику, они работают достоверно в целом на потоке, а отдельные случаи всегда имеют какие-то свои особенности. Можно ли определить уровень игрока в покер по одной раздаче? Или умения трейдера по одной сделке? А настроения в стране по разговору с одним случайным прохожим? Иногда можно, но ключевое слово здесь «иногда».

Во-вторых, очень и очень часто пробные тестирования безнадежно далеко отстоят от базовой экспериментальной ситуации. К примеру, HR одной из компаний для проверки дала Тест Компетентности в Продаже директору по развитию, которая 100500 лет назад была лучшим продавцом. Абсурд ситуации, надеюсь, понятен.

Но «сегодняшнему» лучшему продавцу давать тест на проверку также бессмысленно. Разница в ситуации и мотивации («ты наш лучший продавец - проверь-ка тест» и «мы не знаем, что вы за продавец - но сейчас выясним с помощью этого теста») в 99% случаев приводит к тому, что хороший продавец получает на «проверочном тестировании» очень низкие результаты. В начале работы с тестом я ещё удивлялся и исследовал несколько таких случаев, но быстро всё понял и удивляться перестал. Запомнился, например, такой случай: лучший продавец считала, что «клиента надо любить и максимально о нем заботиться». Само по себе здорово, но в заданиях она постаралась максимально это своё отличие транслировать - не особо вчитывалась в проблемную ситуацию, просто выбирая из ответов самые «любящие и заботливые». Это как ребенок очень любил сложение, и во всех задачах все цифры складывал, даже в задачах на вычитание и деление. Набрала 2 балла из 10.

Пробная партия на боевой задаче

Всегда хорошим вариантом будет тестирование потока соискателей, 10-30 человек. Кого-то из них вы возьмете в компанию, иногда по личному впечатлению против результатов теста. Через 3-6 месяцев можно будет сравнить итоги адаптации и работы человека с результами и прогнозами тестов. Таким методом оценить полезность методики будет логично и легко.

Изучение всех открытых материалов: описаний, аннотаций, образов результатов, отзывов

Как правило, там будет информация, если тест нерабочий или не подходит под вашу ситуацию.

О доверии тестам Practical Diagnostics

Тест 50

50 сделан точно по схеме из этой статьи, и там многоуровневая фиксация как намеренного, так и неосознанного искажения.

Семантический Тест

Семантический Тест в силу своей непрозрачной процедуры закрыт для направленной фальсификации, но, естественно, случайные искажения под влиянием нестандартной мотивации возможны.

Тест Компетентности в Продаже

Тест сделан так, что случайно получить высокие результаты невозможно. Если человек набрал высокий балл, у него точно есть умение подстраиваться под другого человека и понимать ситуацию. То есть, высокому баллу мы точно можем доверять.

С другой стороны, хороший продавец может набрать низкий балл по различным причинам, от искаженной мотивации до банальной невнимательности. Придумать здесь какой-то выход невозможно, тест не магия, а испытание - и профессор математики не решит задачку для пятого класса, если невнимательно прочитает условия.

Как определить, насколько можно доверять результатам конкретного тестирования?

По-возможности, я стараюсь использовать все три теста. Для контроля достоверности обращаю внимание на:

• шкалы лжи в Тесте 50 - они показывают общий настрой человека при выполнении тестов
• сравнение результатов 50 и Семантического Теста; тесты имеют полностью независимые системы расчета и совпадения в результатах сразу говорят о точной работе методик; в случае несовпадения я анализирую ситуацию и определяю, какой из тестов лучше отработал и что взять за основу

Инструкция к тесту

Я сталкивался с тем, что некоторые кадровики существенно расширяли и дополняли инструкцию к тесту, например, включали туда предупреждения о шкалах лжи. По мысли HR-а это должно было способствовать более честному выполнению. Влияние действительно есть, на эту тему даже существуют исследования. Но результат такого воздействия непредсказуем.

Тест - стандартизованная процедура, и любое отклонение от стандарта приведёт к сдвигу в статистике, т.е. к «порче результатов». Проблема не в том, что вмешательство может быть «хорошим» или «плохим», а в том, что статистика теста - реальный «черный ящик», наработанный методом огромного количества проб и ошибок. Мы понимаем закономерности результата, но как что работает «внутри», мы не знаем. Поэтому сам факт любого вмешательства заведомо ломает заложенную модель.

Всегда следует использовать оригинальную инструкцию, дополняя её только по рекомендациям разработчика.

Проведение Теста Компетентности в Продаже у себя в компании

Казалось бы, тест навыков продаж мало будет подвержен искажению под влиянием ситуативных факторов. Однако на деле это оказалось не совсем так. При отборе кандидатов в продавцы искажений действительно было мало, но вот вот тестирование действующих продацов внутри компании... Практика применения показала несколько факторов, серьёзно влияющих на результат:

Неодинаковая мотивация участников

Продавцы, имеющие средние или небольшие продажи, обычно имеют больше мотивации хорошо сделать тест и показывают максимум своих возможностей. Тогда как лучшие по продажам, бывает, опасаются за свой статус и принимают решение «саботировать» тестирование, намеренно делать тест с искаженной установкой или просто невнимательно. Это закономерно приводит к очень низкому результату, что даёт продавцу возможность либо занять агрессивную позицию: «тест плохой, потому что хорошие продавцы (я) получили низкий результат, а плохие - более высокий», либо позицию защитную: «я не знал, что надо делать серьезно, не читал толком задания».

Как с этим работать - общего чудо-приёма тут нет, нужен индивидуальный подход, обратная связь.

Обстановка при выполнении теста

Постоянные отвлечения, шум, усталось после рабочего дня и т.п. способны существенно снизить результаты. Следует обеспечить достаточное время (до 1ч 20м) и спокойную обстановку для выполнения теста.

Неудачная подача теста

Тест по своей сути воспроизводит работу со сложным клиентом и требует серьёзной концентрации. Не следует подавать его, как нечто простое/легкое или необязательное.

Григорий Гребенюк, 2018-2019

Тестирование как строго субъективная наука

Вместо эпиграфа

Ожидания и реальность

Это так?

Что показали эксперименты?

Почему тесты работают не так, как ожидалось?

Идём к разумному подходу

Так есть ли объективность у теста?

Разница уровней тестирующего и тестируемого

Сложность реальных черт

Резюме: почему тесты не работают

Конструируем тест

Заключение. Так можно ли верить тестам?

Некоторые практические рекомендации

Как понять, можно ли доверять тесту?

О тестах вообще

О доверии тестам Practical Diagnostics

Как определить, насколько можно доверять результатам конкретного тестирования?

Инструкция к тесту

Проведение Теста Компетентности в Продаже у себя в компании