Эффект Даннинга-Крюгера в найме: почему самооценка навыков кандидата ничего не гарантирует

Через пять лет после той работы Даннинг, Чип Хит и Джерри Сулс опубликовали в Psychological Science in the Public Interest обзор «Ошибочная самооценка», где рассмотрели исследования по здоровью, образованию и рабочей среде. Выводы обзора скромнее и важнее для найма, чем сама формула про 12-й и 62-й процентили.

Первый вывод: связь между самооценкой навыков и реальной эффективностью обычно слабая. Авторы пишут, что корреляция самооценки умений с реальным результатом во многих областях от умеренной до скудной, а иногда прогнозы других людей о результате человека оказываются точнее его собственных прогнозов.

Второй вывод: люди в среднем переоценивают себя. В среднем они говорят, что «выше среднего», что статистически невозможно. Они также завышают вероятность желательного поведения и благоприятных исходов, дают слишком оптимистичные сроки завершения будущих проектов и выносят суждения с избытком уверенности.

Для работодателя отсюда следуют две вещи. Во-первых, графа «уровень владения» в анкете это не измерение, а мнение, и оно в среднем смещено вверх. Во-вторых, ожидание сроков и результата от самого кандидата («сделаю за неделю») тоже склонно быть оптимистичным, поэтому сроки лучше сверять с фактами из прошлого опыта.

С 1999 года тему много обсуждали, и часть выводов пересмотрели. В 2020 году Жиль Жиньяк и Марцин Заенковский опубликовали в журнале Intelligence работу, в заголовке которой утверждают: эффект Даннинга-Крюгера «в основном статистический артефакт». Подзаголовок работы говорит о допустимых способах проверки гипотезы на данных об индивидуальных различиях.

Подробную аргументацию авторов здесь пересказывать не будем: аннотация статьи не была доступна при подготовке этого материала, и мы не хотим приписывать им механизмы, которых не читали. Достаточно зафиксировать факт: в научной литературе есть работа с прямым утверждением, что наблюдаемая картина в значительной мере объясняется статистикой, а не особой психологией неумелых людей.

Для практики спор не меняет главного. Даже в самой осторожной трактовке остаётся то, что показал обзор 2004 года: самооценка навыков плохо связана с реальным результатом, и опираться на неё нельзя. Меняется только объяснение. Вместо рассказа о «неспособности увидеть свою некомпетентность» достаточно более простого тезиса: уверенность кандидата не измеряет его умение.

Как читать новости: если вам рассказывают, что «глупые всегда самоуверенны, а умные сомневаются», это упрощение оригинала и не вывод, на который можно опереться при отборе или оценке сотрудников.

Самооценка встречается на каждом этапе. В резюме это формулировки «владею на продвинутом уровне». На собеседовании это вопросы вида «оцените себя по десятибалльной шкале». В оценке сотрудников это самооценка перед ежегодным обзором. Ниже типичные ситуации и что с ними делать. Это иллюстрации на основе выводов обзора, а не данные конкретного исследования.

Ситуация первая: кандидат уверенно говорит о навыке, но не может привести пример. Уверенность в этом случае ничего не сообщает. Правило: за каждым заявленным навыком должен стоять случай из практики с задачей, действиями и результатом.

Ситуация вторая: скромный кандидат оценивает себя на шесть из десяти, хотя его ответы точные и подробные. Заниженная самооценка не признак слабого навыка. Обе ошибки возможны в обе стороны, и именно поэтому оценку нельзя строить на шкале самооценки.

Ситуация третья: руководитель оценивает собственную работу выше, чем команда. Для таких случаев в практике используют оценку из нескольких источников; подробнее о ней в материале этого раздела про оценку 360 градусов.

Ситуация четвёртая: сотрудник уверенно берётся за незнакомую задачу и называет оптимистичный срок. Это пример завышенных сроков из обзора 2004 года. Помогает сверка с прошлым: сколько занимали похожие задачи раньше.

Лучше всего сравнивать кандидата с реальной задачей. В классическом обзоре 1998 года Фрэнк Шмидт и Джон Хантер сопоставили 19 процедур отбора и показали, что наибольшей прогностической силой обладают комбинации, где общие способности сочетаются с рабочей пробой, тестом добросовестности или структурированным интервью (совокупная валидность 0,63-0,65 в оценках того времени). В пересмотре 2022 года Пол Сакетт с соавторами снизил оценки валидности для большинства процедур, занимавших высокие места, на 0,10-0,20, а структурированное интервью вышло на первое место. Самооценка среди сильных комбинаций в этих работах не названа.

Для рабочей пробы подходят короткие задачи, близкие к реальной работе: ответить на письмо клиента, составить план на неделю, найти ошибки в таблице, разобрать запись звонка. Единые условия и критерии позволяют сравнивать кандидатов между собой.

Для интервью используйте вопросы о конкретном прошлом: «Расскажите о случае, когда вы строили отчёт с нуля. Какие данные были? Что вы сделали? Что получилось?» Оценивайте по заранее заданной шкале примеры, а не уровень уверенности в голосе.

Для сотрудников используйте обратную связь с опорой на факты и несколько источников. Если сотрудник переоценивает себя, помогает не спор об оценках, а конкретные данные: сроки, ошибки, результаты проверок. Исследование 1999 года показало, что обучение помогает людям точнее видеть пределы своих навыков, поэтому развитие и обратная связь полезны и с этой стороны.