Регрессия к среднему, или как я перестал беспокоиться и полюбил обратную связь [Veritasium]
Вот сайт с шаурмой. Works. [Музыка] Вы что, помогает нам успешно учиться, а not only пряник.
Возьмем, к примеру, подготовку израильских летчиков. Инструкторы обнаружили, что критика полетов дает лучшие результаты, чем похвала. Одета отчитывали каждый раз, когда он плохо справлялся с заданием. Оказалось, что после этого он всегда показывал более высокий результат. Энквен, наоборот, если его хвалили за удачный манёвр на лету, впоследствии показатели почти всегда опадали.
Естественно, они сделали вывод, что положительные оценки неэффективны и даже вредны, ли только негативные дают плоды. Но дело в том, что это противоречит исследованиям, в которых положительная обратная связь показала большую эффективность, чем отрицательная. Например, в эксперименте с участием учителей, если педагог чаще хвалил учеников, чем критиковал, они уделяли выполнению заданий больше времени.
В другом случае игрокам в бридж устраивали видеоразбор матча после игры, но половине команды показывали их лучшие моменты и хвалили за работу, а другим игрокам — промахи и ошибки, и ругали за неверные решения. Неделю спустя, на следующей игре лучше себя повели те, кого до этого хвалили. Разница была заметна не только на психологическом уровне. Анализы крови показали, что у игроков, которых поощряли за успехи, уровень тестостерона был выше, чем у тех, кого ругали.
И что мне кажется самым удивительным, даже через неделю после разбора полетов разница между двумя группами по-прежнему сохранялась. Но как же пример с израильскими пилотами? Может, все дело в культуре, и для кого-то критика оказывается эффективнее? Филе может все зависит от задания. Вероятно, навыки вроде управления самолетом лучше развиваются, когда тебя критикуют, или возможно, обратная связь вообще никак не влияет на результаты тренировок. Вдруг у них все получилось бы точно также, вне зависимости от того, что им говорили.
Сейчас поясню. Представьте, ставьте 100 студентов, пишут тест из 100 вопросов, на которые можно ответить "да" или "нет" на темы, которые они не разбираются. Я предположим, что они отвечают "дуга ты", вы. Иногда у большинства результат будет где-то в районе 50 процентов, но по чистой случайности кто-то наберет намного больше, намного меньше.
В среднем, если отобрать 10 студентов с лучшими результатами теста и дать им про решать еще один очень похожий, то окажется, что их средний результат все равно будет около 50. Точно так же, если взять 10 студентов с худшими результатами, их средний показатель поднимется до 50. Это регрессия к среднему.
Она объясняет, почему, если сегодня вы удачно сыграли в гольф, то завтра не стоит ждать того же результата. Все потому что случайность влияет почти на все, что мы делаем. Сам результаты наших стараний зависят и от наших навыков, и от везения. Так что, если вам повезло в один день, скорее всего, на другой вам уже не так повезет.
Это чем-то похоже на известную ошибку игрока, когда кажется, что прежние события влияют на вероятность новых. Скажем, если вы бросили монетку, и вам три раза выпала решка, будет ошибкой ожидать, что теперь обязательно выпадет орел. Шансы все те же — 50 на 50. Ошибка заключается в предположении, что вероятность меняется для отдельного события.
Чтобы результаты уравнялись перспективы, регрессия к среднему говорит совсем не об этом. Она лишь означает, что крайности всегда разбавляются более распространенным средним результатом. В нашем эксперименте все отвечали "но га". Но даже если знать тему вопросов, элемент случайности никуда не денется, так что регрессия будет просто станет менее выраженной.
Это важно учитывать в исследованиях. Представьте, что тестируете новый препарат от заболеваний сердца. Вы отбираете 10 процентов пациентов с самым плохим состоянием, у них высокое давление, повышенный холестерин и так далее. Спустя месяц лечения препаратом, вы снова проверяете показатели и видите улучшение. О, здорово, значит, работает!
Но не обязательно. Суть в том, что, хотя давление и холестерин более стабильные переменные, чем случайные ответы на тесты, какая-то изменчивость все равно сохраняется, вызванная, скажем, уровнем стресса в конкретный момент, вашим завтраком или даже погрешностью приборов. Так что, скорее всего, люди, оказавшиеся в этих десяти процентах, попали туда из-за всех факторов сразу, им сильно не повезло. Но это не значит, что во время второго теста им также не повезет.
Вероятно, их показатели улучшатся случайным образом. Поэтому так важно включать клинические испытания контрольную группу из той же выборки. Тогда можно будет судить, насколько препарат лучше, чем простая случайность. Посмотрим на эффективность камер контроля скорости. Они обычно устанавливаются на участках, где за последние пару лет наблюдалось много аварий. Разумно, надо учитывать, что столкновения происходят из-за плохих дорог, но не только. Невезение тоже играет роль.
Так что если после установки дорожной камеры число аварий вдруг сократится, это еще не гарантирует их эффективности. Оно могло уменьшиться просто из-за регрессии к среднему. Время она менее опасном участке количество аварий вероятно возрастает. Таким образом, среднее число происшествий может не меняться, но мы будем думать, что установка камер сделала свое дело.
Но возможно, самое неприятное заключается в том, что регрессии меняет наше отношение к обратной связи. Например, в случае с израильскими летчиками, после неудачно выполненного маневра пилот, скорее всего, улучшит результат, и неважно, ругали его или нет. Точно так же после успешного выступления дисплее следующая попытка окажется не такой удачной. И дело тут не в том, что вам скажут после тренировки. Просто так устроена наша вселенная.
Но у нас в голове сидит программа по поиску причин и следствий. Поэтому летный инструктор и решил, что отрицательные отзывы намного полезнее положительных. Это плохо, потому что контролируемые психологические испытания показывают, что все ровно наоборот. Досадно, что когда кто-то выступая с критикой, всем покажется, что она сработала, и эти результаты улучшатся. А когда вы кого-то похвалите, скорее всего, вас ждет разочарование, потому что очень трудно удержать удачу за хвост. Но так уж устроен наш мир.
В целом, нити об этом, когда решите кого-то отчитывать. Позитивный подход — хорошая стратегия в долгой перспективе. Переведено и озвучено студией Вирт Дай Дар.