Истоки проблемы
Исходный размер 1140x1600
Данный проект является учебной работой студента Школы дизайна или исследовательской работой преподавателя Школы дизайна. Данный проект не является коммерческим и служит образовательным целям

Рубрикатор

3.1. «Мера ≠ цель» (эффект Гудхарта): если показатель становится целью, его начинают оптимизировать в ущерб сути

3.2. «Одна ведущая метрика» по стадии, а не десятки цифр

3.3. Каркас воронки (AARRR)

3.4. Достоверность проверки (онлайн-эксперименты)

3.5. Стандарты измерений в медийке: ссылки на MRC/IAB (просматриваемость) обязательны, иначе сравниваем «несравнимое»

3.6. Приватность как ограничение модели измерений: после GDPR и ATT часть идентификаторов исчезает — бриф фиксирует допустимую неопределённость, first-party-данные и эксперимент как основной способ вывода

3.7 Заключение

3.8 Список литературы

3.1. «Мера ≠ цель» (эффект Гудхарта): если показатель становится целью, его начинают оптимизировать в ущерб сути

big
Исходный размер 800x600

Business without danger / securitylab.ru. — Режим доступа: https://www.securitylab.ru/blog/personal/Business_without_danger/353013.php (дата обращения: 14.12.2025)

Экономист Чарльз Гудхарт сформулировал свой закон в виде полушуточного отступления, наподобие законов Мёрфи, но в каждой шутке есть доля шутки, и есть немало связанных концепций.

Так, социолог Дональд Кэмпбелл ещё в 1969 году отмечал, что введение индикаторов, по которым оценивается работа того или иного института, неизбежно приводит к искажению как самих индикаторов, так и социальных процессов, которые они призваны измерять.

Закон Кэмпбелла показывает, что проблема выходит далеко за рамки экономики. Она укоренена в самой природе систем управления и оценки. Когда политика направлена на рост показателя, люди находят способы его увеличить, не помогающие достичь исходной цели.

Чарльз Гудхарт сформулировал это иначе, для экономической и политической модели:

Любая наблюдаемая статистическая закономерность будет иметь тенденцию к нарушению, как только на неё будет оказано давление в целях контроля.

Больше объяснения даёт формулировка «Агентской проблемы»: Тот, кто ставит цель (принципал — начальник, правительство), имеет неполное представление о реальном процессе (карта не равна территории).

Тот, кто выполняет задачи (агент — сотрудник, подрядчик), обладает всей полнотой информации, но его личные интересы (премия, избегание наказания) могут не совпадать с интересами принципала.

Здесь и появляется ловушка Гудхарта: агент понимает, по каким конкретным параметрам его будут оценивать.

Его рациональное решение — максимизировать эти параметры, даже в ущерб реальной цели принципала.

К примеру, учитель готов «натаскивать на тест», а не учить мыслить, потому что от результатов теста зависит его репутация и зарплата. А ученик готов списывать ради хорошей оценки, которая обеспечивает его безопасность и поощрение.

Из-за того, что внимание направлено на абстрактные метрики, истинные цели могут остаться в тени.

Яркий пример — у разработчиков есть метрика «code coverage» (покрытие кода тестами).

Мы стремимся повысить этот показатель, но на самом деле цель — это качественный и надёжный продукт.

На практике же погоня за высоким процентом покрытия часто приводит к созданию бессмысленных тестов, которые не проверяют ничего полезного, а лишь «накручивают» цифру.

Эта метрика не позволяет оценить, насколько реализация проекта соответствует техническому заданию.

Направление внимания на достижение высокого показателя по code coverage отвлекает от удовлетворения реальных потребностей пользователей.

Аналогично KPI тестировщиков часто измеряют по количеству найденных багов. Кажется, что чем больше багов ты нашёл, тем лучше работаешь.

Чем больше заведено задач в трекере, тем выше шанс на премию.

Но такой процесс мотивации может привести к тому, что тестировщик начинает создавать баги-пустышки, дубликаты или дробить одну сложную проблему на множество мелких.

Например, если поле ввода номера телефона валидируется сложным набором правил, можно описать все найденные проблемы одной задачей, а можно — десятком отдельных.

Второй способ искусственно увеличивает метрику, но не несёт реальной пользы.

Часто такие мелкие правки приводят к тому, что при исправлении одного бага появляется другой, и наоборот.

Только собрав все требования в одной модели, можно верно реализовать функционал, но это уронит KPI тестировщика.

Окончательная формулировка закона Гудхарта гласит, что в попытках регулировать какую-либо конкретную экономическую переменную государство искажает значение этой переменной до такой степени, что контроль над ней оказывается абсолютно неэффективным.

Объясняя закон Гудхарта простыми словами, его можно облечь в следующую форму: осознание людьми того факта, что правительство пытается контролировать определенную экономическую переменную, неизменно приводит к тому, что они начинают подстраиваться под этот контроль, изменяя (корректируя) значение этой переменной таким образом, чтобы результаты проведенного контроля (проверки) удовлетворили государство.

Это приводит к искажению полученных в вследствие контроля данных, т.е. они уже не являются объективными, а становятся «искусственно созданными», в результате чего оценка качества эффективности переменной становится ложной, т.к. само ее измерение приводит к нарушению ее естественности.

Таким образом, закон Гудхарта говорит о том, что участники системы имеют возможность улучшить показатели, которые оценивает государство, при этом не совершенствуя саму работу этой системы.

Вследствие этого попытки государства контролировать конкретные экономические переменные приводят к тому, что на экономику фактически невозможно повлиять с целью ее улучшения, а это более чем неблагоприятный исход для государства.

3.2. «Одна ведущая метрика» по стадии, а не десятки цифр

Хороший бриф – это ход мыслей, который состоит из цепочки логических решений, ответов, интерпретации данных и ясного понимания задачи. (Плохой бриф –многостраничное описание ситуации, гипотезы, разрозненные цифры и личное видение решения)

Хороший бриф должен умещаться на одной странице и быть основанным на одной большой мысли, идее (Big Idea) «Ваши посягательства не должны быть слишком мелки, подумайте, вы способны на большее».

Хороший бриф смотрит на бизнес-проблему не как на набор цифр, а через призму человеческого поведения.

Хороший бриф отвечает на 4 важных вопроса:

  1. Где деньги и почему они еще не у нас?

  2. Кто нам их принесет? Что нам нужно поменять и на что повлиять с помощью коммуникации, чтобы это произошло?

  3. Какой инсайт нам важен для достижения цели?

  4. На какую ответную реакцию мы рассчитываем? Какие изменения человеческого поведения будут способствовать нашему росту?

3.3. Каркас воронки (AARRR)

Истоки проблемы
Проект создан 19.12.2025
Глава:
1
2
3
4
Мы используем файлы cookies для улучшения работы сайта и большего удобства его использования. Более подробную информац...
Показать больше