Глава 6. Разработка показателей
Когда не знаешь, куда идешь, то, скорее всего, окажешься где-нибудь еще.
Йоги Берра
Считайте, что поддается подсчету, измеряйте, что поддается измерениям, а неизмеряемое делайте измеряемым.
Галилео Галилей
* * *
В компании с управлением на основе данных должна быть четкая стратегия, то есть направление развития бизнеса, а также конкретный набор основных показателей — ключевых показателей эффективности деятельности (KPI) — для отслеживания, в верном ли направлении и насколько успешно идет развитие бизнеса. Ответственность за достижение этих KPI ложится на бизнес-единицы или подразделения, где могут быть определены дополнительные KPI специально для этого подразделения. Это завершает набор операционных и диагностических показателей, на основе которых контролируется выполнение задач, программ, тестов и проектов, ведущих к выполнению KPI.
Учитывая сказанное, чрезвычайно важна качественная разработка показателей. Они выполняют такую же роль, как точный компас. Вряд ли вы захотите следовать стратегическому показателю, указывающему, что вы продвигаетесь в желаемом юго-восточном направлении, когда на самом деле вы идете на северо-восток, или операционному показателю, отражающему ежегодный рост конверсии на 5 %, когда на самом деле никакого роста нет. Точно так же вы не захотите руководствоваться неверным диагностическим показателем, который не в состоянии как можно раньше проинформировать вас о том, что ваш сайт на грани краха. Показатели, кроме того, представляют собой результаты экспериментов и A/B тестов, которые при правильном подходе вносят весомый вклад в каузальный анализ, что, как мы обсуждали в предыдущей главе, может стать отличной основой для формулирования выводов и стратегий на основе данных. Эту идею удачно сформулировал Дэвид Скок:
Один из способов оценить работу компании — представить ее в виде автомата, выдающего определенный объем продукции, с рычагами, с помощью которых управленческая команда способна контролировать его работу. У слабой команды ограниченное понимание, как работает ее автомат и какие у нее есть рычаги влияния. Чем лучше управленческая команда, тем лучше она понимает схему работы автомата и то, как можно оптимизировать его работу (на какие рычаги нажать). При разработке показателей мы стремимся улучшить свое понимание автомата и схемы его работы. Качественно разработанные показатели будут способствовать повышению результативности работы на выходе[92].
В этой главе мы поговорим о разработке показателей. Начнем с общих вопросов, а затем перейдем к KPI. Однако мы лишь поверхностно обсудим вопрос выбора показателей, так как полноценная дискуссия выходит за рамки этой книги. Кроме того, этому важному этапу посвящен целый ряд убедительных концепций, таких как сбалансированная система показателей, всеобщее управление качеством (TQM), призма эффективности и концепция Tableau de Bord («Бортовое табло»).
Разработка показателей
При выборе или разработке показателей следует руководствоваться несколькими принципами. В идеальном мире показателям должны быть присущи несколько характеристик.
ПРОСТОТА
Разрабатывайте показатель, чтобы он был «таким простым, как только возможно, но не проще» (Эйнштейн).
Какое из этих определений будет понятнее вашим коллегам?
Клиент — человек, который отдает деньги и получает один из товаров компании.
Клиент — человек, купивший товар,
• за исключением покупки подарочного сертификата;
• за исключением тех, кто вернул товар в течение 45 дней с момента покупки с полным возвратом стоимости;
• включая тех, кто активирует подарочный сертификат.
Надеюсь, вы уловили основную мысль.
Простые показатели, по определению, просто объяснить, это означает следующее:
• их суть проще донести до других людей: возникает меньше непонимания;
• их проще реализовать: выше вероятность, что их рассчитают правильно;
• они с большей вероятностью поддаются сравнению с показателями других подразделений или компаний.
Конечно, есть множество обоснованных причин, почему требуется добавить дополнительный бизнес-критерий или пограничный случай для создания более сложного показателя. Возможно, вам необходимо фильтровать источники, чтобы они не содержали необъективные или резко отличающиеся данные. Или вам может понадобиться показатель, по которому выделяется конкретная подгруппа данных, например те случаи обслуживания клиентов, которые стоили компании дороже всего.
Каждый случай следует рассматривать по существу, но постарайтесь избегать дополнительных сложностей с редкими пограничными случаями, которые не добавляют особой ценности для бизнеса и лучшего понимания этого показателя.
Вывод: не стоит чрезмерно усложнять показатели.
ЕДИНЫЙ СТАНДАРТ
По возможности руководствуйтесь общепринятыми стандартами. Например, имея единый, четко определенный показатель отказов, используйте его в своей деятельности, если только у вас нет веской причины для создания своего собственного варианта этого показателя. Если в розничной торговле проходимость торговой точки считается по количеству вышедших из магазина, используйте этот показатель, а не считайте количество вошедших, даже если эти показатели сопоставимы концептуально и по своим значениям. Например, при отслеживании ежемесячной активности пользователей Facebook включает в подсчет только тех, кто залогинился на сайте, в то время как Yelp включает и эту категорию и тех, кто использует гостевой доступ.
Применение общепринятых стандартов вызовет меньше непонимания, особенно у коллег, пришедших из других компаний. К тому же вам будет легче сравнивать свои показатели с показателями других компаний отрасли, то есть анализировать результаты своей работы относительно наиболее эффективных практик в отрасли.
Еще важнее, чтобы все показатели были стандартизированы в рамках одной компании. Мне доводилось наблюдать, как разные подразделения были уверены, что применяют один и тот же показатель, и даже описывали его в одинаковых терминах, но на практике реализация этого показателя в таблицах или системах этих подразделений значительно различалась. Их цифры не совпадали, что приводило к ожесточенным спорам.
Оптимальный вариант — иметь единый централизованный, автоматический, документально подтвержденный «источник истины», из которого бы черпали информацию разные подразделения. Тогда вы сможете использовать результаты анализа и выводы коллег в полной уверенности, что вы сравниваете подобное с подобным. В этом случае становится проще создать единое хранилище результатов аналитической работы и корпоративных знаний о причинных факторах в бизнесе (или о рынке), которому можно доверять и использовать.
Вывод: применяйте общепринятые показатели, если только у вас нет веских причин от них отклониться. При использовании нестандартных показателей зафиксируйте документально, как и почему они нестандартные.
ДОСТОВЕРНОСТЬ
Показатели должны быть достоверными. Это означает, что их среднее числовое значение должно быть приближено к истинному теоретическому среднему значению (см. рис. 6.1). Если использовать метафору стрельбы из лука, то стрела должна попасть точно в мишень.
Рис. 6.1. Точность (в стрельбе есть такой термин, как «кучность» — группировка точек падения снарядов на ограниченной площади) и достоверность (по аналогии со стрельбой это меткость попадания в мишень) на примере двухмерных данных. Недостоверный показатель необъективен, так как его среднее значение системно отличается от истинного среднего значения. Точность показателя отражает его вариативность: насколько будет отличаться среднее значение, если вы повторите эксперимент несколько раз и соберете новые выборки такого же размера
Возьмем, например, объем выручки от продаж на Amazon. Показатель среднего объема выручки за исключением суммы от продажи книг — неточное среднее значение совокупного объема выручки от всех продаж. Этот показатель необъективен. В главе 2 мы уже обсуждали примеры, когда отсутствующие данные приводили к искажению общей картины. Например, средний уровень удовлетворенности клиентов не отражает действительность, если недовольные клиенты из-за задержки доставки товара пропустили дедлайн по опросу и не предоставили свои ответы. В этом примере показатель степени удовлетворенности клиентов завышен по сравнению с его истинным более низким значением.
При разработке показателей постарайтесь учесть все потенциальные источники искажения, как в данных, так и в самом показателе. В главе 2 мы обсуждали некоторые источники необъективности при сборе данных. С точки зрения показателя подумайте обо всех возможных фильтрах при сборе данных, а также о любых скрытых или устаревших «поправочных коэффициентах».
Представьте себе стрелка, который готовится стрелять по дальней мишени и пользуется оптическим прицелом. При стрельбе следует учесть силу и направление ветра, влияющие на траекторию движения пули. Поэтому стрелок регулирует прицел — «поправочный коэффициент» — с поправкой на ветер. При этом если сила или направление ветра изменятся, то эта поправка окажется устаревшей, пули больше не попадут в цель. Внешние обстоятельства часто меняются, а потому необходимо внимательно следить за актуальностью действующих моделей и поправочных коэффициентов.
То же самое верно и в бизнесе. В Warby Parker мы используем электронные устройства для подсчета количества посетителей, вошедших и вышедших из наших розничных магазинов. Одно из возможных применений этих данных — для вычисления показателя конверсии торговой точки, то есть количества посетителей, зашедших в магазин и совершивших какую-нибудь покупку. В одном из таких магазинов персонал может попасть на склад с товаром и вернуться в торговый зал только через главный вход: эти передвижения точно так же считались электронными приборами, из-за чего показатель конверсии получался заниженным. Мы постарались исправить ситуацию, разработав статистическую модель, которая для конкретного дня недели и конкретного уровня занятости оценивала соотношение трафика персонала и посетителей магазина в качестве корректирующего фактора. В результате показатель конверсии стал гораздо более реалистичным. Следует учесть, что подобные модели могут терять свою актуальность при изменении внешних условий, например покупатели могут быть более мотивированы совершать покупки по выходным. Нужно либо периодически перенастраивать модель, либо, как мы пробуем делать сейчас, использовать более совершенные технологии, способные отличить персонал от посетителей и не включать сотрудников при подсчете трафика.
ТОЧНОСТЬ
Показатели должны отличаться точностью. Это означает, что при повторении эксперимента в тех же самых условиях значения должны получаться такими же. По аналогии со стрельбой это можно назвать кучностью: все попадания в мишень должны быть рядом на ограниченной площади. Один из инструментов, или рычагов, для контроля точности — размер выборки. Чем больше выборка, тем меньше стандартная ошибка. Однако эта взаимосвязь не линейная. Так как стандартная ошибка среднего значения равна стандартному отклонению, деленному на квадратный корень размера выборки, чтобы уменьшить стандартную ошибку в два раза, нужно в четыре раза увеличить размер выборки.
Сочетание достоверности (меткости попадания в мишень) и точности (кучности стрельбы) показано на рис. 6.1. Если у вас нет подтвержденной справочной информации, вы можете не понять, что ваши показатели недостоверны. Однако вы, скорее всего, рано или поздно поймете, если ваши показатели не отличаются точностью (нестабильны).
Вывод: стремитесь к достоверности и точности показателей и учитывайте издержки и преимущества крупных выборок.