Повышение квалификации в области работы с данными
Если организация стремится внедрить подход, ориентированный на данные, стимулировать корпоративную культуру, в которой понимают и ценят данные, тогда отличное понимание данных должно входить в навыки и характеристики всех сотрудников всех уровней, особенно в коммерческой компании.
Отчет компании Accenture[191]
Очевидно, что специалисты по аналитической работе должны пройти обучение по планированию экспериментов, развитию навыков критического мышления, презентации данных, применению инструментов бизнес-аналитики и статистики и так далее. Однако чтобы вся компания стала ориентированной на данные, этот набор навыков, а также подход, опирающийся на факты и доказательства, должен быть внедрен на более широком уровне. Кроме того, руководители и другие лица, ответственные за принятие решений, также должны быть компетентны в области работы с данными. Почему это важно?
• Руководители подписывают счета на приобретение, установку и обеспечение работоспособности новых инструментов бизнес-аналитики или сервисов прогнозного моделирования. Они должны понимать ценность этих инструментов для компании.
• Руководители соглашаются на временные неудобства для рабочего процесса и на снижение эффективности работы, когда специалисты по аналитике уходят на повышение квалификации или осваивают новые инструменты. Иными словами, чтобы согласиться на трудности в переходный период, руководители должны видеть выгоду в долгосрочной перспективе.
• Руководители принимают ключевые стратегические и тактические решения на основе аналитических выводов. Они должны быть в состоянии увидеть недостатки в проведенном анализе и вернуть его на доработку, если анализ выполнен некачественно. Они постоянно должны требовать более глубоких и качественных данных и ожидать от аналитика большего. Кроме того, руководителям приходится представлять аналитические выводы высшему руководству компании, совету директоров или инвесторам. То есть они должны понимать особенности проведенного анализа, быть уверены в выводах и рекомендациях и быть готовы их отстаивать.
Иными словами, руководитель необязательно должен владеть механизмами сбора, очистки, обработки и агрегирования данных, но у него должно быть понимание, что такое качественный эксперимент, базовое статистическое исследование, а также чем опасно экстраполирование. Например, однажды мне довелось наблюдать, как аналитик представил руководителю результаты анализа, которые мне показались качественно подготовленными и понятными, на что руководитель спросил: «А что такое р-значение[192]?» Конечно, обязанность аналитика — представить результаты анализа в понятном для аудитории формате, но при этом, мне кажется, в компании с управлением на основе данных в зону ответственности руководителя должно входить знакомство с базовой терминологией, показателями и тестами.
Дэвенпорт и др. (Analysts at Work, с. 15) разделяют эту точку зрения:
По мере того как финансовая и инвестиционная области (а вместе с ними и все остальные отрасли) становятся всё более ориентированными на данные и аналитику, у топ-менеджеров просто не остается другого выхода, кроме как в той или иной степени овладеть навыками аналитической работы. В противном случае они просто не смогут отклонить рискованное предложение какого-нибудь брокера, подвергнув опасности свою компанию и клиентов.
Поддержал это мнение и Брайн д’Алессандро на конференции Strata+Hadoop World[193]:
Если вы линейный руководитель или топ-менеджер в компании, активно работающей с данными, и если у вас в команде есть специалисты по работе с данными, вы не обязаны знать, как строить прогнозные модели или пользоваться инструментами анализа данных, но определенный уровень компетентности в вопросах статистики у вас должен быть, потому что в один прекрасный день они придут к вам с презентацией в Power Point или отчетом, и именно вы окажетесь тем, кто должен будет критически оценить любой предоставленный анализ.
Итак, что же можно предпринять? Согласно недавнему докладу[194], «компании с управлением на основе данных более активно предлагают своим сотрудникам обучение и поддержку в реализации этого подхода на практике по сравнению с компаниями, где управление на основе данных не применяется (67 % против 53 %)». В своем выступлении на конференции Strata+Hadoop[195] в 2013 году Кен Рудин описал подход, применяющийся в компании Facebook, — data camp (лагерь по обучению работе с данными). Это две недели интенсивной работы с полным погружением в тему, причем принять участие могут не только аналитики, но и менеджеры проектов, дизайнеры, финансовые специалисты и специалисты по работе с клиентами. Отдельный лагерь проводится для технических специалистов. В первой половине дня участники лагеря в течение трех часов слушают лекции, часть из которых посвящена инструментам работы с данными Facebook. После обеда они работают над выбранными актуальными бизнес-проблемами. Работая на протяжении двух недель с наставником, они учатся исследовать данные, выдвигать гипотезы, задавать правильные бизнес-вопросы, повышают свою квалификацию в вопросах работы с данными. Вот что говорит Рудин:
Если мы продолжим наше начинание, а я думаю, что у нас все получится, то мы сформируем корпоративную культуру, где каждый будет понимать, что должен использовать данные как часть своей работы. Проводить анализ должен каждый[196].
Конечно, не каждая компания располагает ресурсами, персоналом и стремлением проводить такие программы. Но любая компания может с чего-то начать, к тому же сейчас доступно множество ресурсов. Бесплатные онлайн-курсы по статистике предлагают Coursera, Udacity, Khan Academy и многие другие. Есть отличная литература по теме. Мне нравится бесплатный открытый ресурс OpenIntro Statistics[197]. Однако выбирать литературу или набор обучающих материалов следует так, чтобы они соответствовали уровню аудитории. Главное, начать что-то делать и стимулировать сотрудников — не только из аналитического отдела — развивать навыки работы с данными и инструментами бизнес-аналитики, чтобы они чувствовали себя комфортно в этой теме.
Сначала цели
Алиса: Подскажите, пожалуйста, куда мне отсюда идти?
Чеширский кот: Это зависит от того, куда ты хочешь попасть.
Льюис Кэрролл. «Алиса в Стране чудес»
В сфокусированной компании, независимо от того, осуществляется ли в ней управление на основе данных, есть четкое направление развития и известное всем представление, как должен расти бизнес. Задача руководителя — объединить людей вокруг этого видения и стимулировать их совместную работу для достижения общей цели. В компании с управлением на основе данных эта цель будет более прозрачной, с четко определенными показателями эффективности деятельности и другими связанными показателями, с ясными задачами и текущим положением дел. Эта система показателей должна быть доступна всем сотрудникам компании, чтобы каждый из них понимал, как его действия способствуют достижению главной цели.
Набор основных целей и показателей KPI затем будет спускаться на уровень бизнес-единиц, где в соответствии с ними могут вырабатываться показатели эффективности для этой конкретной бизнес-единицы, которые, в свою очередь, могут стать основой для разработки показателей и целей более низкого уровня. В какой-то момент вы дойдете до индивидуальных проектов, то есть примерных единиц «работы», требующих постановки конкретной цели и установления критериев успеха. При этом заранее определять критерии успеха следует не только при проведении A/B-тестирования (глава 8), а в любом аналитическом проекте. При работе с данными всегда есть возможность вернуться и выбрать тот набор данных, который поддерживает нужное направление и в той или иной степени демонстрирует положительный показатель ROI. Именно поэтому в интересах объективности в компании с управлением на основе данных должна сложиться такая культура, где сначала формируют цели и показатели, и данные под них не подтягивают[198].
В случаях, когда решение по поводу следующего шага приходится принимать на основе нескольких переменных, причем некоторые из них отражают плюсы решения, а некоторые — минусы, постарайтесь определить относительный вес или ранжировать эти переменные до начала процесса сбора данных. То есть если в рамках подхода требуется построить матрицу взвешенного решения, постарайтесь как можно раньше оценить «удельный вес» всех факторов. Предположим, вам нужно выбрать одного поставщика услуги из нескольких, и вы руководствуетесь такими факторами, как цена, объем и качество. Скорее всего, цена и качество в данном случае образуют негативную корреляцию. После этого достаточно просто обосновать относительный вес факторов, в результате чего кто-то из поставщиков выбьется в лидеры. Благодаря определению относительной важности каждой из трех переменных до сбора данных, вы четко даете понять, что важно для компании, и снижаете возможность подтасовать результаты или выбрать только те данные, которые поддерживают нужное решение.
Задавайте вопросы
«У вас есть данные, подтверждающие это?» — никто не должен бояться задавать этот вопрос (и все должны быть готовы на него ответить).
Джули Арсенолт[199]
В главе 8 я высказал мнение, что когда в компании начинают активно применять тестирование и эксперименты, то фокус обсуждений смещается с мнений на гипотезы, которые могут подвергнуться объективной проверке. Поскольку это всего лишь гипотезы, а не демонстрация власти или опыта, кто угодно в компании может их высказывать. Это не означает, что каждый будет бросаться тестировать любую безумную идею, которая могла у него возникнуть. В расчет принимается множество факторов, таких как брендинг, юзабилити, стоимость разработки и риски. Тем не менее чем шире круг лиц, предлагающих идеи, тем разнообразнее набор этих идей. (Как вы помните, «хорошие идеи могут появиться у любого» и «дайте право голоса молодым специалистам».)
Помимо того, чтобы дать каждому право голоса, в компании с управлением на основе данных должна поощряться атмосфера здоровой любознательности. Нужно стимулировать конструктивные обсуждения, в ходе которых участники запрашивают дополнительную информацию, подвергают сомнениям предположения, обсуждают результаты тестирования или необходимость проведения дополнительных тестов. Презентации и анализы должны снабжаться ссылками на первоначальные данные. Честное и открытое обсуждение возможных проблем с опытным образцом или интерпретацией, а также предложение улучшений пойдет только на пользу развитию бизнеса. Главное, сохранять нейтральный тон обсуждения: мы обсуждаем данные, а не людей.
Наглядный пример подобного подхода — наука. Одна из основных задач классического западного обучения — сделать молодых ученых максимально объективными. Частью этой культуры стали активные попытки деперсонализировать их работу. Если раньше научные статьи писались в активном залоге, то примерно с 1920-х годов окончательно оформилась тенденция использовать пассивный залог[200]. Эта тенденция продолжается по сей день.
Конечно, читать статьи в пассивном залоге менее интересно, но это подчеркивает идею о том, что результаты касаются проводимого эксперимента или самих данных, а не людей, которые этот эксперимент проводят.
В компании с управлением на основе данных должно стимулироваться такое же объективное отношение. Если A/B-тестирование сайта показывает, что более крупная кнопка оформления и оплаты заказа не влияет на показатель выручки или коэффициент конверсии по сравнению с той маленькой кнопкой, которая есть сейчас, значит, так тому и быть. В этом никто не виноват. Это объективная реальность. Порадуйтесь, что вы получили новые ценные данные. (Вы можете использовать это свободное место на экране для чего-то другого.)
Майкл Немшофф высказался еще более определенно:
Поощряйте несогласие. Нет ничего плохого в том, чтобы поставить под сомнение сложившийся ход вещей, если это подкреплено данными. Не во всех компаниях топ-менеджмент позволяет высказывать необычные и отличающиеся предположения. Если приоритет для вас — создание компании с управлением на основе данных, то вы должны принять наличие определенного уровня несогласия. В некоторых случаях несогласие стоит даже награждать. С разрешения топ-менеджмента компании нужно учить сотрудников уходить с проторенных троп. Новые идеи — подтвержденные данными — отличная стартовая площадка для положительных инноваций[201].
Итерации и обучение
Ошибки — это порталы открытий.
Джеймс Джойс
В предыдущей главе мы говорили о том, что недостаток подотчетности был назван одной из основных проблем в отношении людей, принимающих решения. Кто-то должен «вести счет», не только чтобы люди, принимающие решения, за них отвечали, но и чтобы у компании была возможность учиться и расти. Например, предпринимая определенные действия на перспективу, такие как построение прогнозных моделей, важно не забывать о петле обратной связи, в рамках которой вы проводите регулярный обзор результатов, изучаете отдельные случаи (так называемый анализ ошибок), выясняете, где вы могли бы действовать эффективнее.
Какое-то время я был специалистом по работе с данными в компании One Kings Lane — интернет-магазине по флеш-распродажам товаров для дома. Каждое утро мы предлагали пользователям 4 тыс. наименований товаров, 60 % из которых не выставлялись ранее. (Все эти предметы были в ограниченном количестве, и мы продавали их в течение трех дней или пока товар не закончится, в зависимости от того, что происходило быстрее.) Мы с коллегами строили наборы моделей, прогнозирующие, сколько товаров будет распродано к концу одного дня и к концу трех дней. У нас был дашборд, отражавший наши ошибки прогнозирования. Каждое утро мы проводили около часа, изучая и анализируя эти ошибки. Почему нам не удалось правильно спрогнозировать продажи этих ковриков? Действительно ли пользователи случайным образом выбирают между очень похожими товарами? Наша повседневная рутина превращалась в увлекательное занятие, частично потому, что мы относились к этому как к дружескому соревнованию. Мы обменивались идеями, начинали лучше понимать данные, и качество наших моделей неизменно росло. Причина была в постоянных итерациях и обратной связи, в непрерывном анализе пограничных случаев, в попытках их понять и улучшить общее качество.
То же верно и в отношении тестирования и экспериментов. Как уже говорилось в главе 8 и главе 9, интуиция часто нас подводит. Более половины онлайн-экспериментов ни к чему не приводят. Однако это совсем не провал, если вы анализируете причины и учитесь на своих ошибках.
На рис. 10.2 показана общая петля обратной связи. Вы планируете и проводите эксперимент, измеряете результаты, анализируете данные, интерпретируете результаты, делаете выводы, строите гипотезы и планируете новый эксперимент. Достигаете верхней точки и вновь начинаете движение по кругу. Планирование эксперимента — условное название для этого этапа. С таким же успехом его можно назвать построением модели или разработкой PR-кампании. Суть в том, что компания с управлением на основе данных должна извлекать максимальную пользу из любых данных, даже если это был «провал», учиться на своих ошибках и действовать дальше, продвигая бизнес.
Рис. 10.2. Петля обратной связи: планирование, измерение, выводы и повтор.
Источник: на основе рисунка Эндрю Фрэнсиса Фримена. Воспроизводится с разрешения
Этот аспект должен глубоко укорениться в корпоративной культуре компании. В компании с управлением на основе данных, где все сотрудники наблюдают за данными, любой может выдвинуть гипотезу и большинство сотрудников используют данные в работе, как правило, наблюдаются активная вовлеченность в процесс и заинтересованность. Сотрудники способны делать наблюдения и знают, что за их работой тоже наблюдают. Когда в компании четко определены цели, а сотрудники сосредоточены на основных KPI, им действительно важно, когда эксперимент проваливается или программа «взлетает». Они будут пытаться разобраться в причинах, чтобы улучшить процесс. Поддерживайте этот настрой и не останавливайтесь, если результаты A/B говорят о «провале», — воспринимайте это как процесс обучения, который позволит в будущем выдвинуть более удачную гипотезу.
Управление на основе данных требует гибкости и готовности вносить изменения и на уровне компании: по мере роста и развития компании вы должны быть готовы реорганизовать свои команды специалистов по работе с данными и изменить их место в структуре организации.
Как противостоять HiPPO
Гиппопотамы — одни из наиболее опасных животных в Африке. Не менее опасны HiPPO в переговорных.
Джонатан Розенберг[202]
Как уже говорилось в предыдущей главе, представители HiPPO не ладят с данными. Они принимают решения на основе собственного опыта, предвзятого мнения и интуиции, не обращая внимания на имеющиеся в их распоряжении данные. Это может быть плохо для бизнеса. Один из способов борьбы с этим явлением — сделать процесс принятия решений прозрачным и подотчетным. Если такие сотрудники принимают отличные решения, способствующие росту и развитию бизнеса, что ж, отлично — в конце концов, именно в этом и состоит ваша цель. Однако если качество их решений вызывает сомнения, их стоит попросить изменить подход к работе или указать на дверь. HiPPO оказывают крайне негативное влияние на корпоративную культуру компании, которая стремится действовать на основе данных. Принимаемые ими решения не всегда эффективны, а из-за их статуса в компании эти решения не подвергаются сомнениям. (Если вы помните комментарий, приведенный в предыдущей главе: «В большинстве компаний представлять данные, противоречащие точке зрения или намерениям HiPPO, — прямой путь к увольнению и попаданию в черный список сотрудников».) Иными словами, они препятствуют становлению в компании открытой корпоративной культуры, основанной на сотрудничестве, где каждый может предлагать собственные идеи, где сотрудники готовы честно признать: «Я не знаю, но давайте проверим» и где побеждают лучшие, объективные и подтвержденные данными выводы.
Не поймите меня превратно: иногда интуиция и опыт действительно могут играть весьма важную роль. В некоторых случаях у вас просто может не быть данных, особенно если вы действуете в новой области. Иногда данные бывают информативными, но кто-то должен принять окончательное решение, возможно, при наличии неопределенности или неизвестных данных. Говоря о HiPPO, я имею в виду именно тех людей, которые отказываются от использования доступных данных, особенно если раньше они уже принимали неудачные решения и если они ни перед кем не отчитываются, какое решение принимают. Представьте, каково аналитику работать (или бороться?) с таким руководителем. Если данные противоречат управленческим решениям, но руководителя это не волнует, это создает ситуацию противостояния, которая редко заканчивается добром.