Экспертные советы: от авторитетных мнений к проверяемым решениям
Почему бизнесу мало собрать за одним столом опытных руководителей и как искусственный интеллект может изменить рынок профессиональной экспертизы, рассказывает Александр Пономарев, сооснователь и партнер инвестиционно-технологической компании Zarya Ventures.
Когда компания рассматривает приобретение бизнеса, выход в новую отрасль или изменение стратегии портфельного актива, у нее возникает множество вопросов. Насколько реалистичны прогнозы менеджмента? Какие риски скрываются за привлекательными показателями? Как устроена экономика отрасли? Почему одни компании на этом рынке зарабатывают, а другие годами не могут выйти на прибыль?
Один из способов получить ответы – привлечь отраслевых экспертов: действующих руководителей предприятий, бывших топ-менеджеров, независимых консультантов, специалистов с глубоким знанием конкретного рынка. Форматы бывают разные, от разовых консультаций до постоянно действующих экспертных советов, проблема у которых общая: как понять, что мнение эксперта действительно заслуживает доверия?
На практике экспертов выбирают по косвенным признакам: известности, должностям, стажу, рекомендациям коллег. Мы привыкли оценивать специалистов по тому, где они работали и насколько убедительно выступают, и гораздо реже спрашиваем, насколько точными оказались их прежние суждения, ведь большой управленческий опыт и умение давать полезные советы совпадают далеко не всегда.
При этом точность прогнозов не единственный критерий: для бизнеса не менее важно, помогает ли эксперт видеть неочевидные риски и принимать более обоснованные решения. На наш взгляд, именно здесь находится главное ограничение традиционной модели экспертной поддержки бизнеса.
Старый рынок и старая проблема
Перспективы технологического продукта удобно оценивать через три составляющие: рынок, проблему и способ ее решения. Важно понять, что принципиально нового появляется хотя бы в одной из них. Новый рынок может открыть возможности для давно известных решений, новая проблема создает спрос на существующие технологии, а новый способ решения старой проблемы способен изменить уже сложившийся рынок. Если же компания пытается на старом рынке решить старую проблему давно известным способом, рассчитывать на устойчивое конкурентное преимущество сложно.
Применим эту логику к рынку экспертной поддержки. Сам рынок далеко не новый. Компании десятилетиями привлекают консультантов, отраслевых специалистов и независимых советников. Их находили через профессиональные связи и личные рекомендации, позже — через консалтинговые компании и специализированные экспертные сети. Например, международная сеть GLG организует консультации с отраслевыми специалистами более 25 лет.
Не нова и ключевая проблема этого рынка: как найти компетентного специалиста, которому можно доверять. Большое количество экспертов ее не решает. Традиционно доверие пытались обеспечить профессиональным отбором. Проверяли биографию, опыт, достижения и рекомендации, иногда добавляли психологическое тестирование и оценку управленческих компетенций. Все это полезные инструменты, но они не отвечают на главный вопрос: способен ли конкретный человек делать обоснованные выводы в той области, ради которой его пригласили? Получается, что много лет мы совершенствовали способы поиска и отбора экспертов, но почти не занимались проверкой качества самой экспертизы.
Почему экспертные советы не всегда работают
На наш взгляд, проблема экспертных советов не столько в составе участников, сколько в организации их работы. Например, инвестор собирает нескольких опытных руководителей, чтобы оценить перспективы покупки производственного предприятия. Участники изучают материалы, обсуждают рынок, задают вопросы менеджменту, делают прогнозы. По итогам встречи готовят протокол или аналитическую записку. Если дискуссия была содержательной, заказчик доволен: экспертов благодарят, самых интересных приглашают снова. Но что происходит дальше?
Допустим, один эксперт утверждал, что компания сможет существенно нарастить производство без серьезных капитальных вложений. Другой прогнозировал ухудшение ситуации на рынке сырья. Третий советовал отказаться от определенного канала продаж. Проходит год. Компания реализует инвестиционную программу, рынок меняется, появляются фактические результаты. Кто из экспертов оказался прав?
Чаще всего системного ответа нет. Рекомендации остаются в протоколах, презентациях и переписке, и никто не сопоставляет их с последующими событиями. Даже хорошо проведенный совет остается разовым мероприятием: компания получает полезную информацию, но так и не узнает, насколько надежными были ее источники.
Важно и то, как выводы экспертов повлияли на само решение, а не только то, какие прогнозы подтвердились. Выявленный специалистом риск мог заставить инвестора отказаться от сделки или пересмотреть стоимость актива. Даже если прогноз потом подтвердился не полностью, участие эксперта повысило качество решения. Поэтому результатом совета должны быть не только рекомендации, но и зафиксированные предпосылки, альтернативные сценарии и аргументы, повлиявшие на выбор.
Как искусственный интеллект меняет подход к экспертизе
Подойти к этой задаче по-новому позволяет искусственный интеллект. Сам по себе он здесь уже не новинка: крупные экспертные платформы, в том числе GLG, используют его для расшифровки консультаций и подготовки кратких выводов.
Гораздо интереснее другое направление: переход от хранения информации об экспертах к накоплению проверяемой истории их суждений. Представим платформу, которая не только организует консультации, но и с согласия участников фиксирует содержащиеся в них прогнозы, оценки и рекомендации. Например, эксперт по пищевой промышленности утверждает, что в следующем году определенный сегмент рынка мороженого сократится на 5%. Система сохраняет не только сам прогноз, но и его дату, горизонт, предполагаемые причины изменений и условия, при которых он должен подтвердиться. Через год появляются фактические отраслевые данные, и искусственный интеллект помогает сопоставить прогноз с результатом и определить степень его точности.
Если такие наблюдения накапливаются несколько лет, появляется принципиально новый тип информации об эксперте. Мы знаем не только то, что человек двадцать лет проработал в отрасли и занимал высокие должности, но и то, насколько точными были его прогнозы. Это не значит, что каждому эксперту можно автоматически присвоить универсальный рейтинг. На рынок влияет множество факторов, и ошибочный прогноз не всегда говорит о низкой квалификации. Нужно учитывать сложность задачи, исходные предпосылки и обстоятельства, изменившиеся после консультации. К тому же далеко не каждую рекомендацию можно проверить количественно.
Поэтому следующим шагом должна стать оценка не только точности прогнозов, но и качества самого суждения. Насколько обоснованными были исходные предпосылки? Какие альтернативные сценарии рассматривал эксперт? Учитывал ли он вероятность неблагоприятного развития событий? Какую новую информацию получил заказчик благодаря консультации?
Научные основания для такого подхода существуют давно. Филип Тетлок и его коллеги, в том числе в рамках проекта Good Judgment Project, изучали, как измерять точность прогнозов и повышать качество экспертных оценок. Исследования структурированных экспертных обсуждений показывают, что независимые первоначальные оценки, обмен аргументами и последующий пересмотр прогнозов способны улучшать коллективные суждения.
От базы экспертов к базе проверенных знаний
Отсюда важный вывод для самих экспертных платформ: еще одна база профессионалов серьезного конкурентного преимущества не дает. Мы убедились в этом на практике, развивая в Zarya Ventures epict — закрытую сеть экспертов, ориентированную прежде всего на действующих руководителей и отраслевых специалистов. Можно собрать тысячу квалифицированных специалистов, сделать удобный поиск, добавить интеллектуальные рекомендации и автоматизировать организацию консультаций. Но технологически такой сервис воспроизвести относительно несложно. Гораздо ценнее уникальная информационная база, которая отражает качество экспертных суждений на длительном горизонте.
В такой модели каждая консультация пополняет базу: искусственный интеллект выделяет из обсуждения проверяемые утверждения, сопоставляет прогнозы разных специалистов и возвращается к ним, когда появляются фактические результаты.
Такая система требует строгих правил. Материалы консультаций можно использовать только при наличии соответствующих прав и согласий, без раскрытия коммерческой тайны и информации заказчиков. Отдельного внимания заслуживают конфликты интересов, особенно когда экспертами выступают действующие руководители компаний.
Постепенно формируется база знаний, которую невозможно воспроизвести простым подключением другой языковой модели. Ее ценность определяется не количеством анкет, а накопленной историей проверенных оценок. Заказчик получает возможность выбирать специалиста не только по биографии, но и по подтвержденному качеству суждений в конкретной области.
Но ценность такой системы шире оценки отдельных экспертов. Если связывать суждения с конкретными инвестиционными и управленческими задачами, можно понять, какие аргументы оказались самыми полезными, какие риски удалось выявить заранее и какие подходы стоит применять в похожих ситуациях. В перспективе это путь от экспертной сети к инфраструктуре поддержки решений.
Каким должен быть эффективный экспертный совет
Мы уверены, что технологии изменят и сам подход к организации экспертных советов. Начать стоит с критериев эффективности. Сегодня успех совета часто определяют по составу участников и качеству дискуссии, но это характеристики процесса, а не результата. Гораздо важнее, помог ли совет компании принять более обоснованное решение.
Прежде всего работа совета должна начинаться с четкой постановки задачи: эксперты отвечают не на абстрактный вопрос о перспективах отрасли, а на вопросы, непосредственно связанные с инвестиционным или управленческим решением. Участникам важно дать возможность сформировать независимые оценки до коллективной дискуссии, чтобы снизить влияние самых авторитетных или убедительных выступающих. При этом единое мнение не должно быть самоцелью: принципиальные разногласия и их причины иногда ценнее общего вывода. После заседания нужно зафиксировать основные выводы, исходные предположения и условия, при которых рекомендации следует пересмотреть. Наконец, со временем эти материалы стоит сопоставить с фактическими результатами.
Искусственный интеллект способен существенно снизить трудоемкость этой работы, но не должен подменять профессиональное суждение. Оценка достоверности источников, учет изменившихся обстоятельств и итоговые решения остаются за людьми.
Будущее принадлежит проверяемой экспертизе
Мы не говорим, что традиционные экспертные советы утратили актуальность. Напротив, в условиях высокой неопределенности доступ к отраслевому опыту остается важным ресурсом для инвесторов и руководителей. Но подход к использованию этого ресурса должен меняться.
Если вернуться к логике «рынок — проблема — способ решения», рынок экспертной поддержки старый, и проблема поиска компетентных специалистов тоже старая. Новым становится способ ее решения: технологические возможности для этого сегодня существенно расширились.
Постепенно репутация эксперта сможет опираться не только на прошлые должности, рекомендации и личные связи, но и на проверяемую историю его суждений. Это не сделает прогнозы безошибочными, но позволит компаниям лучше понимать, на чьи оценки и в каких вопросах действительно стоит опираться. Конечная ценность экспертного совета определяется не количеством известных фамилий в его составе, а качеством решений, принятых с его помощью.
Следующий этап развития рынка экспертных услуг, вероятно, будет связан не с поиском новых экспертов, а с системным управлением качеством экспертизы. И искусственный интеллект может стать его технологической основой.