Неудивительно, что из-за ажиотажа вокруг машинного обучения (МО) и стремления преобразовать бизнес с его помощью не все проекты МО оказались успешными. Часто менталитет «решение прежде проблемы» приводит к плохо определенным требованиям и целям использования МО. Непонимание того, почему следует использовать МО, а также то, как это повлияет на бизнес-показатели, может привести к проверке концепции (ПК), которая отнимет драгоценное время и не принесет результатов.
Чтобы избежать этого, компании, стремящиеся внедрить МО в свои процессы или продукты, должны стремиться понять свою общую цель, а затем связать эту цель с соответствующими бизнес-показателями, используемыми для измерения текущего базового уровня, подготавливая почву для оценки эффективности МО в качестве ПК. работа продвигается. Наконец, соединение этих индикаторов с соответствующими метриками МО на основе задачи или варианта использования ПК и разработка краткой дорожной карты для направления исследований и разработок повысят вероятность успеха.
Компании обычно решают внедрить машинное обучение в свои процессы по одной из нескольких основных причин. Как правило, эти причины включают увеличение доходов за счет повышения производительности команды, повышения уровня успеха какого-либо конкретного аспекта бизнеса, улучшения результатов работы клиентов за счет сокращения времени реагирования на входящую информацию или сокращения затрат, связанных с ошибками или другими потерями. Эти причины связаны с более детальными бизнес-показателями, которые следует определить при запуске проекта МО.
Например, если цель состоит в том, чтобы увеличить доход за счет расширения возможностей команды или компании, то соответствующие показатели для измерения текущего состояния производительности могут относиться к показателям продаж и маркетинга, таким как уровень достижения квоты, стоимость лида или чистый доход от продаж. среди других. Для повышения успеха клиентов соответствующие показатели могут включать отток клиентов, оценку удовлетворенности клиентов или процент потерянных сделок. Самое главное, что при разработке проектов решающее значение имеет выявление этих бизнес-потребностей с помощью правильных показателей, а не поиск решений без понимания конкретных «почему», стоящих за их необходимостью. Решение внедрить процесс машинного обучения для сортировки обращений в службу поддержки или обобщения длинных документов не будет иметь смысла, если эффект от этого не будет эффективно измерен в качестве базового уровня.
После того, как соответствующие бизнес-метрики выбраны для проекта на основе общих целей, их следует сопоставить с одной или несколькими метриками МО на основе задач, определенных для решения МО. Обычно для отслеживания улучшений на стороне бизнеса необходим кластер показателей для МО. Например, предположим, что цель состоит в том, чтобы повысить производительность за счет ускорения работы команды над конкретным процессом, например, за счет обеспечения качества программного обеспечения перед развертыванием. В этом случае бизнес-показателями могут быть время от начала до конца тестирования, количество протестированных элементов и количество тестов, выполняемых за сеанс. Однако смежные и не менее важные показатели включают количество ошибок, обнаруженных перед развертыванием, и количество ранее пройденных тестов, которые теперь терпят неудачу. При создании процесса машинного обучения для выполнения части работы группы обеспечения качества метриками являются не только задержка или то, насколько быстро модель может оценить ожидаемые и фактические результаты на предмет расхождений, но и точность модели, в частности, количество ложноположительных и отрицательных результатов. Поскольку ошибки, которые допускает модель, возможно, придется оценивать человеку, слишком много отмеченных проблем увеличит рабочую нагрузку команды, а слишком много пропущенных проблем приведет к тому, что команде разработчиков придется работать на более высоком уровне. Помимо оценки текущей производительности команды на основе обсуждаемых бизнес-показателей, базовая точность также полезна для оценки того, насколько хорошо работает МО, чтобы считаться действительным.
Иногда, в зависимости от варианта использования или задачи и типа требуемых выходных данных, метрики машинного обучения могут быть не такими простыми, как точность или частота ошибок. Однако обычно существует какой-то способ измерения эффективности процесса машинного обучения, если можно измерить, насколько хорошо все работает без него. Обработка естественного языка (NLP) является примером одной области с менее прямыми показателями. Например, такие задачи, как обобщение текста или создание контента, кажутся трудными для оценки на первый взгляд. Тем не менее, если потратить некоторое время на создание набора данных входного текста и примеров желаемого результата, то можно использовать такие метрики, как «Reall-Oriented Understudy for Gisting Evaluation» (ROUGE). Этот и другие показатели измеряют такие вещи, как совпадение слов между желаемым и фактическим результатом, чтобы учесть тот факт, что не существует единого «правильного» ответа; скорее, ответы различаются в зависимости от уровня правильности.
Наконец, после определения показателей машинного обучения можно начать процесс построения краткой, но подробной дорожной карты реализации ПК и подходов к экспериментированию. Это должно включать в себя разделение всей задачи на более мелкие и простые части, которые можно быстро проверить с точки зрения успеха с помощью модели ML, которая может включать в себя сортировку срочных и несрочных заявок в службу поддержки вместо более сложного набора классификаций. Кроме того, следует провести предварительный обзор литературы или поиск по известному уровню техники, чтобы определить ряд подходов с возрастающей сложностью на случай, если более простые варианты не справятся с задачей. Реализация этой стратегии начинается с готовых моделей или моделей, доступных через сторонний интерфейс прикладного программирования (если это допустимо в бизнес-контексте), затем переходит к архитектурам, которые можно настроить путем тонкой настройки или переобучения для конкретной задачи. и заканчивается теми, которые необходимо реализовать с нуля, возможно, с более сложными режимами обучения. Затраты на каждый подход можно аппроксимировать, чтобы обеспечить справедливую оценку окупаемости инвестиций (ROI) для проекта ML на основе ожидаемой стоимости. Это покажет, будут ли некоторые направления POC слишком дорогими для реализации, и поможет установить точку отсечения для отказа от проекта, если достигнутая наилучшая производительность окажется недостаточной.
Внедрение машинного обучения в процессы или продукты компании помогает достичь глобальных бизнес-целей, таких как повышение производительности или сокращение затрат и ошибок. Однако для обеспечения успеха эти проекты МО необходимо начинать с правильной ноги. Ключевым моментом является измерение воздействия с помощью соответствующих бизнес-показателей, за которым следует определение правильных показателей МО, чтобы показать, что разработанные модели обеспечат ожидаемую ценность, поскольку они работают так, как требуется. Как только эти детали будут установлены, построение дорожной карты, определяющей направление реализации ПК, будет способствовать реализации проекта. Эта дорожная карта также обеспечит отслеживание рентабельности инвестиций и усилий, чтобы можно было определить достаточную точку отказа, которая уравновешивает эти два фактора. Эти лучшие практики являются первыми из нескольких, необходимых для перехода от бизнес-целей к ПК МО к производству.
© digitrode.ru