Как и в случае с любой другой темой, понимание основных терминов машинного обучения (МО) может помочь вам понять более сложные темы, необходимые для построения модели МО и позволить ей делать прогнозы. В данном материале обобщены несколько ключевых терминов, с которыми каждый может столкнуться при изучении искусственного интеллекта и машинного обучения.
Во-первых, важно различать алгоритм машинного обучения и модель. Алгоритм – это набор правил и инструкций, который обучает и генерирует модель машинного обучения. Машинное обучение направлено на выявление закономерностей данных и сходств между выборками, чтобы делать прогнозы при наблюдении новых данных. В отличие от алгоритма, модель фиксирует и кодирует эти статистические закономерности и позволяет программе машинного обучения делать прогнозы при наблюдении новых образцов.
Обучение – это процесс построения модели машинного обучения на основе существующих образцов данных, однако не все алгоритмы машинного обучения требуют обучения. В этом контексте ленивый ученик – это алгоритм МО, который не требует этапа обучения. Вместо этого он делает прогнозы на лету при наблюдении нового образца. Алгоритм k-Nearest-Neighbours (kNN) – один из самых известных ленивых алгоритмов обучения. Напротив, энергичному ученику требуется этап обучения, на котором он использует данные обучения для построения модели. Примеры таких алгоритмов включают нейронные сети. В машинном обучении вы часто будете сталкиваться с контролируемым и неконтролируемым обучением, иными словами обучением с учителем и без учителя. Помимо обучения с подкреплением, это два основных способа экстраполяции закономерностей на основе данных. При обучении с учителем образцы обучающих данных содержат не только входные значения, но и ожидаемые выходные данные. Модель учится предсказывать метку на основе наблюдаемых закономерностей в данных. При обучении без учителя эта выходная метка отсутствует в данных, и модель учится обнаруживать взаимосвязи и закономерности во входных переменных без известных выходных данных. После обучения готовая модель (или алгоритм, в случае ленивого обучающегося) выполняет задачу классификации или прогнозирования, когда получает новые входные данные, которые обычно не наблюдались раньше. Процесс прогнозирования или классификации выборок называется умозаключением.
Как уже упоминалось, алгоритм строит модель на основе обучающих данных, которые могут быть помечены или не помечены. Этот набор данных состоит из отдельных выборок, и каждая выборка содержит один или несколько объектов, которые служат входными переменными. Если данные помечены, выходные данные также называются меткой образца. Характеристики обычно имеют одну из четырех форм: номинальную, порядковую, интервальную и пропорциональную. Они различаются тем, какие арифметические операции можно выполнять и какой уровень предварительной обработки требуется, прежде чем данные можно будет использовать для обучения модели. Предварительная обработка в этом контексте описывает очистку данных и приведение их в формат, понятный используемому алгоритму МО.
Во время обучения могут возникнуть различные проблемы, и эти проблемы влияют на способность модели делать обобщения и прогнозы после ее развертывания. Когда модель соответствует данным, она слишком внимательно следует за отдельными выборками данных, чтобы правильно классифицировать их во время обучения. Однако перенасыщение приводит к проблемам во время вывода после его применения, поскольку способность модели к обобщению ограничена. Обычно переоснащение является признаком слишком сложной модели, что приводит к низкой систематической ошибке и высокой дисперсии. Недостаточная подгонка, напротив, возникает, когда модель машинного обучения слишком проста или не способна фиксировать базовые шаблоны данных, что приводит к высокой систематической ошибке и низкой производительности как на обучающих, так и на тестовых данных. Перекрестная проверка – один из методов решения проблем переобучения.
После завершения обучения вы обычно можете оценить, насколько хорошо модель работает на данных, которые она никогда раньше не видела. Для этой цели вы можете использовать качественные меры, чтобы определить эффективность вывода модели. В зависимости от задачи существуют различные методы – примеры включают точность, прецизионность, полноту, оценку F1, среднеквадратическую ошибку (MSE) или площадь под кривой (AUC). Прочтите эту статью, чтобы узнать больше о метриках оценки в машинном обучении.
В качестве выводов можно сказать следующее. Алгоритмы и модели машинного обучения различаются по своим ролям. Алгоритм – это набор правил, который обучает и генерирует модель, которая фиксирует статистические закономерности и позволяет делать прогнозы на основе новых данных. Обучение – это процесс построения модели МО на основе существующих данных, в то время как ленивые обучающиеся, такие как k-Nearest Neighbours (kNN), делают прогнозы на лету без этапа обучения. Обучение с учителем использует размеченные данные с парами ввода-вывода, тогда как обучение без учителя обнаруживает закономерности в немаркированных данных. После обучения модель выполняет логический вывод, делая прогнозы на основе невидимых данных. Наборы данных включают несколько образцов с входными объектами и выходными метками. Характеристики могут быть номинальными, порядковыми, интервальными или пропорциональными, в зависимости от требований предварительной обработки. Переобучение происходит, когда модель внимательно следует обучающим данным, но не может обобщить, тогда как недостаточная подгонка возникает из-за того, что модели не хватает сложности для выявления закономерностей. Показатели оценки, такие как точность, полнота и среднеквадратическая ошибка, помогают оценить эффективность модели.
© digitrode.ru