Digitrode

Существует несколько типов нейронных сетей (NN). Рекуррентные нейронные сети (RNN) могут «запоминать» данные и использовать прошлую информацию для выводов. В этой статье рекуррентные нейронные сети сравниваются с сетями прямого распространения (FFNN), которые не могут помнить, затем углубимся в концепцию обратного распространения во времени (BPTT) и завершим рассмотрением RNN с долговременной краткосрочной памятью (LSTM).

RNN и FFNN обрабатывают информацию по-разному. В FFNN информация перемещается напрямую из входного слоя в скрытые слои и в выходной слой. В результате FFNN не имеют памяти о предыдущих входах и бесполезны для прогнозирования будущего. Единственное использование прошлой информации в FFNN – это обучение. После обучения сети прошлая информация не учитывается. FFNN используются для задач классификации и распознавания.

Хотя программное обеспечение якобы «правит миром», оно сильно ограничено в своем развитии доступом к талантливым разработчикам и растущим числом задач, необходимых для создания программного обеспечения. Количество рабочих мест, требующих разработчиков программного обеспечения, растет со скоростью, которая значительно превышает количество квалифицированных специалистов, выходящих на рынок для выполнения этих ролей. Даже те, кто уже работает программистом, большую часть своего времени не обязательно тратят на программирование новых функций, а скорее на написание тестов, исправление проблем с безопасностью, проверку кода и исправление ошибок.

Эти два фактора делают еще более важным повышение производительности труда, и самые последние улучшения в моделях обработки естественного языка (natural language processing или NLP) на основе искусственного интеллекта (ИИ) делают это реальностью. Благодаря своему размеру, базовой архитектуре, обучающим данным и режиму новейшее поколение современных моделей NLP, называемых генеративными предварительно обученными преобразователями (generative pre-trained transformer или GPT), может переводиться между многими языками, в том числе из текста в код. Внедрение этой мощной возможности в инструменты, которые могут использовать разработчики, уже доказало свою неоценимую ценность, поскольку позволяет разработчикам лучше справляться со своей работой и открывает доступ к созданию программного обеспечения для менее технических специалистов.

Основная проблема в TinyML заключается в том, как взять относительно большую нейронную сеть, иногда порядка сотен мегабайт, и заставить ее работать на микроконтроллере с ограниченными ресурсами, сохраняя при этом минимальный бюджет мощности. С этой целью наиболее эффективным методом является квантование.

Эта статья даст базовое понимание квантования, что это такое, как оно используется и почему это важно.

Из предыдущих статей по нейронным сетям вы узнали о классификации данных с использованием простых нейронных сетей на основе персептрона. Но мы можем значительно повысить производительность персептрона, добавив слой скрытых узлов, но эти скрытые узлы также усложняют обучение. В этом материале будут даны основы обучения многослойной нейронной сети.

Предыдущая статья продемонстрировала, что однослойный персептрон просто не может обеспечить производительность, которую мы ожидаем от современной архитектуры нейронных сетей. Система, ограниченная линейно разделяемыми функциями, не сможет аппроксимировать сложные отношения ввода-вывода, которые возникают в реальных сценариях обработки сигналов. Решение представляет собой многослойный персептрон, такой как приведенный далее.

В предыдущей статье мы узнали, зачем нужен многослойный персептрон для полноценного машинного обучения. В этой статье вы узнаете о функциях активации, в том числе об ограничениях, связанных с функциями скачкообразной активации, и о том, как функция активации сигмоида может восполнить их в многослойных нейронных сетях.

В предыдущей статье мы узнали, что такое скорость обучения. Это важное понятие для дальнейшего изучения области машинного обучения, чтобы далее разрабатывать и обучать многослойные нейронные сети.

До сих пор мы фокусировались на однослойном персептроне, который состоит из входного слоя и выходного слоя. Как вы, возможно, помните, мы используем термин «однослойный», потому что эта конфигурация включает в себя только один уровень вычислительно активных узлов, то есть узлов, которые изменяют данные путем суммирования, а затем применяют функцию активации. Узлы входного слоя просто распределяют данные.

В предыдущей статье мы рассмотрели основы теории обучения нейронных сетей. В данном материале углубимся в эту теорию дальше и поговорим о скорости обучения.

Как вы уже догадались, скорость обучения влияет на быстроту обучения вашей нейронной сети. Но это еще не все.

В предыдущей статье мы рассмотрели некоторые особенности процесса обучения нейронной сети. В этой статье мы рассмотрим теорию и практику обучения нейронных сетей и рассмотрим концепцию минимизации ошибки.

Целью обучения нейронной сети является предоставление данных, которые позволяют нейронной сети сходиться на надежных математических отношениях между входом и выходом. В предыдущей статье математическое соотношение было простым: если x-компонент точки в трехмерном пространстве меньше нуля, выходное значение равно нулю (что указывает, например, на то, что эта точка данных является «недействительной» и не требует дальнейшего анализа); если компонент x равен или больше нуля, вывод равен единице (что указывает на «действительную» точку данных).

В таких случаях, когда известны математические отношения, вы можете создавать обучающие данные в программе для работы с электронными таблицами. Можно использовать, например, Excel.

В предыдущей статье была представлена простая задача классификации, которую мы рассмотрели с точки зрения нейросетевой обработки сигналов. Математическое соотношение, необходимое для этой задачи, было настолько простым, что мы смогли спроектировать сеть, просто подумав о том, как определенный набор весов позволил бы выходному узлу правильно классифицировать входные данные. Вот такая у нас была сеть: