Digitrode

Машинное обучение — это динамичная и мощная область компьютерных наук, которая проникла почти во все цифровые объекты, с которыми мы взаимодействуем, будь то социальные сети, наши мобильные телефоны, автомобили или даже бытовая техника. Тем не менее, еще есть много мест, куда машинное обучение хотело бы попасть, но ему трудно добраться. Это связано с тем, что многие современные модели машинного обучения требуют значительных вычислительных ресурсов и энергопотребления для выполнения логического вывода.

Потребность в высокопроизводительных вычислительных ресурсах привела к ограничению многих приложений машинного обучения облачными вычислениями, где легко доступны вычисления на уровне центра обработки данных. Чтобы позволить машинному обучению расширить свои возможности и открыть новую эру в данном направлении, мы должны найти способы упростить реализацию машинного обучения на небольших устройствах с более ограниченными ресурсами. Это стремление привело к созданию области, известной как Tiny Machine Learning (компактное машинное обучение) или TinyML (термин, зарегистрированный под торговой маркой TinyML Foundation, который стал синонимом технологии).

QuickLogic Corporation и Antmicro совместно анонсировали QuickFeather, плату, разработанную для следующего поколения IoT-устройств с низким энергопотреблением. Помимо дизайна аппаратного обеспечения с открытым исходным кодом, доступного сегодня на GitHub, Antmicro также добавила поддержку платы QuickFeather в операционной системе реального времени Zephyr (RTOS), а также в своей среде моделирования Renode с открытым исходным кодом.

Компания ARM представила значительные дополнения к своей платформе искусственного интеллекта (ИИ), включая IP-ядро машинного обучения, процессор Arm Cortex-M55 и Arm Ethos-U55 NPU. Эти новые устройства предназначены для обеспечения совокупного повышения производительности машинного обучения в 480 раз, новое IP-ядро и поддержка унифицированной цепочки инструментов позволяют разработчикам аппаратного и программного обеспечения ИИ реализовывать инновационные идеи в системе, что приводит к беспрецедентным уровням машинного обучения на небольших устройствах Интернета вещей (IoT) с ограниченным энергопотреблением.

Из предыдущих статей по нейронным сетям вы узнали о классификации данных с использованием простых нейронных сетей на основе персептрона. Но мы можем значительно повысить производительность персептрона, добавив слой скрытых узлов, но эти скрытые узлы также усложняют обучение. В этом материале будут даны основы обучения многослойной нейронной сети.

Предыдущая статья продемонстрировала, что однослойный персептрон просто не может обеспечить производительность, которую мы ожидаем от современной архитектуры нейронных сетей. Система, ограниченная линейно разделяемыми функциями, не сможет аппроксимировать сложные отношения ввода-вывода, которые возникают в реальных сценариях обработки сигналов. Решение представляет собой многослойный персептрон, такой как приведенный далее.

В предыдущей статье мы узнали, зачем нужен многослойный персептрон для полноценного машинного обучения. В этой статье вы узнаете о функциях активации, в том числе об ограничениях, связанных с функциями скачкообразной активации, и о том, как функция активации сигмоида может восполнить их в многослойных нейронных сетях.

В предыдущей статье мы узнали, что такое скорость обучения. Это важное понятие для дальнейшего изучения области машинного обучения, чтобы далее разрабатывать и обучать многослойные нейронные сети.

До сих пор мы фокусировались на однослойном персептроне, который состоит из входного слоя и выходного слоя. Как вы, возможно, помните, мы используем термин «однослойный», потому что эта конфигурация включает в себя только один уровень вычислительно активных узлов, то есть узлов, которые изменяют данные путем суммирования, а затем применяют функцию активации. Узлы входного слоя просто распределяют данные.

В предыдущей статье мы рассмотрели основы теории обучения нейронных сетей. В данном материале углубимся в эту теорию дальше и поговорим о скорости обучения.

Как вы уже догадались, скорость обучения влияет на быстроту обучения вашей нейронной сети. Но это еще не все.

В предыдущей статье мы рассмотрели некоторые особенности процесса обучения нейронной сети. В этой статье мы рассмотрим теорию и практику обучения нейронных сетей и рассмотрим концепцию минимизации ошибки.

Целью обучения нейронной сети является предоставление данных, которые позволяют нейронной сети сходиться на надежных математических отношениях между входом и выходом. В предыдущей статье математическое соотношение было простым: если x-компонент точки в трехмерном пространстве меньше нуля, выходное значение равно нулю (что указывает, например, на то, что эта точка данных является «недействительной» и не требует дальнейшего анализа); если компонент x равен или больше нуля, вывод равен единице (что указывает на «действительную» точку данных).

В таких случаях, когда известны математические отношения, вы можете создавать обучающие данные в программе для работы с электронными таблицами. Можно использовать, например, Excel.

В предыдущей статье была представлена простая задача классификации, которую мы рассмотрели с точки зрения нейросетевой обработки сигналов. Математическое соотношение, необходимое для этой задачи, было настолько простым, что мы смогли спроектировать сеть, просто подумав о том, как определенный набор весов позволил бы выходному узлу правильно классифицировать входные данные. Вот такая у нас была сеть: