За последние несколько лет популярность периферийного ИИ (Edge AI) значительно возросла. Ожидается, что к 2035 году мировой рынок периферийного ИИ будет расти со среднегодовым темпом в 27,8%, достигнув общей стоимости в 356,84 миллиарда долларов.
Факторы, способствующие росту спроса на периферийный ИИ
Спрос на периферийный ИИ растет по нескольким причинам:
- Обработка данных на периферии устраняет опасения компаний по поводу передачи конфиденциальной информации в облако.
- Периферийная обработка снижает задержку отклика, что особенно важно для приложений в реальном времени, где требуется мгновенное принятие решений.
- Устройства промышленного интернета вещей (IIoT) обеспечивают управление на основе данных, что способствует увеличению числа вариантов использования периферийного ИИ.
- Быстрое внедрение технологий — от портативных медицинских устройств до носимой электроники и IIoT — способствует росту рынка ИИ на периферии.
По мере роста популярности этой технологии возрастает потребность в компонентах, способных обрабатывать данные в встроенных системах.
Выбор процессоров: микроконтроллеры или микропроцессоры
Большинство устройств Интернета вещей (IoT), используемых сегодня в промышленности и других встроенных системах, — это маломощные устройства с небольшим объемом памяти. Их вычислительная мощность обеспечивается малыми встроенными микроконтроллерами (MCU). Микроконтроллеры имеют энергоэффективную архитектуру, что делает встроенные системы на их основе более экономичными по сравнению с системами на базе микропроцессоров.
До появления периферийного ИИ микроконтроллеры хорошо справлялись с задачами обработки данных в устройствах IoT. Однако традиционные микроконтроллеры обычно не могут обеспечить достаточную вычислительную мощность для сложных алгоритмов машинного обучения, необходимых для работы периферийного ИИ.
Такие алгоритмы обычно выполняются на графических процессорах (GPU) и микропроцессорах, которые обладают большей вычислительной мощностью, но потребляют много энергии. Поскольку микропроцессоры и GPU не являются наиболее энергоэффективными решениями, они не всегда подходят для задач периферийного ИИ. Поэтому разработчики часто предпочитают микроконтроллеры.
Микроконтроллеры дешевле микропроцессоров и GPU. Чтобы масштабировать периферийный ИИ, необходимо использовать преимущества микроконтроллеров — низкую стоимость и малое энергопотребление — одновременно увеличивая их вычислительные возможности.
Факторы, способствующие использованию микроконтроллеров для периферийного ИИ
Ранее предполагалось, что традиционные микроконтроллеры недостаточно мощные для обработки данных, связанных с ИИ. Однако изменения в конструкции микроконтроллеров и технологической экосистеме способствуют их внедрению в задачи периферийного ИИ.
1. Встраивание ИИ-ускорителей в микроконтроллеры
Когда возможностей стандартного микроконтроллера недостаточно, производительность можно улучшить за счет интеграции с ИИ/ML-ускорителями, такими как нейропроцессоры (NPU) или цифровые сигнальные процессоры (DSP).
Например, STM32N6 от STMicroelectronics основан на ядре Arm Cortex-M55 с тактовой частотой 800 МГц. Технология Arm Helium обеспечивает функции обработки цифровых сигналов на стандартном процессоре. STM32N6 — это первый микроконтроллер STM32 с интегрированным ускорителем ST Neural-ART, специально разработанным для выполнения сложных ИИ-задач на периферии.
2. Оптимизация ИИ-моделей для работы на периферии
Большие алгоритмы машинного обучения невозможно напрямую перенести на микроконтроллеры — их необходимо оптимизировать с учетом ограниченных вычислительных ресурсов.
Компактные ИИ-архитектуры, такие как TinyML и MobileNet, решают эту проблему с помощью оптимизационных техник. STM32Cube.AI — это программное решение, преобразующее нейросеть в оптимизированный C-код для микроконтроллеров STM32, обеспечивая высокую производительность даже при ограниченных вычислительных ресурсах.
3. Развитие ИИ-экосистем
Наличие аппаратного компонента, способного обрабатывать ИИ на периферии, — это только часть задачи. Важны также инструменты для упрощения развертывания ИИ.
- TensorFlow Lite for Microcontrollers помогает разработчикам внедрять ИИ в устройства с микроконтроллерами.
- Открытые сообщества, такие как Hugging Face, предоставляют предварительно обученные модели и библиотеки кода.
- STMicroelectronics создала экосистему ST Edge AI Suite для упрощенного развертывания ИИ на периферии.
4. Универсальные форматы моделей и совместимость ПО
Открытые и стандартизированные форматы моделей (например, ONNX) упрощают интеграцию между аппаратным и программным обеспечением. Это снижает порог для внедрения ИИ на периферии.
5. Увеличенное внимание к безопасности на периферии
Поскольку микроконтроллеры уменьшают потребность в облачной обработке данных, они добавляют дополнительные уровни безопасности:
- Аппаратное шифрование
- Secure Boot
- Защита ИИ-моделей от атак
Основные особенности STM32N6
STM32N6 — это высокопроизводительный микроконтроллер с интегрированным нейропроцессором, поддержкой камер и комплектом для разработчиков.
Ключевые возможности:
- Ускоритель Neural ART с производительностью 600 GOPS при средней эффективности 3 TOPS/Вт
- Поддержка векторных расширений Arm Helium для обработки данных с плавающей запятой (16-бит и 32-бит)
- Поддержка интерфейса камер MIPI CSI-2
- Интегрированный процессор обработки изображений (ISP)
- Программное обеспечение iQTune для настройки ISP
- Поддержка выполнения ИИ-моделей и графического интерфейса на одном устройстве
- Сертификаты безопасности SESIP Level 3 и PSA Level 3
Итоги
Ранее приложения машинного обучения на периферии требовали мощных микропроцессоров для выполнения сложных алгоритмов. Теперь, благодаря микроконтроллерам нового поколения, таким как STM32N6 от STMicroelectronics, компании могут демократизировать ИИ на периферии. STMicroelectronics предоставляет полный набор аппаратных и программных средств для упрощенной реализации ИИ на периферии.