Применение вычислительных сред для ускорения рекуррентных нейронных сетей

doi:10.34706/DE-2023-01-04

Эндаумент фонд ТГУ!
Впиши своё имя в историю университета
- Сделать пожертвование -

Add to "Quick Collection"

Description	Size	Format
Применение вычислительных сред для ускорения рекуррентных нейронных сетей	863 KB	Adobe Acrobat PDF	Read	Download
DOI Доступ к ресурсу на сайте издателя			10.34706/DE-2023-01-04

#рекуррентные нейронные сети

#LSTM, сети долгой краткосрочной памяти

#перестраиваемые вычислительные среды

#аппаратные ускорители реконфигурируемые

Title: Применение вычислительных сред для ускорения рекуррентных нейронных сетей
Creator: Шатравин, Владислав
|
Шашев, Дмитрий Вадимович
Date: 2023
DOI: 10.34706/DE-2023-01-04
Description: Одним из основных факторов, ограничивающих применение современных алгоритмов машинного обучения в технических системах, является несовершенство используемого аппаратного обеспечения. Особенно остро проблема стоит для крупных нейронных сетей в маломощных и автономных системах, имеющих жесткие ограничения к массе и энергопотреблению. Большинство предлагаемых на сегодняшний день аппаратных ускорителей нейронных сетей либо имеют высокое энергопотребление и массу, либо поддерживают лишь очень ограниченное множество алгоритмов. Решением этой проблемы может быть применение перестраиваемых аппаратных ускорителей, которые поддерживают динамическую настройку на реализацию требуемых алгоритмов. Одним из способов построения таких ускорителей могут быть решения на основе концепции перестраиваемых вычислительных сред (ПВС). В данной работе представлена реализация рекуррентных архитектур нейронных сетей на примере сети Хопфилда и сети долгой краткосрочной памяти (LSTM) на ускорителях, построенных на основе ПВС. Приведены формулы оценки быстродействия разработанных моделей на основе результатов симуляций на FPGA. Полученные оценки показывают высокое быстродействие предложенных моделей в сравнении с существующими аналогами при значительно большей занимаемой на полупроводнике площади. Согласно оценкам, расчёт одного шага LSTM сети с 25 скрытыми нейронами занимает 223 нс. Результаты позволяют сделать вывод о большом потенциале применения перестраиваемых сред для реализации рекуррентных сетей и необходимость дальнейших оптимизаций предложенных моделей.

Relationships: Show Relationship Browser for this Object
collection(s): Факультет инновационных технологий
Identifier: смотреть в электронном каталоге НБ ТГУ
Type: статьи в журналах
Source: Цифровая экономика. 2023. № 1. С. 27-35
Language: rus

Created: 10-01-2024

299 Visitors

211 Hits

104 Downloads

Факультет инновационных технологий Применение вычислительных сред для ускорения рекуррентных нейронных сетей