ОлеткаЧто такое импульсные нейронные сети
Импульсные (спайковые) нейронные сети, SNN, — модели, в которых нейроны обмениваются не непрерывными числами, а короткими дискретными событиями — спайками. Так устроена передача сигналов и в биологическом мозге.
Нейрон в такой сети накапливает входящий сигнал во внутреннем «мембранном потенциале». Когда потенциал превышает порог, нейрон генерирует спайк и сбрасывается. Одна из самых простых и популярных моделей — leaky integrate-and-fire, «интегрирующий нейрон с утечкой».
Важная особенность SNN — время. Информация может кодироваться не только тем, сколько спайков пришло, но и тем, когда они пришли. Это делает такие сети естественными для обработки потоков событий и сигналов, меняющихся во времени.
Зачем нужна специальная аппаратура
На обычном процессоре редкие спайки сами по себе не экономят энергию: вы всё равно гоняете числа через общую память. Выигрыш появляется на нейроморфных чипах, где локальная память и событийная коммутация совпадают с моделью. Ориентиры по энергии для Loihi (предкремниевые оценки при 0,75 В) — порядка 1,7 пДж на спайк внутри тайла и от 23,6 пДж на синаптическую операцию.
Обучать SNN сложнее, чем обычные сети: функция спайка не дифференцируема. На практике используют суррогатные градиенты, конвертацию обученных обычных сетей в импульсные и биологически мотивированные правила вроде STDP.