ОлеткаЭнергоэффективность искусственного интеллекта
Современные большие модели требуют значительных вычислительных ресурсов и, соответственно, электроэнергии — и при обучении, и при использовании.
Есть несколько направлений, как снизить эти затраты: более компактные архитектуры, квантование и прореживание весов, специализированные ускорители и, наконец, нейроморфный подход.
Сколько стоит одна операция
Чтобы сравнивать подходы «на бумаге», инженеры часто опираются на оценки энергии арифметических операций и обращений к памяти. Классический ориентир — доклад Mark Horowitz на ISSCC 2014 для CMOS-процесса 45 нм: целочисленное сложение порядка 0,1 пДж, сложение с плавающей точкой — около 0,9 пДж, умножения — единицы пикоджоулей, а чтение из DRAM уже нанометровых джоулей — примерно 1,3–2,6 нДж на слово.
Главный вывод графика: доступ к внешней памяти часто дороже самой арифметики. Поэтому архитектуры, которые реже гоняют данные туда-сюда, выигрывают даже без «магии нейронов».
Мозг человека решает сложнейшие задачи, потребляя энергию порядка мощности небольшой лампочки. Нейроморфные вычисления пытаются перенять у него принципы: разреженную активность, событийность и совмещение памяти с вычислениями.
Вряд ли один подход вытеснит остальные. Скорее всего, будущее за сочетанием: обычные ускорители для одних задач и энергоэкономные нейроморфные системы — для других, прежде всего на «краю сети».