Эксперименты с моделью BERT показали сокращение вычислений на более чем 99%.

Исследователи разработали собственную реализацию операций условного умножения на базе инструкций процессора и графического процессора. Это привело к 78-кратному увеличению скорости вывода.

Ученые полагают, что благодаря более качественному аппаратному обеспечению и низкоуровневой реализации алгоритма есть потенциал для более чем 300-кратного улучшения скорости вывода. Это могло бы решить одну из основных проблем языковых моделей — количество токенов, которые они генерируют в секунду.

LLM с миллиардом параметров теперь может потреблять всего 13 ватт.

Исследователи применили инновационный подход, сделав все числа в матрицах нейронной сети троичными, то есть они могут быть только -1, 0 или 1. Это существенное изменение, вдохновленное документом Microsoft, заменяет умножение на сложение, что значительно снижает требования к оборудованию.

Нейронная сеть, работающая на этом оборудовании, продемонстрировала более чем 50-кратное повышение эффективности по сравнению с обычными системами. Важно, что при этом она сохранила производительность, сравнимую с топовыми языковыми моделями.

Эксперименты с моделью BERT показали сокращение вычислений на более чем 99%.

Исследователи разработали собственную реализацию операций условного умножения на базе инструкций процессора и графического процессора. Это привело к 78-кратному увеличению скорости вывода.

Ученые полагают, что благодаря более качественному аппаратному обеспечению и низкоуровневой реализации алгоритма есть потенциал для более чем 300-кратного улучшения скорости вывода. Это могло бы решить одну из основных проблем языковых моделей — количество токенов, которые они генерируют в секунду.

LLM с миллиардом параметров теперь может потреблять всего 13 ватт.

Исследователи применили инновационный подход, сделав все числа в матрицах нейронной сети троичными, то есть они могут быть только -1, 0 или 1. Это существенное изменение, вдохновленное документом Microsoft, заменяет умножение на сложение, что значительно снижает требования к оборудованию.

Нейронная сеть, работающая на этом оборудовании, продемонстрировала более чем 50-кратное повышение эффективности по сравнению с обычными системами. Важно, что при этом она сохранила производительность, сравнимую с топовыми языковыми моделями.