Типично, но смешно


Журналисты:
Прорыв в области матричного умножения может привести к созданию более быстрых и эффективных моделей искусственного интеллекта
Ученые обнаружили новый способ умножения больших матриц быстрее, чем когда-либо прежде, устраняя ранее неизвестную неэффективность, сообщает журнал Quanta. В конечном итоге это может ускорить работу моделей искусственного интеллекта, таких как ChatGPT, которые в значительной степени зависят от умножения матриц. Результаты, представленные в двух недавних статьях, привели к тому, что, как сообщается, является самым значительным улучшением эффективности умножения матриц более чем за десятилетие.
... В октябре 2022 года мы рассказали о новой технике, обнаруженной в модели искусственного интеллекта Google DeepMind под названием AlphaTensor, с акцентом на практические алгоритмические улучшения для матриц определенных размеров, таких как матрицы 4x4. Напротив, новое исследование, проведенное Ран Дуанем и Ренфей Чжоу из Университета Цинхуа, Хунсюнь Ву из Калифорнийского университета в Беркли и Вирджинией Василевской Уильямс, Инчжан Сюй и Цзысюань Сюй из MIT, стремится к теоретическим усовершенствованиям, стремясь снизить показатель сложности ω для значительного повышения эффективности при всех размерах матриц. Вместо поиска немедленных практических решений, таких как AlphaTensor, новая методика направлена на фундаментальные улучшения, которые могли бы повысить эффективность умножения матриц в более общем масштабе.
... Традиционный метод умножения двух матриц n на n требует n3 отдельных умножений. Однако новая методика, которая улучшает метод, представленный Штрассеном в 1986 году, уменьшила верхнюю границу показателя степени, приблизив его к идеальному значению 2, которое представляет собой теоретическое минимальное количество необходимых операций".
Лучший комментарий:
они улучшили константу с 2.371866 до 2.371552
Ответ на лучший комментарий:
Вот поэтому вы и не занимаетесь продажами
▲ 3 ▼
finder
09-03-2024
Думаю, что ответ "на данном этапе развития человечества невозможно измерить экспериментально". Даже из алгоритма Штрассена непросто выжать профит по сравнению с наивным (из-за кеш миссов), а это 3 => 2.81
ответить