Обучение GPT-N в 565 строках кода

finder, 26-12-2023 ,

252

Тренируем большие (действительно большие, размером с GPT-3) языковые модели в 565 строчек кода: https://github.com/Cerebras/gigaGPT
Для прода, наверное, не годится :) но если хочется с нуля вкатиться в эту тему, можно начинать с этого кода.
in#llm