Исследователи из Стэнфорда и Университета Вашингтона разработали новую ИИ-модель, назвав её s1. Нейросеть легко смогла обойти чат-бота OpenAI в решении математических задач.
Метод дистилляции позволил s1 учиться на ответах более крупных моделей. Учёные использовали открытый проект Alibaba Qwen2.5, однако сократили набор обучающих данных до тысячи задач. Для вычислений использовался графический ускоритель NVIDIA H100. Нейросеть также научили рассуждать, проверять свои выводы перед генерацией ответа и исправлять ошибки. В результате s1 опередила OpenAI o1-preview на 27% в решении математических задач.
Таким образом, американские исследователи доказали, что для эффективной работы ИИ не всегда нужны огромные вычислительные мощности и тысячи GPU. Появление компактных ИИ позволит изменить рынок, и компаниям больше не придётся тратить огромные суммы на обучение ИИ-моделей.
Подробный текст разработки s1 опубликован здесь.
