DeepSeek представила новую технологию, позволяющую запускать крупные ИИ-модели на более дешёвом оборудовании

Китайская компания DeepSeek, известная разработкой одних из самых мощных в мире ИИ-моделей с открытыми весами (open-weight), представила новую технологию, способную существенно снизить требования к аппаратному обеспечению при запуске крупных моделей искусственного интеллекта.

Команда исследователей опубликовала научную работу, инициированную лично основателем компании Лян Вэньфэном, в которой предлагается принципиально новый подход к использованию памяти в ИИ-моделях. Основная цель разработки — сократить потребление дорогостоящей видеопамяти без потери качества работы модели.

Ключевая идея технологии получила название «условная память» (conditional memory). Подобно предыдущим решениям DeepSeek в области Mixture-of-Experts (MoE), новый метод ориентирован на максимальную эффективность. Он разделяет «логику» и «знания» модели, позволяя хранить основную массу информации на более дешёвом и доступном оборудовании, а не в видеопамяти GPU.

Одним из главных преимуществ технологии является практически мгновенный доступ к базе знаний. В отличие от широко используемого сегодня подхода retrieval-augmented generation (RAG), который часто оказывается сложным и медленным, решение DeepSeek обеспечивает быстрый и прямой поиск информации.

Компания опубликовала открытый исходный код технологии под названием Engram. В научной статье отмечается, что Engram позволяет эффективно масштабировать объём знаний моделей, повышая производительность в задачах, насыщенных информацией, при сохранении высокой эффективности обучения и инференса.

Для пользователей и разработчиков это означает, что в будущем мощные ИИ-модели смогут работать быстрее, дешевле и эффективнее, а также лучше «помнить» предыдущие запросы и контекст взаимодействия.