Российские ученые нашли способ оптимизировать работу моделей искусственного интеллекта

• Наука

• 13:00 27 марта
• astakhovaxenia

Фото Сбер

Алгоритм детекции ошибок сжатия позволяет ИИ обрабатывать длинные диалоги, не теряя детали и не расходуя лишние мощности

Человек общается с ИИ-помощником, и тот помнит детали разговора месячной давности и не путается в фактах, а компания при этом не тратит состояние на вычислительные ресурсы. Исследователи Центра практического искусственного интеллекта Сбербанка в сотрудничестве с учеными Института AIRI и Сколтеха нашли способ определять тот самый момент, когда нейросеть при экономии памяти начинает терять смысл. Этот метод лег в основу научной статьи, представленной на международной конференции EACL 2026 в Марокко. Разработчики применили новый метод при обновлении ИИ-помощника ГигаЧат: теперь он запоминает ключевые факты о пользователе и использует их в дальнейшем общении — делая взаимодействие более естественным и персонализированным.

Современные ИИ-модели умеют рассуждать уже почти как человек, но с памятью часто возникают вопросы. Стандартный подход — просто вложить в контекст нейросети всю историю переписки или кипу документов. Это работает до тех пор, пока текстов мало. Как только контекст достигает определенного размера, могут возникать несоответствия ответам желанным. Модель помнит начало и конец, но теряет то, что было в середине. К тому же обработка миллионов токенов требует большого объема видеопамяти.

Эффективным методом обработки больших объемов данных является сжатие информации с последующим переводом в векторные представления. Данный подход позволяет минимизировать потребление вычислительных ресурсов. Критическим ограничением метода выступает риск необратимого искажения данных при превышении пороговых значений сжатия — феномен, определенный как переполнение токенов.

Российские исследователи предложили инструмент для борьбы с этой проблемой. Они создали легкий обучаемый классификатор, который работает как детектор качества. Он проверяет сжатые токены еще до того, как они попадут в большую языковую модель. Если классификатор видит, что смысл нарушен, он не пропускает испорченный контекст дальше. И тогда система может подставить оригинальный несжатый текст или поискать свежие документы. В любом случае некорректные данные не уйдут в генерацию, пользователь не получит недостоверный ответ, а компания не потратит лишних средств на вычисления.

Для бизнеса, который встраивает ИИ-модели в свои корпоративные поисковики, ассистентов или боты поддержки, это прямая экономия. Ученым исследование дает строгую методологию: теперь понятно, где проходит граница сжимаемости текста и как отследить момент переполнения токенов. В обществе же это повышает доверие к технологиям и популярность ИИ-помощников.  Например, разработчики применили метод при обновлении флагманской модели Сбера ГигаЧат Ультра — она научилась запоминать факты о пользователе и использовать их для дальнейшей персонализации общения. Это делает взаимодействие более естественным и комфортным.

Николай Тиден, директор Центра практического искусственного интеллекта Сбербанка:

Представьте, что нужно пересказать итоги трехчасового стратегического совещания парой фраз. Ключевые тезисы вы выделите, но высок риск упустить критически важные нюансы или исказить смысл. Так же работает механизм сжатия контекста в языковых моделях. Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестает быть оптимизацией и ведет к ошибкам, вызывая потерю устойчивости модели. Для бизнеса это означает принципиально новый уровень надежности искусственного интеллекта — сокращение издержек и повышение точности принятия решений.