Новости
Как мы готовим решения на бюджетных компьютерах
Мы изучаем, сколько полезной и надёжной работы может выполнить локальная модель ИИ на недорогом компьютере, и сравниваем её с машиной, где модель целиком помещается в память.
В эксперименте три компьютера. Бюджетный ПК с видеокартой RTX 3060 работает при жёстких ограничениях памяти. Второй компьютер с агентом Hermes анализирует результаты, проверяет работу и вносит улучшения. Mac Studio M3 параллельно выполняет те же задачи как эталон с достаточной памятью. На всех машинах одни и те же файлы модели и одна версия Strata.
Для нас важна не скорость сама по себе, а качество и надёжность ответов на реальных задачах. Предварительные результаты показывают: ограниченное железо не обязательно означает более низкое качество ответов.
Отдельная часть эксперимента — может ли агент сам находить свои ошибки, исправлять их и предотвращать похожие. Без отдельной просьбы он также начал учитывать, сколько токенов стоят его улучшения, и сокращать лишний расход.
Эти эксперименты ведут к реальным результатам и практическим сценариям — например, к работе с документами.