Новини
Як ми створюємо рішення на бюджетних комп’ютерах
Ми досліджуємо, скільки корисної й надійної роботи може виконати локальна модель ШІ на недорогому комп’ютері, і порівнюємо її з машиною, де модель повністю вміщується в пам’ять.
В експерименті три комп’ютери. Бюджетний ПК з відеокартою RTX 3060 працює за жорстких обмежень пам’яті. Другий комп’ютер з агентом Hermes аналізує результати, перевіряє роботу і вносить покращення. Mac Studio M3 паралельно виконує ті самі задачі як еталон із достатньою пам’яттю. На всіх машинах однакові файли моделі й одна версія Strata.
Для нас важлива не швидкість сама по собі, а якість і надійність відповідей на реальних задачах. Попередні результати показують: обмежене залізо не обов’язково означає нижчу якість відповідей.
Окрема частина експерименту — чи може агент сам знаходити свої помилки, виправляти їх і запобігати схожим. Без окремого прохання він також почав враховувати, скільки токенів коштують його покращення, і скорочувати зайву витрату.
Ці експерименти ведуть до реальних результатів і практичних сценаріїв — наприклад, до роботи з документами.