Новости
Первые запуски Strata и лаборатория для воспроизводимых конфигураций локального ИИ
31 tok/s с моделью ~47 ГБ при использовании всего около 3 ГБ системной ОЗУ, 45–48 tok/s после расширения ОЗУ, подтверждено, что 32 ГБ ОЗУ достаточно, первый автономный ночной процесс и одинаковые машины для воспроизводимых конфигураций.
Первый результат: 31 токен в секунду
- Strata v0.1.41
- Модель: Qwen3.8-Flash-Next IQ3_XXS
- CPU: Intel Core Ultra 7 270K Plus
- GPU: AMD Radeon RX 9070 OC, 16 ГБ GDDR6
- ОЗУ: 32 ГБ DDR5-6000
- SSD: Lexar NM1090 Pro 2 ТБ, NVMe PCIe 5.0
- Контекст: 65 536 токенов
Модель сгенерировала 12 136 токенов примерно за 6,5 минуты: 31 токен в секунду. С моделью около 47 ГБ видеопамять была почти заполнена, а системной ОЗУ использовалось всего около 3 ГБ: Strata читает часть модели прямо с SSD. GPU потреблял около 130–150 Вт, держался на 45 °C, вентиляторы были почти не слышны. Это открывает путь к заметно более дешёвым локальным ИИ-системам без огромных объёмов ОЗУ и дорогих серверных платформ.
Систематическая программа на разном железе
Эти результаты положили начало более систематической программе: Strata на 11 компьютерах с самыми разными конфигурациями, с графическими процессорами NVIDIA, AMD и Intel, DDR4 и DDR5, а также накопителями NVMe от PCIe 3.0 до PCIe 5.0, включая массив PCIe 5.0 RAID 0 со скоростью около 35 Гбит/с. Сначала совместимость, производительность и стабильность; затем практические повседневные и бизнес-задачи.
Также был проверен противоположный случай: на мини-ПК без дискретного графического процессора и с 8 ГБ оперативной памяти можно было создать Strata, но модель не запускалась даже после добавления оперативной памяти из-за динамически выделяемой видеопамяти. Вывод: Strata не запускается в этой недокументированной конфигурации.
Контекст 256K и первые практические уроки
На системе с RX 9070 и контекстом 256K вывод шёл со скоростью 15–30 токенов в секунду. За одну сессию (9:44–12:00): 18 запросов, около 108K токенов запроса (114 tok/s), около 856K переиспользовано, около 100K сгенерировано (22,6 tok/s). Из примерно 25 запросов сломались несколько: промпт с пятью вопросами сразу (сработал, когда его разбили) и запрос ответа на 60–70 тысяч токенов. Другие ответы достигали 14–22 тысяч токенов, и длинные генерации сохраняли качество.
Strata не видела GPU без подключённого монитора на плате ASUS Pro Q870M-C-CSM; проблему решила HDMI-заглушка.
32 ГБ оперативной памяти достаточно
С 32 ГБ ОЗУ Strata может работать, не загружая модель в системную память: память остаётся свободной для других задач, а CPU — для параллельной нагрузки, при 15–20 tok/s. С 64 ГБ на той же машине (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S) генерация достигла 45–48 tok/s, но памяти для другой работы осталось намного меньше. Позже на двух разных конфигурациях, включая DDR4, Strata почти не использовала ОЗУ при 15–25 tok/s, а около половины CPU оставалось свободным для Hermes и вспомогательных компонентов. С ростом длины контекста скорость падает, так что всё зависит от задач.
Первый автономный рабочий процесс
Ночной прогон на неподдерживаемом железе без дискретного GPU дал около 1 токена в секунду, потому что большая часть модели оказалась в swap. Скорость не была целью: задачу поставили вечером, а результат был готов утром. Затем Hermes переехал на машину с приемлемой скоростью и начал повседневную работу. Одна утренняя проверка уже использует датчики Home Assistant и следит за бэкапами, здоровьем дисков и температурами на подключённых компьютерах; она сразу сообщила, что в серверной становится слишком жарко при шести работающих компьютерах.
Лаборатория одинаковых машин
Чтобы превратить отдельные результаты в воспроизводимую конфигурацию, мы купили 10 одинаковых материнских плат и процессоров для 10 одинаковых систем: платформа ASUS с 8 слотами ОЗУ, недорогой DDR4 и удалённым управлением на уровне BIOS, так что агенты могут даже удалённо переустановить ОС.
Мы уже настроили 20–30 компьютеров почти с нуля и управляли ими голосом с телефона через облачных агентов, включая бухгалтерский процесс от установки ERP до ввода счетов в итальянскую налоговую систему. Теперь цель — воспроизвести такие процессы на локальном ИИ. Из коробки задачи, которые в облаке занимают секунды или минуту, локально занимали 5–10 минут; следующим шагом стала оптимизация. Задачи приходят из многих источников, а агенты заводят их в OpenProject и назначают самому подходящему агенту или человеку.
Что это значит для клиента Box
- Большие модели могут работать на доступном железе со скромным объёмом ОЗУ.
- Конфигурации выбираются по замерам на реальных машинах.
- Одинаковые машины делают результаты воспроизводимыми и позволяют управлять ими удалённо.