CLARYEL · Реальное использование

Используем каждый день

Здесь — реальные дела нашей компании, которые выполняет агент CLARYEL: бухгалтерия, настройка машин, инфраструктура. Реальные данные и реальные ответы системы.

CLARYEL каждый день работает на собственной системе.

Данные остаются локально, внутри CLARYEL Box.

Как это работает

  1. Ставим задачу простыми словами: голосом или сообщением
  2. Агент CLARYEL сам разбирается и делает всю работу
  3. Получаем результат и отчёт, часто больше, чем просили

От нас — только задача и одобрение важных действий.

Бизнес

Повседневные задачи компании, которые мы решаем через систему голосом.

Бухгалтерия

Проверка счетов: FAKE и дубликаты

Спросили, сколько потратили на IT за год. Система сама нашла счета FAKE и дубликаты, после нашего одобрения убрала их и исправила свою цифру.

  1. Вопрос
  2. Исправление
  3. Исправленный результат
Что на скрине

Вопрос: сколько мы потратили на IT за последний год. Агент CLARYEL отвечает: около €54.691, и сам отмечает, что среди документов есть счета FAKE и дубликаты.

Что на скрине

Просим удалить данные FAKE и дубликаты. Агент находит 64 счёта FAKE, перед принудительным удалением спрашивает наше одобрение, затем чистит базу и проверяет результат.

Что на скрине

Итог после проверки: 188 действительных счетов на €38.627,70. Агент сам исправляет свой прежний ответ: расходы на IT за последний год — €36.993,58.

Скриншоты — на языке оригинала; под каждым есть пересказ.

До → после (по скриншотам 1–3)

  • Удалено 64 FAKE-счёта
  • 188 корректных счетов · €38.627,70
  • IT за последний год: ≈€54.691 → €36.993,58

Всё настоящее: реальная система, реальные документы, реальные суммы. Прямо из нашей ежедневной работы: документы собраны из аккаунта Amazon, нескольких почтовых ящиков, Google Drive и физического архива нашей системы.

Бухгалтерия

Бухгалтерия под ключ: от нового компьютера до налоговой

Процесс целиком: с нуля настроить компьютер, установить Ubuntu, нужные программы, Odoo и NextERP, забрать счета из Amazon Business и отправить их в Agenzia delle Entrate. Задачи ставятся голосом с телефона, проверяется только итог.

Что на скрине

Иллюстрация к посту, а не снимок экрана: семь шагов (новый компьютер, Ubuntu 24.04, Docker/Python/Git и другие программы, Odoo, NextERP, счета Amazon Business, отправка в Agenzia delle Entrate) и внизу голосовая задача с телефона.

Иллюстрация к посту, а не снимок экрана.

ERP

ERP, интерфейс которой мы ещё не открывали

Один бизнес-процесс уже работает целиком через агента: счета и транспортные документы из почты, Google Drive и Amazon Business → ERP и бухгалтерия → налоговая система → сводные отчёты → сверка с банковскими выписками.

Что на скрине

Иллюстрация к посту, а не снимок экрана: слева — человек среди гор окон и настроек, справа — голосовая задача агенту, который сам работает с программами и выдаёт готовый результат.

Иллюстрация к посту, а не снимок экрана.

Настройка и инфраструктура

Как агент CLARYEL сам настраивает и обслуживает наши машины: железо, охлаждение, модели ИИ, скорость.

Охлаждение

Управление вентилятором GPU

Попросили обычными словами: пусть вентилятор GPU крутится по температуре видеокарты, а настройки переживают перезагрузку. Агент CLARYEL сам нашёл, чем управлять, дал вентилятору минуту на максимуме, настроил кривую и подтвердил всё реальной перезагрузкой — примерно за 30 минут.

  1. Просьбаобычный текст, без команд
  2. РазведкаZ10PA-U8 · Tesla P100 · NCT7904D
  3. Минута на максимуме1468 → 5294–5421 RPM за 5 с · GPU 37 → 31 °C
  4. Кривая≤35 °C 35% → ≥85 °C 100%
  5. Перезагрузка1319 RPM, 35 °C — всё поднялось само
0%25%50%75%100%3545607585~78%35%47%67%86%100%°C
Кривая: температура GPU → обороты вентилятора~78% — аварийный режим, если датчик температуры не отвечаетПлавно: не больше ±15% за 5 с

Сверх задачи

  • Сохранил процедуру как навык для следующих машин.
  • Честно объяснил, на чём основан вывод, что fan5 — это вентилятор GPU.
  • Заодно, в той же сессии, переименовал машину в P1005 — по нашей более ранней просьбе.
  • От нас: одна команда для выдачи прав администратора, ответ «Ready» и одно подтверждение по ходу работы.
  • ≈ 30 минут (06:26–06:57 по скриншотам)
Что на скрине

Наша просьба (06:26) обычным текстом. Агент сразу начинает разведку без прав администратора: плата Z10PA-U8, GPU Tesla P100; интерфейса управления вентилятором пока нет; температура GPU читается — 39 °C.

Что на скрине

Агент просит один раз выполнить команду, которая даёт ему права администратора на P1005 (её можно отозвать в любой момент), и расписывает план: найти чип, управляющий вентилятором, написать небольшую службу по температуре GPU, минута на максимуме с проверкой по тахометру. Адрес машины закрыт.

Что на скрине

Конец плана: служба с автозапуском, переименование хоста в P1005; если управление окажется невозможным, агент честно об этом скажет. Наш ответ «Ready» (06:29), затем ход работы: служба управления, одно подтверждение (06:43), «всё пережило перезагрузку» (06:49) и начало отчёта.

Что на скрине

Отчёт, пункты 1–3: чип Nuvoton NCT7904D, сопоставление каналов (pwm2 → fan5, до ~5300 RPM — турбина P100), минута на максимуме (1468 → 5294–5421 RPM за 5 с, GPU 37 → 31 °C) и рабочая кривая.

Что на скрине

Отчёт, пункт 4 и итог: автозагрузка драйвера и службы, реальная перезагрузка (fan5 — 1319 RPM, GPU — 35 °C, Strata сама поднялась, порт 8080 слушает), имя хоста P1005, честная оговорка о том, как определён вентилятор GPU, и процедура, сохранённая как навык.

Скриншоты — на языке оригинала; под каждым есть пересказ.

Конфигурация

Технический вопрос голосом

Практическая задача: голосовым сообщением спросили, как устроена система. Она ответила реальными данными наших машин: железо, диски, модель ИИ и скорость. Если какой-то пункт непонятен, достаточно сразу спросить, что он значит.

Что на скрине

Ответ на голосовой вопрос о конфигурации: две машины, claryel01 и P2002 — процессор, память, GPU, диски, версии ПО, модель ИИ и измеренная скорость (~44–48 tok/s). Внизу — строка о резервной модели (Cloud fallback: xAI Grok 4.7).

В этой задаче резервная модель была внешней (Grok) и без фильтра. Для нашей локальной системы это неприемлемо, поэтому резервную модель заменили второй локальной. Сегодня облачные модели вызываются только через фильтр и, когда нужно, после явного подтверждения пользователя.

Парк машин

Три машины — один агент

Попросили коротко описать все наши машины со Strata. Агент CLARYEL сам проверил сеть, нашёл три машины и для каждой собрал память, диск, GPU, версии Strata и модели и скорость. Всеми тремя управляет один агент.

скорость генерации

  • P2002основная62 GiB DDR5 · AMD RDNA4 16 GiB46.8 tok/s
  • Mac Studioсамая быстрая256 GB LPDDR5X · M3 Ultra60.0 tok/s
  • P1005для фоновых задач31 GiB DDR4 · Tesla P100 16 GB16.2 tok/s

У всех трёх: Strata v0.1.45 · Qwen3.8-Flash-Next IQ3_S · контекст 262 144

Что на скрине

Наш запрос (07:47) и начало ответа: сеть проверена, машин три. Первая — P2002: 62 GiB DDR5, Lexar NM1090 PRO 2 TB, AMD RDNA4 с 16 GiB, Strata v0.1.45, Qwen3.8-Flash-Next IQ3_S, 46.8 tok/s. Адрес закрыт.

Что на скрине

Mac Studio: 256 GB LPDDR5X (M3 Ultra), SSD 2 TB, 60.0 tok/s — самая быстрая. P1005: 31 GiB DDR4, Tesla P100 16 GB, 16.2 tok/s — для фоновых задач. Итог: всеми тремя управляет один агент на claryel01, модель у всех одна; резерв — P2002 → Mac Studio → Grok. Адреса закрыты.

В этой задаче резервная модель была внешней (Grok) и без фильтра. Для нашей локальной системы это неприемлемо, поэтому резервную модель заменили второй локальной. Сегодня облачные модели вызываются только через фильтр и, когда нужно, после явного подтверждения пользователя.

Установка

Strata на новой машине: агент сам прошёл все подводные камни

Попросили рассказать, какие трудности возникли при запуске Strata v0.1.45 на Mac Studio (M3 Ultra, 256 GB). Агент CLARYEL сам собрал движок из исходников, нашёл и применил исправление, перенёс модель на 79 GB и обошёл ошибку движка.

Что на скрине

Наш вопрос (05:16) о трудностях со Strata на Mac Studio. Ответ, пункты 1–3: нет готовой сборки под Mac, сломанная сборка 0.1.45 и исправление из PR #2895, начало рассказа о переносе модели на 79 GB.

Что на скрине

Пункты 3–6: перенос модели (Starlink ~6,5 MB/s, сеть ~11 MB/s, rsync с P2002 за 2 ч 05 мин), ошибка регистра в имени модели, ошибка движка «каждый запрос 400» и обход --no-prefill-borrow, путаница со старым процессом на порту 8080.

Что на скрине

Пункты 6–7 и итог: «зависание» при первом старте (~10 минут на чтение 55 GB с диска), Mac ≈ P2002 на генерации (~58 против ~57 tok/s), prefill +36%, всё сохранено в навык strata-mac-deploy.

Скриншоты — на языке оригинала; под каждым есть пересказ.

Обновление

Агент обновил движок собственного «мозга»

В Telegram попросили агента CLARYEL обновить Strata на P2002 — машине, на которой работает он сам. Агент запустил обновление со страховкой, сам починил сбой на последнем шаге и честно сравнил скорость до и после.

Что на скрине

Вопрос о версиях (04:30), ответ (v0.1.43.1 на P2002, v0.1.45 на GitHub) и команда «обнови себя» (04:31). Агент описывает план: обновление отдельно от себя и сторож с автоматическим откатом на 0.1.43.1.

Что на скрине

Строка о переключении на запасную модель (grok-4.7) в 04:46; отчёт: код на v0.1.45, движок собран (34 MB, 0 ошибок), замена файла не прошла («Text file busy»), агент чинит сам. Ниже — запись об обновлении навыка и наш вопрос о текущей версии (04:50).

Что на скрине

Ответ: на P2002 работает Strata v0.1.45, старый 0.1.43.1 сохранён как резерв, модель Qwen3.8-Flash-Next IQ3_S, контекст 262 144; замеры скорости до и после обновления.

Что на скрине

Вывод агента: prefill заметно улучшился (до +80% на одном замере), генерация ниже на ~10–20% на двух свежих замерах; агент предлагает ещё 3–4 прогона и откат, если замедление подтвердится.

Скриншоты — на языке оригинала; под каждым есть пересказ.

В этой задаче резервная модель была внешней (Grok) и без фильтра. Для нашей локальной системы это неприемлемо, поэтому резервную модель заменили второй локальной. Сегодня облачные модели вызываются только через фильтр и, когда нужно, после явного подтверждения пользователя.

Мониторинг

Утренняя проверка дома и компьютеров

Утром агент CLARYEL сам проверяет датчики умного дома Home Assistant, резервные копии, состояние дисков и температуру подключённых компьютеров — и сообщает только то, что требует внимания.

Что на скрине

Иллюстрация к посту, а не снимок экрана: итог утренней проверки — комната с компьютерами 28,8 °C, батарейки датчиков 20% (офис) и 30% (терраса), датчик двери «Leo» в состоянии ON, которое стоит проверить.

Что на скрине

Иллюстрация к посту, а не снимок экрана: схема Strata v0.1.43 → Qwen3.8-Flash-Next (IQ3_S) → агент → датчики Home Assistant, резервные копии, диски, температура компьютеров; внизу — вспомогательные инструменты (Telegram, ChatGPT, ChatGPT Go + Codex, Grok 4.7).

Иллюстрация к посту, а не снимок экрана.

В этой задаче резервная модель была внешней (Grok) и без фильтра. Для нашей локальной системы это неприемлемо, поэтому резервную модель заменили второй локальной. Сегодня облачные модели вызываются только через фильтр и, когда нужно, после явного подтверждения пользователя.

Железо и скорость моделей

Как одна и та же модель работает на разном железе — от старой Tesla P100 до новой Radeon. Цифры — только с экранов.

Скорость модели

31 tok/s, а RAM почти свободна: модель читается с SSD

Strata v0.1.41, Qwen3.8-Flash-Next IQ3_XXS, Radeon 16 GB и 31 GB RAM. Ответ на 12 136 токенов — со скоростью 31 tok/s, а оперативной памяти занято всего 3,2 GB.

Что на скрине

Монитор Strata: генерация 31,0 tok/s, prefill 43 tok/s, VRAM 15,7/16 GB, GPU 45 °C, контекст заполнен на 19% (12k из 64k), один запрос: 12 136 токенов за 396,3 с; оперативная память 3,2/31 GB.

Что на скрине

Модель и движок: qwen3.8-flash-next-iq3_xxs, v0.1.41, контекст 65 536 токенов, KV-кэш 8 бит в VRAM, 5 681 эксперт в VRAM (9,2 GB). Компьютер: AMD Radeon 16 GB, Intel Core Ultra 7 270K Plus (24 потока), 31 GB RAM.

Что на скрине

Выбранные настройки Strata: Qwen3.8-Flash-Next, IQ3_XXS, контекст 64K, KV-кэш 8 бит, изображения выключены, режим low-RAM (31 GB RAM, эксперты частично читаются с SSD), AMD Radeon RX 9070 (~16 GB VRAM); файл модели ~47 GB.

Скриншоты — на языке оригинала; под каждым есть пересказ.

Скорость модели

Контекст 256K: 26 запросов на одной видеокарте 16 GB

Запустили Strata v0.1.41 с Qwen3.8-Flash-Next IQ3_S на контексте 262 144 токена. Ответы до 14 829 токенов, оперативной памяти занято 3,3 из 31 GB — модель работает почти только в видеопамяти.

Что на скрине

Кадр из видео: модель пишет длинный технический ответ о том, как устроены модели Mixture-of-Experts (маршрутизация экспертов, KV-кэш, иерархия памяти). Видео целиком — в исходном посте.

Что на скрине

Монитор Strata: генерация последнего запроса 14,8 tok/s, prefill 112 tok/s, VRAM 15,8/16 GB, контекст 62% (162k/256k), RAM 3,3/31 GB; в таблице запросов — генерация от 13,0 до 19,6 tok/s и ответы до 14 829 токенов, итог: 26 запросов.

Что на скрине

Модель и движок: qwen3.8-flash-next-iq3_s, v0.1.41, контекст 262 144 токена, KV-кэш 8 бит в VRAM, 3 114 экспертов в VRAM (6,0 GB). Компьютер: AMD Radeon 16 GB, Intel Core Ultra 7 270K Plus (24 потока), 31 GB RAM.

Скриншоты — на языке оригинала; под каждым есть пересказ.

Видео — в исходном посте; здесь кадр из него.

Скорость модели

Больше RAM: 45 tok/s на контексте 164 000 токенов

Та же машина с увеличенной оперативной памятью (в системе 62 GB). Strata v0.1.43 с Qwen3.8-Flash-Next IQ3_S: генерация 45,2 tok/s при контексте, заполненном на 63%.

Что на скрине

Монитор Strata: генерация 45,2 tok/s, prefill 94 tok/s, VRAM 15,9/16 GB, GPU 44 °C, контекст 63% (164k/256k), RAM 53,5/62 GB; два запроса примерно по 162 000 токенов, prefill 1 176 tok/s, генерация 48,3 и 45,2 tok/s.

Что на скрине

Модель и движок: qwen3.8-flash-next-iq3_s, v0.1.43, контекст 262 144 токена, KV-кэш 8 бит в VRAM, 3 114 экспертов в VRAM (6,0 GB). Компьютер: AMD Radeon 16 GB, Intel Core Ultra 7 270K Plus (24 потока), 62 GB RAM.

Скриншоты — на языке оригинала; под каждым есть пересказ.

Скорость модели

Старый Xeon и Tesla P100: 19–27 tok/s

Самая скромная конфигурация: Intel Xeon E5-2690 v4, 31 GB RAM и видеокарта Tesla P100 16 GB. Strata v0.1.45 с Qwen3.8-Flash-Next IQ3_S выдаёт 19–27 tok/s, а оперативной памяти занято всего 2,2 GB.

Что на скрине

Монитор Strata и htop: генерация 26,9 tok/s, загрузка Tesla P100 100%, VRAM 15,7/16 GB, 97 Вт, PCIe Gen3 x16, CPU 45%, чтение с диска 164 MB/s, RAM 2,2/31 GB; запросы: 19,3 tok/s (253 токена) и 25,3 tok/s (12 686 токенов за 504,1 с).

Что на скрине

Модель и движок: qwen3.8-flash-next-iq3_s, v0.1.45, контекст 262 144 токена, KV-кэш 8 бит в VRAM, 3 051 эксперт в VRAM (5,8 GB). Компьютер: Tesla P100 16 GB, Intel Xeon E5-2690 v4 (28 потоков), 31 GB RAM.

Скриншоты — на языке оригинала; под каждым есть пересказ.

Бухгалтерия

Проверка счетов: FAKE и дубликаты

Реальный сценарий из нашей ERP, в три шага.

  1. Вопрос

    Спрашиваем, сколько мы потратили на IT за последний год. Система отвечает (≈ €54.691) и сама указывает на счета FAKE и дубликаты.

  2. Исправление

    Просим удалить данные FAKE и дубликаты. Перед принудительным удалением система запрашивает наше одобрение, затем очищает и проверяет.

  3. Исправленный результат

    188 действительных счетов на €38.627,70. Исправленная сумма: €36.993,58: система сама исправляет свой предыдущий ответ и подтверждает итоговое состояние.

До → после (по скриншотам 1–3)

  • Удалено 64 FAKE-счёта
  • 188 корректных счетов · €38.627,70
  • IT за последний год: ≈€54.691 → €36.993,58

Реальный сценарий из нашей ERP: на вопрос о расходах на IT система сама находит счета FAKE и дубликаты, удаляет их после нашего одобрения, проверяет результат и исправляет свою предыдущую сумму.

Удалять документы безопасно: данные резервируются, есть история изменений с возможностью отката и постоянная сверка, например с банковскими выписками.

Охлаждение

Управление вентилятором GPU

Задача на скрине 1: вентилятор GPU подключён к материнской плате; он должен следовать температуре GPU, минуту поработать на максимуме, чтобы убедиться, что управление работает, затем получить оптимальные уровни, и после перезагрузки всё должно работать автоматически.

  1. Просьба

    Обычный текст в Telegram, без технических команд.

  2. Разведка

    Сначала без прав администратора агент выяснил: плата Z10PA-U8, GPU Tesla P100, температура GPU читается (39 °C), но управлять вентилятором пока нечем. Он попросил права администратора одной командой и расписал план. Получив доступ, нашёл чип Nuvoton NCT7904D (9 входов тахометров, 4 канала PWM) и, прогоняя каждый канал от 0 до 255, сопоставил: pwm2 → fan5, до ~5300 RPM — это турбина P100. Остальные три канала оставил на автоматике BIOS.

  3. Минута на максимуме

    pwm2 = 255 на 60 секунд: fan5 за 5 секунд вырос с 1468 до 5294–5421 RPM, GPU остыл с 37 до 31 °C. Затем управление вернулось к кривой (255 → 195 → 90); работу подтвердили показания тахометра.

  4. Кривая

    ≤35 °C → 35%, 45 °C → 47%, 60 °C → 67%, 75 °C → 86%, ≥85 °C → 100% (P100 начинает снижать частоты при 91 °C, запас оставлен). Обороты меняются плавно, не больше чем на ±15% за 5 секунд; если nvidia-smi перестанет отвечать, вентилятор уходит в аварийный режим ~78%.

  5. Перезагрузка

    Драйвер загружается автоматически, управление работает как служба с автозапуском. Агент реально перезагрузил машину и проверил всё с нуля: модуль загружен, служба активна, fan5 — 1319 RPM, GPU — 35 °C.

Сверх задачи

  • Сохранил процедуру как навык для следующих машин.
  • Честно объяснил, на чём основан вывод, что fan5 — это вентилятор GPU.
  • Заодно, в той же сессии, переименовал машину в P1005 — по нашей более ранней просьбе.
  • От нас: одна команда для выдачи прав администратора, ответ «Ready» и одно подтверждение по ходу работы.
  • ≈ 30 минут (06:26–06:57 по скриншотам)

Конфигурация

Технический вопрос голосом

Практическая задача: голосовым сообщением спросили, как устроена система. Она ответила реальными данными наших машин: железо, диски, модель ИИ и скорость. Если какой-то пункт непонятен, достаточно сразу спросить, что он значит.

Что видно в ответе: две машины, claryel01 и P2002; процессор, память, GPU и диски; версии ПО; модель ИИ; измеренная скорость.

В этой задаче резервная модель была внешней (Grok) и без фильтра. Для нашей локальной системы это неприемлемо, поэтому резервную модель заменили второй локальной. Сегодня облачные модели вызываются только через фильтр и, когда нужно, после явного подтверждения пользователя.

Непонятен технический термин? Сразу спросите систему прямо в диалоге: она объяснит простыми словами.

Парк машин

Три машины — один агент

Запрос на скрине 1 (07:47): для каждой машины со Strata — объём и тип памяти, NVMe, GPU и видеопамять, версия Strata, модель, версия агента и скорость модели на этой машине; ответить коротко и по-английски.

Агент сам просканировал сеть и подтвердил, что машин три (остальные адреса — принтер и Wi-Fi-порт Mac). Все три работают на Strata v0.1.45 с одной и той же моделью Qwen3.8-Flash-Next IQ3_S (контекст 262 144), поэтому ответы одинаковые, какая бы машина ни отвечала.

скорость генерации

  • P2002основная62 GiB DDR5 · AMD RDNA4 16 GiB46.8 tok/s
  • Mac Studioсамая быстрая256 GB LPDDR5X · M3 Ultra60.0 tok/s
  • P1005для фоновых задач31 GiB DDR4 · Tesla P100 16 GB16.2 tok/s

У всех трёх: Strata v0.1.45 · Qwen3.8-Flash-Next IQ3_S · контекст 262 144

Скорость генерации: P2002 — 46.8 tok/s, Mac Studio — 60.0 tok/s (самая быстрая), P1005 — 16.2 tok/s: модель 78 ГБ при 31 ГБ памяти, поэтому эта машина — для фоновых задач. Всеми тремя управляет один экземпляр агента на claryel01; резерв идёт по цепочке P2002 → Mac Studio → Grok.

В этой задаче резервная модель была внешней (Grok) и без фильтра. Для нашей локальной системы это неприемлемо, поэтому резервную модель заменили второй локальной. Сегодня облачные модели вызываются только через фильтр и, когда нужно, после явного подтверждения пользователя.

Бухгалтерия

Бухгалтерия под ключ: от нового компьютера до налоговой

Этот процесс Виктор уже прошёл с облачными агентами, почти не касаясь интерфейсов программ: задачи голосом, проверка результата. Теперь мы переносим такие реальные процессы на локальный ИИ CLARYEL.

Шаги: новый компьютер с нуля → Ubuntu и настройка → нужные программы → бухгалтерская система Odoo → ERP NextERP → импорт счетов из Amazon Business → отправка в Agenzia delle Entrate.

Первое наблюдение: локально такие задачи пока идут дольше, чем в облаке. Сначала смотрим, что работает «из коробки», и только потом оптимизируем.

Иллюстрация к посту, а не снимок экрана.

ERP

ERP, интерфейс которой мы ещё не открывали

Мы не изучаем кнопки и меню: просим агента установить программу и выполнить нужные функции — через API, MCP или управляя собственным компьютером агента. Нам нужен результат, а не интерфейс.

Процесс по шагам: собрать счета и транспортные документы из почты, Google Drive и аккаунта Amazon Business; внести их в ERP и бухгалтерию; передать данные в налоговую систему; собрать сводные отчёты; сверить всё с банковскими выписками, которые тоже лежат на Google Drive.

С настройками так же: вместо того чтобы разбираться в каждой, говорим агенту «нужно, чтобы работало так: сделай, проверь и скажи результат». Мы ставим задачу и проверяем итог. Пока не со всеми программами это получается полностью.

Иллюстрация к посту, а не снимок экрана.

Установка

Strata на новой машине: агент сам прошёл все подводные камни

Готовой сборки под Mac нет: движок Metal компилируется из исходников (~5–15 мин). Сборка 0.1.45 под Mac оказалась сломана; агент нашёл открытый PR #2895, применил его к релизу, и пересборка прошла.

Модель на 79 GB: через HuggingFace по Starlink вышло бы ~6,5 MB/s (~3,4 ч), поэтому агент перенёс её по rsync с P2002 через проброс SSH-агента за 2 ч 05 мин. Потом каждый запрос к движку возвращал 400; агент нашёл в исходниках обход --no-prefill-borrow.

Итог: Mac ≈ P2002 на генерации (~58 против ~57 tok/s) и заметно быстрее на prefill (+36%). Все подводные камни агент сохранил в навык strata-mac-deploy, так что повтор — почти копирование.

Обновление

Агент обновил движок собственного «мозга»

Вопрос (04:30): какая версия Strata у «мозга» и какая последняя на GitHub. Ответ: на P2002 v0.1.43.1, последняя — v0.1.45 (вышла 17 октября 2026). Агент предупредил, что обновление перезапустит движок, на котором работает он сам: пара минут простоя, откат как страховка.

По команде «обнови себя» (04:31) агент запустил обновление отдельно от себя: git pull → сборка движка HIP 0.1.45 → перезапуск службы, а сторож 5 минут следит за движком и откатывает на 0.1.43.1, если тот не поднимется. Сборка прошла чисто (34 MB, 0 ошибок), но заменить работающий файл не удалось («Text file busy»), и движок остановился. Агент сохранил старый файл как резерв, установил новый вручную и перезапустил службу.

Проверка (04:50): работает v0.1.45, модель Qwen3.8-Flash-Next IQ3_S, контекст 262 144. Скорость тем же скриптом: короткий ответ 31,0 (было 33,5–33,7), генерация 1024 токенов 47,7 / 44,4 (было 53,0–60,1), prefill 1,5K 874 / 531 (было 488–490). Вывод агента: prefill заметно лучше, генерация на двух замерах ниже на ~10–20%; по двум прогонам он не называет это регрессом и предлагает ещё 3–4 замера и откат на 0.1.43.1, если замедление подтвердится.

В этой задаче резервная модель была внешней (Grok) и без фильтра. Для нашей локальной системы это неприемлемо, поэтому резервную модель заменили второй локальной. Сегодня облачные модели вызываются только через фильтр и, когда нужно, после явного подтверждения пользователя.

Мониторинг

Утренняя проверка дома и компьютеров

Связка на картинке: Strata v0.1.43 + Qwen3.8-Flash-Next (IQ3_S) + агент. Агент читает датчики Home Assistant (температура, влажность, движение, свет, энергия) и проверяет резервные копии, диски и температуру компьютеров. Общаемся с ним через Telegram.

Что нашла проверка: в комнате с компьютерами 28,8 °C — заметно теплее, чем в других помещениях, стоит проверить вентиляцию и охлаждение; батарейки датчиков в офисе (20%) и на террасе (30%) пора заменить; датчик двери «Leo» показывает ON, но показание может быть устаревшим — его нужно проверить на месте.

Интерфейс Home Assistant Виктор при этом даже не открывал. Вспомогательные инструменты в тот день: ChatGPT нарисовал картинку для поста, ChatGPT Go + Codex помогали с настройкой, а агент время от времени обращался к Grok 4.7 как к дополнительной модели для сложных рассуждений.

В этой задаче резервная модель была внешней (Grok) и без фильтра. Для нашей локальной системы это неприемлемо, поэтому резервную модель заменили второй локальной. Сегодня облачные модели вызываются только через фильтр и, когда нужно, после явного подтверждения пользователя.

Иллюстрация к посту, а не снимок экрана.

Скорость модели

31 tok/s, а RAM почти свободна: модель читается с SSD

Настройки: модель Qwen3.8-Flash-Next IQ3_XXS (~47 GB), контекст 64K (65 536 токенов), KV-кэш 8 бит, режим low-RAM: часть «экспертов» модели читается с SSD. Видеокарта AMD Radeon RX 9070, ~16 GB.

Результат на мониторе Strata: 12 136 токенов за 396,3 с, генерация 31,0 tok/s, VRAM 15,7 из 16 GB, оперативная память 3,2 из 31 GB, GPU 45 °C. В видеопамяти 5 681 «эксперт» (9,2 GB), остальное дочитывается с диска.

Вывод: большая модель работает без огромного объёма RAM, потому что движок держит в видеопамяти самое нужное и дочитывает остальное с быстрого SSD. Это путь к заметно более доступным компьютерам для локального ИИ.

Скорость модели

Контекст 256K: 26 запросов на одной видеокарте 16 GB

Цель была простая: понять, как потом автоматизировать такие прогоны на разном железе и как оформлять результаты для сравнения. Машина: Intel Core Ultra 7 270K Plus, 31 GB RAM, AMD Radeon 16 GB.

Итог с утра воскресенья (09:44): 26 запросов, 169 326 токенов запроса прочитано со скоростью 108 tok/s (ещё 1 923 247 взято из кэша беседы), 166 539 токенов написано со средней скоростью 20,5 tok/s. Контекст заполнен на 62% (162k из 256k).

Не всё прошло гладко: в списке один запрос «Closed» и один «Stopped». Видео в исходном посте показывает, как модель пишет длинный технический ответ; там же Виктор разбирает, что пошло не так.

Скорость модели

Больше RAM: 45 tok/s на контексте 164 000 токенов

Компьютер: Intel Core Ultra 7 270K Plus (24 потока), AMD Radeon 16 GB, 62 GB RAM, контекст 262 144 токена. Теперь движок использует и оперативную память: занято 53,5 из 62 GB.

Два запроса примерно по 162 000 токенов: первый прочитан со скоростью 1 176 tok/s, генерация 48,3 tok/s; второй почти целиком взят из кэша беседы (162 199 токенов), генерация 45,2 tok/s.

Компромисс понятен: с большим объёмом RAM генерация заметно быстрее, но памяти для других задач остаётся меньше. С 31 GB движок почти не трогал RAM, и компьютер оставался свободен для другой работы.

Скорость модели

Старый Xeon и Tesla P100: 19–27 tok/s

Модель не помещается в оперативную память и работает из видеопамяти (15,7 из 16 GB) и с NVMe-диска через PCIe 3.0. Процессор загружен примерно на 45%, оперативная память почти свободна — компьютер можно использовать и для другой работы.

На мониторе: генерация сейчас 26,9 tok/s; в истории запросов — 19,3 tok/s на коротком ответе (253 токена) и 25,3 tok/s на длинном (12 686 токенов за 504,1 с). Видеокарта 36 °C, 97 Вт из 250.

Для нас это главный ориентир по цене: даже старое и недорогое железо при правильной настройке движка уже годится для реальной работы.

Чем опасно облако

Все документы компании в чужом облаке? Это риск, а не удобство

Когда договоры, сметы, письма и ноу‑хау попадают в облачный ИИ или SaaS, компания зависит от чужих правил: провайдер обрабатывает данные на своих серверах, может менять условия использования данных, цены и лимиты, а его инфраструктура и подрядчики могут упасть или быть взломаны. На американских провайдеров распространяется CLOUD Act, а правовая основа передачи данных ЕС–США снова под вопросом. С CLARYEL документы и ИИ остаются на оборудовании клиента: зашифрованный диск, резервные копии, зашифрованный удалённый доступ и база, которую можно отключить в любой момент. На базовых конфигурациях это медленнее облака, зато без лимитов токенов и без сюрпризов в счёте.1,3–5,7,9–15

Для итальянской компании это ещё и вопрос коммерческой тайны: ст. 98 Кодекса промышленной собственности защищает информацию, только если она охраняется «разумно достаточными мерами». За разглашение коммерческой тайны грозит до 2 лет лишения свободы (ст. 623 УК Италии), с отягчением при использовании ИТ‑средств.17,18

Быстрые внешние модели — только через фильтр

При необходимости система CLARYEL может обращаться к быстрым передовым внешним моделям. Перед отправкой она удаляет из запроса персональные данные и коммерческую тайну, сохраняя смысл запроса. Когда нужно, она показывает вам отфильтрованный запрос и отправляет его в облако только после вашего явного подтверждения.

Фильтр помогает снизить риски; он не обещает 100% анонимизации.

Честно: канал команд (Telegram) — внешний сервис, поэтому сообщения и голосовые проходят через серверы Telegram. Документы, база знаний и обработка ИИ остаются локально.

Источники

  1. BSI / Allianz für Cybersicherheit — Local AI and further alternatives (2026)
  2. CNIL — Comment déployer une IA générative ? (2024)
  3. Anthropic — Updates to Consumer Terms and Privacy Policy
  4. OpenAI — Mixpanel security incident (2025)
  5. Google Threat Intelligence — Salesloft Drift data theft (2025)
  6. Malwarebytes — AI chat app leak (2026)
  7. 18 U.S.C. § 2713 (CLOUD Act) — govinfo.gov
  8. Sénat (France) — commission d’enquête, 9 June 2025
  9. CJEU C-311/18 (Schrems II) — EUR-Lex
  10. IAPP — EDPB requests review of the EU-US Data Privacy Framework (2026)
  11. CJEU C-703/25 P (Latombe) — EUR-Lex
  12. Microsoft Licensing — Microsoft 365 pricing and packaging updates (2026)
  13. TechCrunch — new weekly rate limits (2025)
  14. AWS — US-EAST-1 service disruption summary (Oct 2025)
  15. Cloudflare — outage on 18 November 2025
  16. The Register — unauthorized API usage bills (2026)
  17. D.Lgs. 30/2005 (Codice della proprietà industriale), artt. 98–99 — Normattiva
  18. Codice penale, art. 623 — Normattiva

Общая информация, не юридическая консультация. Локальная система помогает снизить риски; ответственность за соблюдение требований остаётся за компанией.

Чем опасно облако

Дать облачному агенту ключи от инфраструктуры — значит открыть дверь к самым ценным данным

Каждый API‑ключ, OAuth‑токен или туннель, выданный облачному агенту, — ещё одна дверь для атакующего. Украденные учётные данные — самый частый путь внутрь; одна скомпрометированная интеграция привела к краже данных у многих компаний; prompt injection позволяет вывести данные без клика; заражённые пакеты уже используют ИИ‑агентов для поиска секретов. Облачный агент с доступом к вашим машинам и ключам — точка утечки и путь в локальную систему, где хранятся все или самые чувствительные данные. Локальная архитектура CLARYEL сокращает внешние точки доступа и просит человека подтверждать рискованные действия — в соответствии с OWASP и требованиями NIS2 к цепочке поставок.1–7

Источники

  1. Verizon — 2025 Data Breach Investigations Report
  2. OWASP — Top 10 for LLM Applications 2025 (LLM01, LLM06)
  3. NIST NVD — CVE-2025-32711
  4. GitHub Security Advisory — malicious Nx versions (GHSA-cxm3-wv7p-598c)
  5. CISA — supply chain compromise in the npm ecosystem (2025)
  6. Hunt.io — CVE-2026-25253 in internet-facing AI agent gateways (2026)
  7. Directive (EU) 2022/2555 (NIS2), art. 21 — EUR-Lex
  8. BSI / Allianz für Cybersicherheit — Local AI and further alternatives (2026)
  9. EDPB — AI Privacy Risks & Mitigations: Large Language Models (2025)

Общая информация, не юридическая консультация. Локальная система помогает снизить риски; ответственность за соблюдение требований остаётся за компанией.

Чем опасно облако

Настройка железа и моделей остаётся внутри: никакого облачного агента рядом с вашими машинами

Замеры на этой странице сделал агент CLARYEL на наших собственных машинах, не давая облачному сервису доступа к ним. Украденные учётные данные и открытые панели агентов показывают почему: у кого ключи, у того и система. Локальная скорость зависит от железа и на небольших конфигурациях ниже, чем в облаке; взамен объём работы не ограничен тарифами, квотами или счётом за токены.1,2

Источники

  1. Verizon — 2025 Data Breach Investigations Report
  2. Hunt.io — CVE-2026-25253 in internet-facing AI agent gateways (2026)
  3. TechCrunch — new weekly rate limits (2025)
  4. The Register — unauthorized API usage bills (2026)
  5. Stanford HAI — AI Index 2025, Technical Performance

Общая информация, не юридическая консультация. Локальная система помогает снизить риски; ответственность за соблюдение требований остаётся за компанией.