Rejets de Strata sur notre flotte: l'agent met à jour, mesure et optimise

Strata est un moteur d'inférence d'IA local développé par coldniko_. Depuis la mi-octobre, nous suivons ses sorties sur plusieurs de nos propres machines. Chaque ordinateur exécute le même modèle, Qwen3.8-Flash-Next IQ3_S, de sorte que les résultats sont comparables. Les machines sont nommées d'après leur niveau de matériel:

• P1005 : Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 Go HBM2, 32 Go DDR4, NVMe environ 2,5 Go/s, CUDA 12.
• P2002 : Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 Go, 64 Go DDR5, NVMe RAID 0, ROCm / HIP.
• Studio pour Mac: Apple M3 Ultra, Metal.

L'agent lui-même détecte une nouvelle version de Strata, la télécharge, exécute les mesures et, sur demande, optimise la configuration. Toutes les optimisations s'exécutent localement, en utilisant le même modèle Qwen3.8-Flash-Next IQ3_S sur la dernière version de Strata.

P1005 (Tesla P100): de la pénurie de données au calcul

Les experts du modèle totalisent 46,8 GiO, trop gros pour la RAM, et la carte de 16 Go était si pleine que le moteur a averti que le décodage tomberait à quelques jetons par seconde. Suite à la documentation du référentiel Strata, l'agent a changé quatre choses:

--vram-reserve-mib 960        (was 700)
--max-context 65536          (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1

Résultat: l'utilisation du GPU est passée de 27% à 92% (155-170 W). Le préremplissage est devenu jusqu'à 4,4× plus rapide; décoder +40% à 8K et 2,4× à 16K.

Les valeurs sont des jetons d'invite / décodage par seconde. Le coût: 24 Go de RAM sont maintenant verrouillés par page pour les experts, donc rien d'autre de gros ne devrait fonctionner sur cette machine, et le plafond de contexte est de 65K au lieu de 262K. Tout persiste à travers les redémarrages.

P2002 (Radeon RDNA4): réglage en direct, puis un court redémarrage

Tout d'abord, le réglage en direct sans redémarrer le moteur. Le gouverneur du PROCESSEUR réglé sur les performances et un cache de pages plus long pour les experts ont été conservés; les horloges GPU épinglées réduisaient le préremplissage d'environ 10% et étaient rejetées; une lecture anticipée plus importante n'avait aucun effet. Décodage à 2K et 8K amélioré de 10 à 18%.

Ensuite, avec un redémarrage d'environ 40 secondes (la chaîne de secours a effectué la session, sans interruption visible), l'agent a augmenté la réserve de VRAM de 700 à 960 Mio et a activé --kv-grow, en conservant le contexte complet de 262K. Les emplacements experts sont passés de 2518 à 3686 (+46%), le taux de succès des experts est passé de 74% à 87% et les avertissements de pagination ont disparu. Il a également ajouté un chien de garde pour que le moteur redémarre tout seul.

Suite standard: décodage du chat 74,3 tok / s (au lieu de 71,9) , premier jeton 0,39 s (au lieu de 0,46), décodage de l'agent 66,7 tok / s (au lieu de 59,2). L'agent a également noté honnêtement que les premiers chiffres juste après un redémarrage sont bas d'environ 25% car le cache expert est encore froid.

Mac Studio (M3 Ultra): les valeurs par défaut étaient déjà optimales

L'agent a redémarré le moteur six fois pour des exécutions A/B propres et a prouvé empiriquement que la configuration par défaut était déjà la meilleure. Les options KV n'avaient aucun effet sur la mémoire unifiée; un grand cache expert câblé était nuisible (le décodage s'est effondré à environ 32 tok/s) et a été rétabli. Le préremplissage d'environ 790 tok / s est la limite de bande passante du matériel, pas de la configuration. Suite finale: décodage du chat 69,1 tok/ s, premier jeton 0,48 s. Toutes les impasses ont été documentées afin que personne ne les répète.

Nouvelles versions, mesurées

• Strata 0.2.0 avec une interface utilisateur: Strata et l'IA locale peuvent désormais être installés sans ligne de commande, ce qui les rend accessibles à un public beaucoup plus large.
• v0.2.2: trois ordinateurs mis à jour à partir de la v0.2.1.
• v0.2.3 → v0.2.3.1 sur Mac Studio: décodage 61,3 → 66,4 tok / s (+8%), préremplissage 729,9 → 738,9 tok / s (+1%), pas de régression et pas de retéléchargements des fichiers modèles.
• v0.2.6 et v0.2.7: chaque version jusqu'à présent a apporté un autre gain de performances. Pour la version 0.2.7, l'agent a préparé un résumé des notes de version et n'a rien installé sans approbation.

DeepSeek V4.1-Flash fonctionnant localement

DeepSeek V4.1-Flash, un grand modèle MoE, fonctionne désormais localement sur des Strata: les experts chauds restent en RAM et le reste est diffusé à partir du SSD. Nous avons mesuré un décodage de 14 tok/s. Sur notre matériel actuel, cela ne suffit pas pour le cerveau principal de l'agent, mais cela fonctionne bien en tant que modèle de deuxième opinion et auditeur du jour au lendemain.

Ce que cela signifie pour un client Box

• Les mises à jour du moteur sont détectées, appliquées et mesurées par l'agent, avec approbation avant les modifications.
• Chaque niveau de matériel obtient sa propre configuration mesurée et les options défaillantes sont documentées.
• Le même modèle sur un matériel différent donne une base claire pour choisir une configuration.

Discussion originale sur X · Toutes les actualités