CLARYEL CLARYEL Box
Demander une configuration

Actualités

Premières exécutions de Strata et un laboratoire pour des configurations d'IA locales reproductibles

31 tok / s avec un modèle d'environ 47 Go utilisant seulement environ 3 Go de RAM système, 45-48 tok / s après une mise à niveau de la RAM, 32 Go de RAM confirmés comme suffisants, le premier flux de travail autonome de nuit et des machines identiques pour des configurations reproductibles.

Tableau de bord des Strata affichant 31 jetons par seconde

Le premier résultat: 31 jetons par seconde

Le modèle a généré 12 136 jetons en environ 6,5 minutes: 31 jetons par seconde. Avec un modèle d'environ 47 Go, la VRAM était presque pleine alors que l'utilisation de la RAM système n'était que d'environ 3 Go: Strata lit une partie du modèle directement à partir du SSD. Le GPU a attiré environ 130-150 W, est resté à 45 °C et les ventilateurs étaient à peine audibles. Cela ouvre la possibilité de systèmes d'IA locaux nettement moins chers, sans énormes quantités de RAM ou de plates-formes de serveurs coûteuses.

Un programme systématique sur différents matériels

Ces résultats ont lancé un programme plus systématique: des Strata sur 11 ordinateurs aux configurations très différentes, avec des GPU NVIDIA, AMD et Intel, de la DDR4 et de la DDR5, et du stockage NVMe de PCIe 3.0 à PCIe 5.0, y compris une matrice RAID 0 PCIe 5.0 d'environ 35 Gb/s. D'abord compatibilité, performance et stabilité; ensuite tâches pratiques quotidiennes et professionnelles.

Le cas inverse a également été vérifié: sur un mini PC sans GPU discret et 8 Go de RAM, Strata pouvait être construit mais le modèle ne se lançait pas, même après l'ajout de RAM, à cause de la mémoire vidéo allouée dynamiquement. Conclusion: Strata ne se lance pas sur cette configuration non documentée.

256K contexte et premières leçons pratiques

Sur le système RX 9070 avec un contexte de 256K, la sortie était de 15 à 30 jetons par seconde. En une session (9h44-12h00): 18 requêtes, environ 108K jetons d'invite (114 tok / s), environ 856K réutilisés, environ 100K écrits (22,6 tok / s). Sur environ 25 demandes, quelques-unes se sont cassées: une invite avec cinq questions à la fois (cela fonctionnait lorsqu'elles étaient divisées) et une demande de 60 à 70 000 réponses symboliques. D'autres sorties ont atteint 14-22 mille jetons, et de longues générations ont résisté en qualité.

Strata n'a pas détecté le GPU sans moniteur connecté sur cette carte ASUS Pro Q870M-C-CSM; une prise factice HDMI l'a résolu.

32 Go de RAM suffisent

Avec 32 Go de RAM, Strata peut fonctionner sans charger le modèle dans la RAM système: la mémoire reste libre pour d'autres tâches et le processeur pour les charges de travail parallèles, à 15-20 tok / s. Avec 64 Go sur la même machine (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S), la génération a atteint 45-48 tok/s, mais avec beaucoup moins de mémoire restante pour d'autres travaux. Plus tard, sur deux configurations différentes, y compris la DDR4, Strata utilisait à peine de la RAM à 15-25 tok / s tandis qu'environ la moitié du PROCESSEUR restait libre pour Hermes et les composants de support. Les performances diminuent à mesure que la longueur du contexte augmente, cela dépend donc des tâches.

Le premier flux de travail autonome

Une exécution d'une nuit sur du matériel non pris en charge sans GPU discret donnait environ 1 jeton par seconde, car une grande partie du modèle se retrouvait en échange. La vitesse n'était pas l'objectif: la tâche était assignée le soir et le résultat était prêt le matin. Hermes est ensuite passé à une machine avec une vitesse utilisable et a commencé le travail quotidien. One morning check utilise déjà des capteurs Home Assistant et surveille les sauvegardes, la santé du disque et les températures sur les ordinateurs connectés; il a rapidement signalé que la salle des serveurs devenait trop chaude avec six ordinateurs en marche.

Un laboratoire de machines identiques

Dix cartes mères et processeurs de serveur ASUS identiques

Pour transformer les résultats individuels en une configuration reproductible, nous avons acheté 10 cartes mères et processeurs identiques pour 10 systèmes correspondants: une plate-forme ASUS avec 8 emplacements de RAM, une mémoire DDR4 abordable et une gestion à distance au niveau du BIOS, afin que les agents puissent même réinstaller le système d'exploitation à distance.

Nous avions déjà configuré 20 à 30 ordinateurs presque à partir de zéro et les avions gérés par la voix à partir d'un téléphone via des agents cloud, y compris un flux de travail comptable allant de l'installation de l'ERP à la saisie des factures dans le système fiscal italien. L'objectif est maintenant de reproduire de tels flux de travail avec l'IA locale. Prêtes à l'emploi, les tâches qui prennent quelques secondes ou une minute dans le cloud prenaient 5 à 10 minutes localement; l'optimisation est venue ensuite. Les tâches proviennent de nombreuses sources et les agents les classent dans OpenProject et les attribuent à l'agent ou à la personne la mieux adaptée.

Ce que cela signifie pour un client Box

Discussion originale sur X · Toutes les actualités