Actualités
Boucle autonome Strata : RTX 3060 contre Mac Studio M3, premiers résultats
Un modèle (Qwen3.8-Flash-Next IQ3_S), les mêmes fichiers et la même version de Strata sur deux configurations très différentes. Données des 12 dernières heures.
Configuration
- PC d’expérimentation : RTX 3060 avec 12 Go de VRAM et 24 Go de RAM monocanal ; mémoire extrêmement serrée et réglages d’exécution agressifs. Fonctionne 24/7.
- Hermes (ordinateur P2005) : 24 Go de VRAM et 64 Go de RAM. Analyse les résultats, vérifie le travail, apporte des améliorations.
- Mac Studio M3 : 256 Go de mémoire unifiée ; tout le modèle tient en mémoire. Exécutions parallèles de comparaison.
- Mêmes fichiers de modèle, même version du modèle et de Strata sur tous les systèmes ; tâches identiques et répétitions correspondantes.
Ce qui est mesuré
- Utilité sur des tâches réelles avec un matériel limité.
- Dégradation avec de grandes fenêtres de contexte.
- Qualité des réponses sur différents matériels.
- Si le modèle peut améliorer son propre travail : trouver les erreurs, les corriger et les prévenir dans une boucle continue.
Vitesse, 12 dernières heures
| Indicateur | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Entrées de journal | 3392 | 4012 |
| Répétitions uniques de tâches | 2387 | 2497 |
| Sortie moyenne par tâche, tokens | 235 | 228 |
| Durée moyenne d’une tâche, s | 8.4 | 4.3 |
| Vitesse de génération agrégée, tok/s | 28 | 53.4 |
| Vitesse de génération médiane, tok/s | 19 | 45 |
| ID de tâche | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
La vitesse de génération agrégée est environ 1,9 fois plus élevée sur le Mac Studio. Le modèle brut sur le PC d’expérimentation atteint environ 60 tok/s. Hermes génère plus vite mais a une charge différente : une comparaison directe serait trompeuse.
Qualité des réponses : v1.8 et v1.9
| Indicateur | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Score moyen | 0.882 | 0.876 | 0.938 | 0.944 |
| Réponses parfaites, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Conformité au format, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Écart Mac − RTX | −0.006 | +0.006 | ||
La qualité est quasi équivalente ; le Mac gagne en vitesse. De v1.8 à v1.9, le score moyen a progressé de 6,3 % sur la RTX 3060 et de 7,8 % sur le Mac Studio ; la part de réponses parfaites a aussi augmenté. Les écarts par catégorie sont encore en cours d’analyse.
Comportement de l’agent
Sans consigne dans les prompts, l’agent a commencé à estimer le coût en tokens de ses améliorations et, dans certaines versions, à optimiser ses processus pour réduire la consommation inutile de tokens.
Suite
Données collectées : 13 000 exécutions, 16 000 fichiers, 1 000 fichiers de journal. Une démo d’un système analytique est en cours de construction pour une analyse plus approfondie des résultats de cette expérience.