Agents IA locaux ajustant le matériel sur lequel ils fonctionnent

Un système d'IA local n'a pas besoin d'être réglé à la main. Dans nos expériences, l'agent exécuté sur le matériel local analyse ce même matériel, exécute ses propres mesures et ne conserve que les paramètres qui aident réellement. Voici quatre résultats de la semaine dernière, du plus récent au plus ancien.

Limitation des horloges d'amplification du PROCESSEUR: même vitesse, moins de chaleur

Une astuce sous-estimée pour exécuter l'IA locale consiste à limiter les horloges d'amplification du processeur et/ou du processeur graphique. Par la voix, nous avons demandé à l'agent IA local d'optimiser l'ordinateur portable qui fait fonctionner notre cerveau IA principal. Il a réduit la fréquence du processeur de 5,5 GHz à 4,5 GHz.

• La vitesse d'inférence du LLM sur Strata est restée exactement la même, sans aucune perte.
• La température du processeur a chuté d'environ 10%.
• La consommation d'énergie du processeur a considérablement diminué.
• Les températures du GPU ont également chuté, sans limiter les horloges du GPU.

Le CPU et le GPU partagent un budget thermique, donc la réduction de l'augmentation inutile du CPU aide également le GPU. Personne n'a passé des heures à régler: on a simplement dit à l'agent de trouver les limites optimales, et il a mené les expériences lui-même pendant que le travail se poursuivait sur d'autres choses.

Autodiagnostics: faites confiance à l'IA, mais vérifiez

Configuration: Strata + Qwen3.8-Next-IQ3_S. L'IA locale a déclaré une limite de puissance GPU irréparable. Nous avons remis en question le résultat, l'avons recoupé en externe (même la version gratuite de ChatGPT suffit pour cela), fixé la limite et gagné 30 à 35% de performances.

La règle que nous appliquons: utilisez l'IA pour l'autodiagnostic, mais recoupez les résultats critiques.

Optimisation automatique sur un ordinateur portable RTX 5090

Strata sur un ordinateur portable de jeu avec un RTX 5090 (24 Go de VRAM), modèle Qwen3.8-Flash-Next IQ3_S:

• Décoder: 83.6 tok/s
• Décodage de l'agent: 99.8 tok/s
• Préremplissage 4K: 1,443 tok/s
• Préremplissage 16K: 2,132 tok/s
• Premier jeton: 0.28 s

Après cela, l'agent a optimisé seul la même machine:

• Décodage à chaud: 63–110 → 109–118 tok/s
• Décodage de l'agent de pointe: 119.5 → 125.5 tok/s (+5%)
• La configuration optimisée a été enregistrée, les paramètres instables ont été restaurés et le serveur a été arrêté en toute sécurité.

RTX 3060 12 Go: le déblocage et les premiers gains

Sur l'un de nos ordinateurs expérimentaux (un petit boîtier ITX, 48 Go de RAM, un RTX 3060 12 Go) , nous avons activé le déverrouillage NVIDIA. Le gain mesuré: jusqu'à +78% en calcul GPU et + 11% en préremplissage d'inférence AI.

Pour la perspective, avec le prochain travail de Strata de coldnikole RTX 3060 12 Go + 48 Go de RAM est passé de 32 à 60-80 jetons soutenus par seconde. Notre Mac Studio M3 Ultra (60 cœurs GPU, 256 Go de RAM, Strata v0.2.6) a livré un décodage de 61,4 tok/s et un préremplissage de 734 tok/s sur le même modèle Qwen3.8-Flash-Next IQ3_S. Les résultats complets pour cette carte sont dans un article séparé.

Ce que cela signifie pour un client Box

• Les paramètres sont choisis par mesure et non par conjecture: l'agent compare avant et après et annule ce qui n'aide pas.
• Des températures plus basses et une consommation d'énergie à la même vitesse signifient un fonctionnement plus silencieux et moins d'usure.
• Les conclusions critiques de l'agent sont recoupées avant d'être mises en œuvre.
• Le matériel abordable continue d'être plus rapide avec les mises à jour logicielles seules.

IA locale optimisation du matériel qui exécute l'IA locale.

Discussion originale sur X · L'article sur le RTX 3060 · Toutes les actualités