Lokale KI-Agenten optimieren die Hardware, auf der sie ausgeführt werden

Ein lokales KI-System muss nicht von Hand abgestimmt werden. In unseren Experimenten analysiert der Agent, der auf lokaler Hardware ausgeführt wird, dieselbe Hardware, führt seine eigenen Messungen durch und behält nur die Einstellungen bei, die tatsächlich helfen. Nachfolgend finden Sie vier Ergebnisse der letzten Woche, vom neuesten zum ältesten.

Begrenzung der CPU-Boost-Taktung: gleiche Geschwindigkeit, weniger Wärme

Ein unterschätzter Trick für die Ausführung lokaler KI besteht darin, CPU- und / oder GPU-Boost-Takte zu begrenzen. Per Stimme haben wir den lokalen KI-Agenten gebeten, den Laptop zu optimieren, auf dem unser Haupt-KI-Gehirn läuft. Es reduzierte die CPU-Frequenz von 5,5 GHz auf 4,5 GHz.

• Die LLM-Inferenzgeschwindigkeit auf Strata blieb genau gleich, ohne Verlust.
• Die CPU-Temperatur sank um etwa 10%.
• Der CPU-Stromverbrauch ist deutlich gesunken.
• Die GPU-Temperaturen sanken ebenfalls, ohne die GPU-Uhren einzuschränken.

CPU und GPU teilen sich ein Wärmebudget, sodass die Reduzierung unnötiger CPU-Boosts auch der GPU hilft. Niemand verbrachte Stunden mit dem Abstimmen: Dem Agenten wurde einfach gesagt, er solle die optimalen Grenzwerte finden, und er führte die Experimente selbst durch, während die Arbeit an anderen Dingen fortgesetzt wurde.

Selbstdiagnose: KI vertrauen, aber verifizieren

Setup: Strata + Qwen3.8-Next-IQ3_S. Die lokale KI hat ein GPU-Leistungslimit für nicht fixierbar erklärt. Wir haben das Ergebnis in Frage gestellt, es extern überprüft (selbst die kostenlose Version von ChatGPT reicht dafür aus), das Limit festgelegt und 30-35% Leistung gewonnen.

Die Regel, die wir anwenden: Verwenden Sie KI für die Selbstdiagnose, aber überprüfen Sie kritische Befunde.

Automatische Optimierung auf einem RTX 5090-Laptop

Schichten auf einem Gaming-Laptop mit einem RTX 5090 (24 GB VRAM), Modell Qwen3.8-Flash-Next IQ3_S:

• Dekodieren: 83.6 tok/s
• Agenten-Dekodierung: 99.8 tok/s
• Vorfüllung 4K: 1,443 tok/s
• Vorfüllung 16K: 2,132 tok/s
• Erstes Token: 0.28 s

Danach optimierte der Agent dieselbe Maschine selbst:

• Warme Dekodierung: 63–110 → 109–118 tok/s
• Spitzenwert der Agentendekodierung: 119.5 → 125.5 tok/s (+5%)
• Die optimierte Konfiguration wurde gespeichert, instabile Einstellungen wurden zurückgesetzt und der Server wurde sicher heruntergefahren.

RTX 3060 12 GB: das Entsperren und die ersten Gewinne

Auf einem unserer experimentellen Computer (ein kleines ITX-Gehäuse, 48 GB RAM, eine RTX 3060 12 GB) haben wir die NVIDIA-Entsperrung aktiviert. Der gemessene Gewinn: bis zu +78% bei der GPU-Berechnung und +11% bei der AI-Inferenz-Vorfüllung.

Perspektivisch ging der RTX 3060 12 GB + 48 GB RAM mit der nächsten Schichtarbeit von coldniko von 32 auf 60-80 nachhaltige Token pro Sekunde. Unser Mac Studio M3 Ultra (60 GPU-Kerne, 256 GB RAM, Strata v0.2.6) lieferte 61,4 tok / s Dekodierung und 734 tok / s Vorfüllung auf demselben Qwen3.8-Flash-Next IQ3_S-Modell. Die vollständigen Ergebnisse für diese Karte finden Sie in einem separaten Artikel.

Was das für Box-Kunden bedeutet

• Einstellungen werden durch Messung ausgewählt, nicht durch Vermutungen: Der Agent vergleicht Vorher und Nachher und rollt zurück, was nicht hilft.
• Niedrigere Temperaturen und Leistungsaufnahme bei gleicher Drehzahl bedeuten leiseren Betrieb und weniger Verschleiß.
• Kritische Schlussfolgerungen des Agenten werden überprüft, bevor sie umgesetzt werden.
• Erschwingliche Hardware wird allein mit Software-Updates immer schneller.

Lokale KI Optimierung der Hardware, auf der lokale KI ausgeführt wird.

Ursprünglicher Thread auf X · Der RTX 3060 Artikel · Alle Neuigkeiten