Erste Schichtläufe und ein Labor für wiederholbare lokale KI-Konfigurationen

Das erste Ergebnis: 31 Token pro Sekunde

• Schichten v0.1.41
• Artikelnummer: Qwen3.8-Flash-Next IQ3_XXS
• PROZESSOR: Intel Core Ultra 7 270K Plus
• Grafikprozessor: AMD Radeon RX 9070 OC, 16 GB GDDR6
• ARBEITSSPEICHER: 32 GB DDR5-6000
• SSD: Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
• Kontext: 65,536 tokens

Das Modell erzeugte 12.136 Token in etwa 6,5 Minuten: 31 Token pro Sekunde. Bei einem Modell mit etwa 47 GB war der VRAM fast voll, während die System-RAM-Auslastung nur etwa 3 GB betrug: Strata liest einen Teil des Modells direkt von der SSD. Die GPU verbrauchte etwa 130-150 Watt, blieb bei 45 °C und die Lüfter waren kaum hörbar. Dies eröffnet die Möglichkeit von deutlich günstigeren lokalen KI-Systemen, ohne riesige Mengen an RAM oder teuren Serverplattformen.

Ein systematisches Programm auf unterschiedlicher Hardware

Diese Ergebnisse starteten ein systematischeres Programm: Schichten auf 11 Computern mit sehr unterschiedlichen Konfigurationen, mit NVIDIA-, AMD- und Intel-GPUs, DDR4 und DDR5 sowie NVMe-Speicher von PCIe 3.0 bis PCIe 5.0, einschließlich eines PCIe 5.0 RAID 0-Arrays von etwa 35 GB / s. Zuerst Kompatibilität, Leistung und Stabilität; dann praktische Alltags- und Geschäftsaufgaben.

Der umgekehrte Fall wurde ebenfalls überprüft: Auf einem Mini-PC ohne diskrete GPU und 8 GB RAM konnten Schichten erstellt werden, aber das Modell wurde auch nach dem Hinzufügen von RAM aufgrund des dynamisch zugewiesenen Videospeichers nicht gestartet. Fazit: Strata wird in dieser undokumentierten Konfiguration nicht gestartet.

256K Kontext und die ersten praktischen Lektionen

Auf dem RX 9070-System mit einem 256K-Kontext betrug die Ausgabe 15-30 Token pro Sekunde. In einer Sitzung (9:44-12: 00): 18 Anfragen, ungefähr 108K Aufforderungstoken (114 Token / s), ungefähr 856K wiederverwendet, ungefähr 100K geschrieben (22,6 Token / s). Von ungefähr 25 Anfragen gingen einige kaputt: eine Aufforderung mit fünf Fragen gleichzeitig (es funktionierte beim Teilen) und eine Anfrage nach einer 60-70 Tausend Token-Antwort. Andere Ausgaben erreichten 14-22 Tausend Token, und lange Generationen hielten an Qualität fest.

Strata hat die GPU ohne angeschlossenen Monitor auf dieser ASUS Pro Q870M-C-CSM-Karte nicht erkannt. Ein HDMI-Dummy-Stecker hat es gelöst.

32 GB RAM sind genug

Mit 32 GB RAM kann Strata ausgeführt werden, ohne das Modell in den System-RAM zu laden: Der Speicher bleibt für andere Aufgaben und die CPU für parallele Arbeitslasten bei 15-20 tok / s frei. Mit 64 GB auf demselben Computer (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S) erreichte die Generation 45-48 tok / s, aber es blieb viel weniger Speicher für andere Arbeiten übrig. Später, bei zwei verschiedenen Konfigurationen, einschließlich DDR4, verwendete Strata kaum RAM bei 15-25 tok / s, während etwa die Hälfte der CPU für Hermes und unterstützende Komponenten frei blieb. Die Leistung sinkt mit zunehmender Kontextlänge, daher hängt sie von den Aufgaben ab.

Der erste autonome Workflow

Ein Lauf über Nacht auf nicht unterstützter Hardware ohne diskrete GPU ergab etwa 1 Token pro Sekunde, da ein Großteil des Modells ausgelagert wurde. Schnelligkeit war nicht das Ziel: Am Abend wurde die Aufgabe vergeben und am Morgen lag das Ergebnis vor. Hermes wechselte dann zu einer Maschine mit brauchbarer Geschwindigkeit und begann mit der täglichen Arbeit. One Morning Check verwendet bereits Home Assistant-Sensoren und überwacht Backups, Festplattenzustand und Temperaturen auf allen angeschlossenen Computern. Es wurde sofort gemeldet, dass der Serverraum mit sechs laufenden Computern zu warm wurde.

Ein Labor mit identischen Maschinen

Um einzelne Ergebnisse in ein wiederholbares Setup umzuwandeln, haben wir 10 identische Motherboards und CPUs für 10 passende Systeme gekauft: eine ASUS-Plattform mit 8 RAM-Steckplätzen, erschwinglichem DDR4 und Fernverwaltung auf BIOS-Ebene, sodass Agenten das Betriebssystem sogar remote neu installieren können.

Wir hatten bereits 20-30 Computer fast von Grund auf neu eingerichtet und per Sprache von einem Telefon aus über Cloud-Agenten verwaltet, einschließlich eines Buchhaltungs-Workflows von der ERP-Installation bis zur Eingabe von Rechnungen in das italienische Steuersystem. Ziel ist es nun, solche Workflows mit lokaler KI nachzubilden. Standardmäßig dauerten Aufgaben, die Sekunden oder eine Minute in der Cloud dauerten, lokal 5-10 Minuten. Die Optimierung kam als nächstes. Aufgaben kommen aus vielen Quellen, und die Agenten legen sie in OpenProject ab und weisen sie dem am besten geeigneten Agenten oder der am besten geeigneten Person zu.

Was das für Box-Kunden bedeutet

• Große Modelle können auf erschwinglicher Hardware mit bescheidenem RAM ausgeführt werden.
• Konfigurationen werden aus Messungen an realen Maschinen ausgewählt.
• Identische Maschinen machen Ergebnisse wiederholbar und Fernverwaltung möglich.

Ursprünglicher Thread auf X · Alle Neuigkeiten