News
Wie wir Lösungen auf günstigen Computern entwickeln
Wir untersuchen, wie viel nützliche und zuverlässige Arbeit ein lokales KI-Modell auf einem preiswerten Computer leisten kann, und vergleichen es mit einer Maschine, in deren Speicher das ganze Modell passt.
Beteiligt sind drei Computer. Ein günstiger PC mit RTX-3060-Grafikkarte arbeitet unter engen Speichergrenzen. Ein zweiter Computer mit dem Agenten Hermes analysiert die Ergebnisse, überprüft die Arbeit und nimmt Verbesserungen vor. Ein Mac Studio M3 führt parallel dieselben Aufgaben als Referenz mit ausreichend Speicher aus. Alle Maschinen nutzen dieselben Modelldateien und dieselbe Strata-Version.
Uns geht es nicht um Geschwindigkeit an sich, sondern um Qualität und Zuverlässigkeit der Antworten bei realen Aufgaben. Vorläufige Ergebnisse zeigen: Begrenzte Hardware bedeutet nicht zwangsläufig eine geringere Antwortqualität.
Ein eigener Teil des Experiments betrachtet, ob der Agent eigene Fehler finden, beheben und ähnliche verhindern kann. Ohne Aufforderung begann er außerdem, die Token-Kosten seiner Verbesserungen zu berücksichtigen und unnötigen Verbrauch zu senken.
Diese Experimente führen zu realen Ergebnissen und praktischen Szenarien, zum Beispiel zur Arbeit mit Dokumenten.