Fem dagar av autonom lokal AI-utveckling: från 77 % till 99 %
Fem dagar av en experimentell självförbättrande utvecklingsmiljö kring en fryst lokal modell: kvalitet, hastighet, kostnad och öppna frågor.
Mellan 31 oktober och 5 november 2026 höjde en experimentell utvecklingsmiljö för Qwen3.8-Flash-Next IQ3_S andelen perfekt lösta uppgifter från 77 % till 99 % på en fast uppsättning av 178 uppgifter (fakturor, tabeller, diagnostik, kod och filtrering). Modellvikterna tränades inte om.
Inferensen flyttades från Strata till Basalt. Decode steg från cirka 80 till 130–220 tok/s; prefill ungefär fördubblades; hela riktmärkeskörningen sjönk från 87 minuter till 6,9. Utvecklingsmiljön gick igenom 15 releaser med kontraktskontroller.
På maskinerna som användes för riktmärkeskörningar fanns cirka 34 000 modellanrop och cirka 37 miljoner token. Arbetet körde autonomt under fasta regler med mänskliga granskningar vid beslutspunkter.
Uppskattad kostnad för samma tokenvolym via kommersiella API:er (antar 33M in och 4M ut, typiska offentliga priser): i storleksordningen tusentals dollar. Den lokala körningen använde hårdvara som redan fanns i laboratoriet.
Mot en baslinje av råmodellen med samma beräkningsbudget (blind best-of-2) fick utvecklingsmiljön +13,5 procentenheter. Holdout-körningar pågår för att kontrollera robusthet på okända uppgifter. Releaser, metod och riktmärken finns på GitHub.