Pět dní autonomního vývoje lokální AI: ze 77 % na 99 %
Pět dní experimentálního samozlepšujícího se vývojového prostředí kolem zmrazeného lokálního modelu: kvalita, rychlost, náklady a otevřené otázky.
Mezi 31. říjnem a 5. listopadem 2026 experimentální vývojové prostředí pro Qwen3.8-Flash-Next IQ3_S zvedlo podíl ideálně vyřešených úloh ze 77 % na 99 % na pevném souboru 178 úloh (faktury, tabulky, diagnostika, kód a filtrování). Váhy modelu se nedoučovaly.
Inference přešla ze Strata na Basalt. Decode vzrostlo z cca 80 na 130–220 tok/s; prefill se zhruba zdvojnásobil; celý běh benchmarku klesl z 87 minut na 6,9. Vývojové prostředí prošlo 15 vydáními se smluvními kontrolami.
Na strojích použitých pro běhy benchmarku bylo asi 34 000 volání modelu a asi 37 milionů tokenů. Práce běžela autonomně podle pevných pravidel s lidskými revizemi v rozhodovacích bodech.
Odhadované náklady stejného objemu tokenů přes komerční API (při 33M vstupu a 4M výstupu, typické veřejné ceny): řádově tisíce dolarů. Lokální běh použil hardware už dostupný v laboratoři.
Proti baseline surového modelu se stejným výpočetním rozpočtem (slepé best-of-2) vývojové prostředí zaznamenalo +13,5 procentního bodu. Běží holdout běhy pro ověření robustnosti na neznámých úlohách. Vydání, metoda a benchmarky jsou na GitHub.