Berita
Rilis Strata pada armada kami: agen memperbarui, mengukur, dan mengoptimalkan
Agen kami mendeteksi rilis Strata baru oleh coldniko, memperbarui mesin dan menjalankan kembali tolok ukur: memecahkan kode hingga 2,4× lebih cepat pada 16K pada sistem Tesla P100, +46% slot ahli pada sistem Radeon, Mac Studio dikonfirmasi optimal, dan DeepSeek V4.1-Flash berjalan secara lokal.
Strata adalah mesin inferensi AI lokal yang dikembangkan oleh coldniko. Sejak pertengahan Oktober kami telah mengikuti rilisnya di beberapa mesin kami sendiri. Setiap komputer menjalankan model yang sama, Qwen3.8-Flash-Next IQ3_S, sehingga hasilnya sebanding. Mesin diberi nama sesuai tingkat perangkat kerasnya:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe sekitar 2,5 GB/s, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
Agen itu sendiri mendeteksi rilis Strata baru, mengunduhnya, menjalankan pengukuran dan, berdasarkan permintaan, mengoptimalkan konfigurasi. Semua pengoptimalan berjalan secara lokal, menggunakan model Qwen3.8-Flash-Next IQ3_S yang sama pada versi Strata terbaru.
P1005 (Tesla P100): dari kekurangan data hingga terikat komputasi
Para ahli model berjumlah 46,8 GiB, terlalu besar untuk Ram, dan kartu 16 GB begitu penuh sehingga mesin memperingatkan bahwa decode akan turun menjadi beberapa token per detik. Mengikuti dokumentasi repositori Strata, agen mengubah empat hal:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Hasil: Pemanfaatan GPU naik dari 27% menjadi 92% (155 -170 W). Prefill menjadi hingga 4,4× lebih cepat; memecahkan kode +40% pada 8K dan 2,4× pada 16K.
| Konteks | Sebelum (prompt / decode, tok/s) | Setelah (prompt / decode, tok/s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
Nilai adalah token prompt / decode per detik. Biaya: 24 GiB Ram sekarang dikunci halaman untuk para ahli, jadi tidak ada lagi yang besar yang harus berjalan di mesin ini, dan batas konteksnya adalah 65K, bukan 262K. Semuanya berlanjut di reboot.
P2002 (Radeon RDNA4): penyetelan langsung, lalu mulai ulang sebentar
Pertama, tuning langsung tanpa menghidupkan kembali mesin. Gubernur CPU diatur ke kinerja dan cache halaman yang lebih panjang untuk para ahli disimpan; jam GPU yang disematkan mengurangi prefill sekitar 10% dan ditolak; read - ahead yang lebih besar tidak berpengaruh. Decode pada 2K dan 8K meningkat sebesar 10 -18%.
Kemudian, dengan restart sekitar 40 detik (rantai fallback membawa sesi, tanpa gangguan yang terlihat), agen menaikkan cadangan VRAM dari 700 menjadi 960 MiB dan mengaktifkan -- kv - growth, menjaga konteks 262K penuh. Slot ahli tumbuh dari 2518 menjadi 3686 (+46%), tingkat pukulan ahli naik dari 74% menjadi 87% dan peringatan paging menghilang. Ini juga menambahkan pengawas sehingga mesin restart sendiri.
| Konteks | Sebelum (prompt / decode, tok/s) | Setelah (prompt / decode, tok/s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Suite standar: chat decode 74,3 tok/s (adalah 71,9), token pertama 0,39 s (adalah 0,46), agen decode 66,7 tok/s (adalah 59,2). Agen juga mencatat dengan jujur bahwa angka pertama tepat setelah restart sekitar 25% rendah karena cache ahli masih dingin.
Mac Studio (M3 Ultra): default sudah optimal
Agen menghidupkan ulang mesin enam kali untuk menjalankan A/B yang bersih dan membuktikan secara empiris bahwa konfigurasi default sudah yang terbaik. Opsi KV tidak berpengaruh pada memori terpadu; cache ahli kabel besar berbahaya (decode diciutkan menjadi sekitar 32 tok/s) dan dikembalikan. Pengisian awal sekitar 790 tok/s adalah batas bandwidth perangkat keras, bukan dari konfigurasi. Paket akhir: chat memecahkan kode 69,1 tok/s, token pertama 0,48 detik. Semua jalan buntu didokumentasikan sehingga tidak ada yang mengulanginya.
Rilis baru, diukur
- Strata 0.2.0 dengan antarmuka pengguna: Strata dan AI lokal sekarang dapat diinstal tanpa baris perintah, yang membuatnya dapat diakses oleh khalayak yang jauh lebih luas.
- v0.2.2: tiga komputer diperbarui dari v0.2.1.
- v0.2.3 → v0.2.3.1 di Mac Studio: decode 61.3 → 66.4 tok/s (+8%), prefill 729.9 738.9 → tok/s (+1%), tidak ada regresi dan tidak ada unduhan ulang file model.
- v0.2.6 dan v0.2.7: setiap rilis sejauh ini telah membawa peningkatan kinerja lainnya. Untuk v0.2.7 agen menyiapkan ringkasan catatan rilis dan tidak memasang apa pun tanpa persetujuan.
DeepSeek V4.1-Flash berjalan secara lokal
DeepSeek v4.1-Flash, model Moe besar, sekarang berjalan secara lokal di Strata: para ahli hot tetap di Ram dan sisanya dialirkan dari SSD. Kami mengukur 14 tok/s decode. Pada perangkat keras kami saat ini, ini tidak cukup untuk otak utama agen, tetapi berfungsi dengan baik sebagai model opini kedua dan auditor semalam.
Apa artinya bagi pelanggan Box
- Pembaruan mesin terdeteksi, diterapkan, dan diukur oleh agen, dengan persetujuan sebelum perubahan.
- Setiap tingkat perangkat keras mendapatkan konfigurasi terukurnya sendiri, dan opsi yang gagal didokumentasikan.
- Model yang sama pada perangkat keras yang berbeda memberikan dasar yang jelas untuk memilih konfigurasi.