Pertama Strata berjalan dan laboratorium untuk konfigurasi AI lokal yang dapat diulang

Hasil pertama: 31 token per detik

• Strata v0.1.41
• Model: Qwen3.8-Flash-Next IQ3_XXS
• CPU: Intel Core Ultra 7 270K Plus
• GPU: AMD Radeon RX 9070 OC, 16 GB GDDR6
• Ram: 32 GB DDR5-6000
• SSD: Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
• Konteks: 65,536 tokens

Model ini menghasilkan 12.136 token dalam waktu sekitar 6,5 menit: 31 token per detik. Dengan model sekitar 47 GB, VRAM hampir penuh sementara penggunaan Ram sistem hanya sekitar 3 GB: Strata membaca sebagian model langsung dari SSD. GPU menarik sekitar 130 -150 W, bertahan pada 45° C dan kipas nyaris tidak terdengar. Ini membuka kemungkinan sistem AI lokal yang jauh lebih murah, tanpa Ram dalam jumlah besar atau platform server yang mahal.

Program sistematis pada perangkat keras yang berbeda

Hasil ini memulai program yang lebih sistematis: Strata pada 11 komputer dengan konfigurasi yang sangat berbeda, dengan GPU NVIDIA, AMD dan Intel, DDR4 dan DDR5, dan penyimpanan NVMe dari PCIe 3.0 hingga PCIe 5.0, termasuk array RAID 0 PCIe 5.0 sekitar 35 GB/s. Pertama kompatibilitas, kinerja dan stabilitas; kemudian tugas sehari - hari dan bisnis yang praktis.

Kasus sebaliknya juga diperiksa: pada PC mini tanpa GPU diskrit dan RAM 8 GB, Strata dapat dibangun tetapi model tidak diluncurkan, bahkan setelah menambahkan Ram, karena memori video yang dialokasikan secara dinamis. Kesimpulan: Strata tidak diluncurkan pada konfigurasi tidak berdokumen ini.

Konteks 256K dan pelajaran praktis pertama

Pada sistem RX 9070 dengan konteks 256K, output adalah 15 -30 token per detik. Dalam satu sesi (9:44–12:00): 18 permintaan, sekitar 108K token prompt (114 tok/s), sekitar 856K digunakan kembali, sekitar 100K ditulis (22,6 tok/s). Dari sekitar 25 permintaan, beberapa di antaranya gagal: permintaan dengan lima pertanyaan sekaligus (berhasil ketika dibagi) dan permintaan untuk jawaban token 60 -70 ribu. Output lainnya mencapai 14 -22 ribu token, dan generasi lama bertahan dalam kualitas.

Strata tidak mendeteksi GPU tanpa monitor yang terhubung pada papan ASUS PRO Q870M - C - CSM ini; steker dummy HDMI menyelesaikannya.

Ram 32 GB sudah cukup

Dengan RAM 32 GB, Strata dapat berjalan tanpa memuat model ke Ram sistem: memori tetap gratis untuk tugas lain dan CPU untuk beban kerja paralel, pada 15 -20 tok/s. Dengan 64 GB pada mesin yang sama (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S), generasi mencapai 45 -48 tok/s, tetapi dengan lebih sedikit memori yang tersisa untuk pekerjaan lain. Kemudian, pada dua konfigurasi yang berbeda termasuk DDR4, Strata nyaris tidak menggunakan Ram pada 15 -25 tok/s sementara sekitar setengah dari CPU tetap bebas untuk Hermes dan komponen pendukung. Performa menurun seiring bertambahnya panjang konteks, jadi itu tergantung pada tugas.

Alur kerja otonom pertama

Pengoperasian semalam pada perangkat keras yang tidak didukung tanpa GPU diskrit memberikan sekitar 1 token per detik, karena sebagian besar model berakhir dengan swap. Kecepatan bukanlah tujuannya: tugas diberikan di malam hari dan hasilnya siap di pagi hari. Hermes kemudian pindah ke mesin dengan kecepatan yang dapat digunakan dan memulai pekerjaan sehari - hari. Satu pemeriksaan pagi sudah menggunakan sensor Asisten Rumah dan memonitor cadangan, kesehatan disk, dan suhu di seluruh komputer yang terhubung; segera dilaporkan bahwa ruang server menjadi terlalu hangat dengan enam komputer berjalan.

Laboratorium mesin identik

Untuk mengubah hasil individual menjadi pengaturan berulang, kami membeli 10 motherboard dan CPU yang identik untuk 10 sistem yang cocok: platform ASUS dengan 8 slot Ram, DDR4 yang terjangkau, dan manajemen jarak jauh tingkat BIOS, sehingga agen bahkan dapat menginstal ulang OS dari jarak jauh.

Kami telah menyiapkan 20 -30 komputer hampir dari awal dan mengelolanya dengan suara dari telepon melalui agen cloud, termasuk alur kerja akuntansi dari instalasi ERP hingga memasukkan faktur ke dalam sistem pajak Italia. Tujuannya sekarang adalah untuk mereproduksi alur kerja tersebut dengan AI lokal. Di luar kotak, tugas yang memakan waktu beberapa detik atau satu menit di cloud memakan waktu 5 -10 menit secara lokal; optimasi muncul berikutnya. Tugas datang dari banyak sumber, dan agen mengajukannya di OpenProject dan menugaskannya ke agen atau orang yang paling cocok.

Apa artinya bagi pelanggan Box

• Model besar dapat berjalan pada perangkat keras yang terjangkau dengan Ram sederhana.
• Konfigurasi dipilih dari pengukuran pada mesin nyata.
• Mesin yang identik membuat hasil dapat diulang dan manajemen jarak jauh menjadi mungkin.

Utas asli pada X · Semua berita