Berita
Agen AI lokal menyetel perangkat keras yang mereka jalankan
Jam boost CPU yang lebih rendah tanpa kehilangan kecepatan inferensi, batas daya GPU yang pertama kali disebut agen unfixable (+30 -35% setelah perbaikan), pengoptimalan otomatis pada laptop RTX 5090 dan pembukaan kunci RTX 3060. Apa artinya bagi pelanggan Box.
Sistem AI lokal tidak harus disetel dengan tangan. Dalam percobaan kami, agen yang berjalan pada perangkat keras lokal menganalisis perangkat keras yang sama, menjalankan pengukurannya sendiri dan hanya menyimpan pengaturan yang benar - benar membantu. Di bawah ini adalah empat hasil dari minggu lalu, dari yang terbaru hingga terlama.
Membatasi jam pendorong CPU: kecepatan yang sama, lebih sedikit panas
Salah satu trik yang diremehkan untuk menjalankan AI lokal adalah membatasi jam boost CPU dan/atau GPU. Dengan suara, kami meminta agen AI lokal untuk mengoptimalkan laptop yang menjalankan otak AI utama kami. Ini mengurangi frekuensi CPU dari 5,5 GHz menjadi 4,5 GHz.
- Kecepatan inferensi LLM di Strata tetap sama persis, tanpa kehilangan apapun.
- Suhu CPU turun sekitar 10%.
- Konsumsi daya CPU turun secara signifikan.
- Suhu GPU juga turun, tanpa membatasi jam GPU.
CPU dan GPU berbagi anggaran termal, sehingga mengurangi peningkatan CPU yang tidak perlu juga membantu GPU. Tidak ada yang menghabiskan waktu berjam - jam untuk menyetel: agen hanya diberitahu untuk menemukan batas optimal, dan menjalankan eksperimen itu sendiri sementara pekerjaan berlanjut pada hal - hal lain.
Diagnostik mandiri: percaya AI, tetapi verifikasi
Pengaturan: Strata + Qwen3.8-Next-IQ3_S. AI lokal menyatakan batas daya GPU tidak dapat diperbaiki. Kami mempertanyakan temuan tersebut, memeriksanya secara eksternal (bahkan versi gratis ChatGPT sudah cukup untuk ini), menetapkan batas dan memperoleh kinerja 30 -35%.
Aturan yang kami terapkan: gunakan AI untuk diagnosis mandiri, tetapi periksa silang temuan penting.
Optimalisasi otomatis pada laptop RTX 5090
Strata pada laptop gaming dengan RTX 5090 (24 GB VRAM), model Qwen3.8-Flash-Next IQ3_S:
- Decode: 83.6 tok/s
- Dekode agen: 99.8 tok/s
- Prefill 4K: 1,443 tok/s
- Prefill 16K: 2,132 tok/s
- Token pertama: 0.28 s
Setelah itu, agen mengoptimalkan mesin yang sama dengan sendirinya:
- Dekode hangat: 63–110 → 109–118 tok/s
- Peak agent decode: 119.5 → 125.5 tok/s (+5%)
- Konfigurasi yang dioptimalkan disimpan, pengaturan yang tidak stabil digulirkan kembali, dan server dimatikan dengan aman.
RTX 3060 12 GB: pembukaan kunci dan keuntungan pertama
Di salah satu komputer eksperimental kami (casing ITX kecil, Ram 48 GB, RTX 3060 12 GB) kami mengaktifkan NVIDIA unlock. Keuntungan yang diukur: hingga +78% dalam komputasi GPU dan +11% dalam prefill inferensi AI.
Untuk perspektif, dengan pekerjaan Strata berikutnya oleh coldniko, RTX 3060 12 GB + 48 GB Ram berubah dari 32 menjadi 60 -80 token berkelanjutan per detik. Mac Studio M3 Ultra kami (60 core GPU, 256 GB Ram, Strata v0.2.6) menghasilkan 61,4 tok/s decode dan 734 tok/s prefill pada model Qwen3.8-Flash-Next IQ3_S yang sama. Hasil lengkap untuk kartu ini ada di artikel terpisah.
Apa artinya bagi pelanggan Box
- Pengaturan dipilih dengan pengukuran, bukan dengan tebakan: agen membandingkan sebelum dan sesudah dan memutar kembali apa yang tidak membantu.
- Suhu yang lebih rendah dan daya tarik pada kecepatan yang sama berarti pengoperasian yang lebih tenang dan lebih sedikit keausan.
- Kesimpulan kritis dari agen diperiksa silang sebelum ditindaklanjuti.
- Perangkat keras yang terjangkau terus menjadi lebih cepat dengan pembaruan perangkat lunak saja.
AI lokal mengoptimalkan perangkat keras yang menjalankan AI lokal.