Eksperimen dengan kartu grafis AMD RX 580 seharga 49 €: model kecil dan penggunaan energi

Pada 12 November 2026 sebuah AMD Radeon RX 580 8 GB dipasang di P3001, stasiun kerja bekas dengan prosesor Xeon E5-2697 v2 dan 64 GB memori ECC DDR3-1333 terpasang dalam mode empat saluran (sistem melihat sekitar 62 GB). Kartu dibeli seharga 49 €: 45 € untuk kartunya sendiri dan 4 € pengiriman. Ini adalah varian RX 580 2048SP: memiliki 2.048 prosesor aliran, bukan 2.304 milik RX 580 «penuh», dan pada dasarnya lebih dekat ke RX 570. Perbedaan itu penting ketika membandingkannya dengan kartu lain dalam lini yang sama. Sistem operasinya adalah Ubuntu 24.04.

Strata tidak berjalan pada kartu ini, dan kami tidak berencana meminta dukungan model GPU ini di Strata: waktu penulis lebih baik digunakan pada perangkat keras yang lebih mampu. Eksperimen menggunakan llama.cpp dengan backend Vulkan. Tidak ada CUDA, tidak ada inti tensor, dan tidak ada akselerasi FP16. Pada stasiun yang sama, model kecil 3B pada kuantisasi Q4 mencapai 60 tok/s pada dekode. Sebagai perbandingan, pada model Qwen besar 77,9 GiB, RX 580 dengan llama.cpp mengukur 33,9 tok/s pada prefill dan 5,85 tok/s pada dekode. Stasiun yang sama dengan RTX 3050 8 GB dan Strata, pada beban ini, mengukur 128–188 tok/s pada prefill dan 23–31 tok/s pada dekode. Selama inferensi, RX 580 menarik hingga sekitar 120 W. Untuk model sebesar itu kartu adalah pilihan yang lebih lemah; sebagai «otak kedua» untuk mikrotugas singkat, hasilnya tetap membuatnya berguna, dan harganya lebih rendah daripada jumlah memori sistem yang lebih baru yang sebanding.

Eksperimen kemudian menjauh dari model sebesar mungkin dan menuju model kecil yang muat sepenuhnya dalam 8 GB memori video. Tiga model diukur secara terpisah: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s prefill dan 60 tok/s dekode; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s; dan Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. Bobot gabungan adalah 6,79 GiB. Secara teori ketiganya dapat muat dalam 8 GB, menyisakan sekitar 1,21 GiB untuk cache KV, buffer komputasi, dan overhead. Itu rapat, dan keberadaan simultan ketiganya dalam memori video belum diverifikasi.

Konsumsi aktual kartu selama inferensi lokal juga diukur pada lima batas daya: 120, 100, 70, 50, dan 30 W. Untuk model kecil yang muat sepenuhnya di memori video, dalam eksperimen ini titik paling efisien untuk generasi adalah 70 W. Dibandingkan dengan 120 W, konsumsi kartu selama inferensi sekitar 36% lebih rendah, kecepatan generasi hanya 12–15% lebih rendah, dan energi per token yang dihasilkan 26–28% lebih rendah. Pada 70 W model 3B menghasilkan 39,5 tok/s. Jawaban singkat 200 token menggunakan 0,091 Wh listrik dari kartu itu sendiri. Pada 0,25 €/kWh itu adalah 0,000023 € per jawaban semacam itu, 0,023 € untuk seribu jawaban sehari, dan sekitar 8,30 € untuk 365.000 jawaban semacam itu dalam setahun. Perkiraan ini tidak mencakup daya siaga dan sisa komputer. Dalam keadaan siaga, RX 580 menarik sekitar 14 W, setara dengan sekitar 30,70 € per tahun jika dibiarkan tetap menyala terus; CPU, memori, papan induk, dan penyimpanan menambah bagiannya. Untuk beban berintensitas rendah, menurunkan konsumsi siaga dapat lebih berarti daripada menurunkan konsumsi selama inferensi. Catatan: 70 W optimal untuk generasi model kecil yang diukur dalam eksperimen ini, tidak selalu untuk setiap tugas. Permintaan panjang, pipa pengenalan teks pada gambar, pemrosesan audio, dan beban lain dapat memiliki karakteristik kecepatan dan energi yang sama sekali berbeda.

Arah kerja berikutnya bukan «seberapa besar model yang dapat dijalankan», melainkan berapa banyak tugas sehari-hari yang berguna yang dapat dilakukan sistem lokal yang terjangkau: penguraian PDF kecil, ekstraksi data dari pindaian, pengenalan teks pada gambar, transkripsi rekaman singkat, klasifikasi berkas, ringkasan, pembacaan log, pengarahan permintaan, dan persiapan data untuk sistem AI yang lebih besar. Beban multimodal dan dokumen itu belum dieksperimenkan pada kartu ini. Kelayakan, akurasi, latensi, kebutuhan memori, dan biaya energinya masih harus diselidiki. Beberapa operasi mungkin lebih baik ditangani pada CPU, menyisakan kartu untuk inferensi. Apakah beberapa model khusus dapat tetap dimuat, dengan hanya satu yang berjalan pada satu waktu, juga masih merupakan pertanyaan terbuka.

Penyaluran daya adalah persoalan rekayasa tersendiri. Slot PCIe x16 standar dapat memasok hingga 75 W langsung dari papan induk. Mode paling efisien untuk model kecil dalam eksperimen ini adalah batas perangkat lunak 70 W. Gagasan yang kami pertimbangkan adalah konfigurasi yang berjalan dari slot saja, tanpa konektor daya 6-pin atau 8-pin tambahan, sehingga kartu semacam itu dapat dipasang di komputer kantor yang sudah ada, tanpa mengganti catu daya. Itu adalah arah kerja, bukan solusi jadi. Dalam eksperimen, bahkan dengan batas perangkat lunak 70 W, masih teramati puncak singkat di atas 75 W, dan RX 580 yang kami miliki masih membutuhkan daya bantu. Rancangan aman «hanya dari slot» akan memerlukan kerja rekayasa pada daya puncak dan pemeriksaan kompatibilitas. Alur dokumen, gambar, dan audio juga masih perlu dikonfirmasi. Kami tidak menyatakan bahwa instalasi semacam itu sudah dipasok kepada pelanggan.

Kartu seharga 49 € tidak menggantikan sistem utama dengan Strata. Pada hasil yang sudah diperoleh, kartu ini dapat menjadi pelaksana yang murah dan relatif hemat untuk banyak tugas singkat yang berulang, sementara data tetap lokal. Semua pengukuran, eksperimen batas daya, metode, log mentah, kegagalan, dan kesimpulan diterbitkan di repositori. Kami menelusuri berapa banyak AI lokal yang berguna dapat diperoleh dari perangkat keras yang sering dianggap usang.

Pengukuran di repositori · Postingan di X · Semua berita