Berita
Cara kami membangun solusi di komputer murah
Kami meneliti seberapa banyak pekerjaan yang berguna dan andal dapat dilakukan model AI lokal di komputer murah, dan membandingkannya dengan mesin yang memorinya muat seluruh model.
Ada tiga komputer. PC murah dengan kartu grafis RTX 3060 bekerja dengan batas memori yang ketat. Komputer kedua dengan agen Hermes menganalisis hasil, memverifikasi pekerjaan, dan melakukan perbaikan. Mac Studio M3 menjalankan tugas yang sama secara paralel sebagai acuan dengan memori yang cukup. Semua mesin memakai file model yang sama dan versi Strata yang sama.
Yang penting bagi kami bukan kecepatan itu sendiri, melainkan kualitas dan keandalan jawaban pada tugas nyata. Hasil awal menunjukkan bahwa perangkat keras terbatas tidak selalu berarti kualitas jawaban lebih rendah.
Bagian terpisah dari eksperimen melihat apakah agen dapat menemukan kesalahannya sendiri, memperbaikinya, dan mencegah kesalahan serupa. Tanpa diminta, agen juga mulai memperhitungkan berapa token yang dihabiskan perbaikannya dan mengurangi pemakaian yang tidak perlu.
Eksperimen ini mengarah ke hasil nyata dan skenario praktis, misalnya pekerjaan dengan dokumen.