Kokeilu AMD RX 580 -näytönohjaimella 49 eurolla: pienet mallit ja energiankulutus

12. marraskuuta 2026 P3001-työasemaan — käytettyyn työasemaan, jossa on Xeon E5-2697 v2 -suoritin ja 64 Gt ECC-muistia DDR3-1333 nelikanavaisessa tilassa (järjestelmä näkee noin 62 Gt) — asennettiin AMD Radeon RX 580 8 Gt. Kortti ostettiin 49 eurolla: 45 € itse kortti ja 4 € toimitus. Kyseessä on RX 580 2048SP -muunnos: siinä on 2048 stream-prosessoria, ei 2304 kuten «täydessä» RX 580:ssa, ja se on olennaisesti lähempänä RX 570:tä. Tämä ero on tärkeä, kun korttia verrataan saman linjan muihin kortteihin. Käyttöjärjestelmä on Ubuntu 24.04.

Strata ei käynnisty tällä kortilla, emmekä suunnittele pyytävänsä tämän GPU-mallin tukea Strataan: tekijän aika on järkevämpää käyttää tehokkaampaan laitteistoon. Kokeilussa käytettiin llama.cpp:tä Vulkan-taustajärjestelmällä. Ei CUDAa, ei tensoriydimiä, ei FP16-kiihdytystä. Samalla asemalla pieni 3B-malli Q4-kvantisoinnissa saavutti dekoodauksessa 60 tok/s. Vertailuksi 77,9 GiB:n Qwen-mallilla RX 580 ja llama.cpp mittasivat 33,9 tok/s esitäytössä ja 5,85 tok/s dekoodauksessa. Sama asema RTX 3050 8 Gt:n ja Stratan kanssa mittasi tällä kuormalla 128–188 tok/s esitäytössä ja 23–31 tok/s dekoodauksessa. Päättelyn aikana RX 580 otti jopa noin 120 W. Tuon kokoisen mallin kohdalla kortti on heikompi vaihtoehto; «toisena aivoina» lyhyisiin mikrotehtäviin tulokset tekevät siitä silti hyödyllisen, ja se maksaa vähemmän kuin vastaava määrä uudempaa järjestelmämuistia.

Kokeilu siirtyi sitten pois mahdollisimman suuresta mallista kohti pieniä malleja, jotka mahtuvat kokonaan 8 Gt:n videomuistiin. Kolme mallia mitattiin erikseen: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s esitäyttö ja 60 tok/s dekoodaus; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s; ja Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. Painojen yhteismäärä on 6,79 GiB. Teoriassa kaikki kolme voisivat mahtua 8 Gt:een ja jättää noin 1,21 GiB KV-välimuistille, laskentapuskureille ja yleiskuluille. Se on tiukkaa, eikä kaikkien kolmen samanaikaista latausta videomuistiin ole varmistettu.

Kortin todellinen kulutus paikallisen päättelyn aikana mitattiin myös viidellä tehorajalla: 120, 100, 70, 50 ja 30 W. Pienille malleille, jotka mahtuvat kokonaan videomuistiin, tässä kokeilussa taloudellisin kohta generoinnille oli 70 W. Verrattuna 120 W:iin kortin kulutus päättelyn aikana oli noin 36 % pienempi, generointinopeus vain 12–15 % pienempi ja energia generoitua tokenia kohti 26–28 % pienempi. 70 W:lla 3B-malli tuotti 39,5 tok/s. Lyhyt 200 tokenin vastaus käytti 0,091 Wh itse kortin sähköä. Hinnalla 0,25 €/kWh se on 0,000023 € yhtä sellaista vastausta kohti, 0,023 € tuhannelle vastaukselle päivässä ja noin 8,30 € 365 000 sellaiselle vastaukselle vuodessa. Tämä arvio ei sisällä lepokulutusta eikä tietokoneen muuta osaa. Levossa RX 580 ottaa noin 14 W, mikä jatkuvassa virransyötössä vastaa noin 30,70 € vuodessa; suoritin, muisti, emolevy ja tallennus lisäävät omansa. Vähäintensiteettisissä kuormissa lepokulutuksen lasku voi merkitä enemmän kuin itse päättelyn kulutuksen lasku. Varaus: 70 W on optimaalinen tässä kokeilussa mitatulle pienten mallien generoinnille, ei välttämättä jokaiselle tehtävälle. Pitkät pyynnöt, kuvien tekstintunnistusputket, äänenkäsittely ja muut kuormat voivat olla nopeudeltaan ja energialtaan aivan toisenlaisia.

Seuraava työsunta ei ole «kuinka suuri malli voidaan ajaa», vaan kuinka monta hyödyllistä arjen tehtävää edullinen paikallinen järjestelmä voi hoitaa: pienten PDF-tiedostojen jäsennys, tietojen poiminta skannauksista, tekstin tunnistus kuvista, lyhyiden tallenteiden purku, tiedostojen luokittelu, tiivistelmät, lokien luku, pyyntöjen ohjaus ja tietojen valmistelu suurempaa tekoälyjärjestelmää varten. Näitä multimodaalisia ja asiakirjakuormia ei ole vielä kokeiltu tällä kortilla. Niiden toteutettavuus, tarkkuus, viive, muistitarve ja energiakustannus on vielä selvitettävä. Osa toiminnoista voi olla järkevämpää hoitaa suorittimella ja jättää kortti päättelyyn. Voivatko useat erikoistuneet mallit pysyä ladattuina, joista kerrallaan on käynnissä vain yksi, on myös vielä avoin kysymys.

Virransyöttö on erillinen insinöörikysymys. Vakio PCIe x16 -paikka voi antaa jopa 75 W suoraan emolevyltä. Pienten mallien energiatehokkain tila tässä kokeilussa oli ohjelmallinen 70 W:n raja. Tarkastelemamme ajatus on kokoonpano, joka toimii vain paikasta, ilman lisä-6- tai 8-pinnistä virtapistoketta, jotta tällainen kortti voitaisiin asentaa jo olemassa olevaan toimistotietokoneeseen ilman virtalähteen vaihtoa. Tämä on työsunta, ei valmis ratkaisu. Kokeilussa jopa 70 W:n ohjelmallisella rajalla havaittiin vielä lyhyitä piikkejä yli 75 W, ja hallussamme oleva RX 580 tarvitsee yhä lisävirtaa. Turvallinen «vain paikasta» -suunnittelu vaatisi insinöörityötä huipputehosta ja yhteensopivuuden tarkistuksia. Asiakirja-, kuva- ja äänityönkulut on myös vielä vahvistettava. Emme väitä, että tällaista asennusta jo toimitettaisiin asiakkaille.

49 euron kortti ei korvaa Stratan pääjärjestelmää. Jo saatujen tulosten perusteella siitä voi tulla edullinen, suhteellisen säästäväinen suorittaja monille lyhyille, toistuville tehtäville, samalla kun data pysyy paikallisena. Kaikki mittaukset, tehorajakokeilut, menetelmä, raakalokit, epäonnistumiset ja johtopäätökset on julkaistu tietovarastossa. Selvitämme, kuinka paljon hyödyllistä paikallista tekoälyä voidaan saada laitteistosta, jota usein pidetään vanhentuneena.

Mittaukset tietovarastossa · Julkaisu X:ssä · Kaikki uutiset