Uutiset
Näin rakennamme ratkaisuja edullisille tietokoneille
Tutkimme, kuinka paljon hyödyllistä ja luotettavaa työtä paikallinen tekoälymalli pystyy tekemään edullisella tietokoneella, ja vertaamme sitä koneeseen, jonka muistiin koko malli mahtuu.
Mukana on kolme tietokonetta. Edullinen PC, jossa on RTX 3060 -näytönohjain, toimii tiukoilla muistirajoilla. Toinen tietokone, jossa on Hermes-agentti, analysoi tulokset, tarkistaa työn ja tekee parannuksia. Mac Studio M3 ajaa rinnakkain samat tehtävät vertailukohtana riittävällä muistilla. Kaikki koneet käyttävät samoja mallitiedostoja ja samaa Strata-versiota.
Meille ei ole tärkeää nopeus sinänsä, vaan vastausten laatu ja luotettavuus todellisissa tehtävissä. Alustavat tulokset osoittavat, että rajallinen laitteisto ei välttämättä tarkoita heikompaa vastausten laatua.
Erillinen osa kokeilua tarkastelee, pystyykö agentti itse löytämään virheensä, korjaamaan ne ja ehkäisemään samankaltaisia. Pyytämättä se alkoi myös huomioida, montako tokenia sen parannukset maksavat, ja vähentää turhaa kulutusta.
Nämä kokeilut johtavat todellisiin tuloksiin ja käytännön skenaarioihin, esimerkiksi asiakirjojen käsittelyyn.