CLARYEL CLARYEL Box
Pyydä kokoonpano

Uutiset

Ensimmäiset kerrostumat ja laboratorio toistettaville paikallisille TEKOÄLYKOKOONPANOILLE

31 tok/s ~47 Gt: n mallilla, joka käyttää vain noin 3 Gt järjestelmän RAM-muistia, 45-48 tok / s RAM-päivityksen jälkeen, 32 Gt RAM-muistia, joka on vahvistettu riittäväksi, ensimmäinen itsenäinen yön yli-työnkulku ja identtiset koneet toistettaviin kokoonpanoihin.

Strata dashboard näyttää 31 tokenia sekunnissa

Ensimmäinen tulos: 31 tokenia sekunnissa

Malli tuotti 12 136 polettia noin 6,5 minuutissa: 31 polettia sekunnissa. Noin 47 Gt: n mallilla VRAM oli lähes täynnä, kun taas järjestelmän RAM-muistin käyttö oli vain noin 3 Gt: Strata lukee osan mallista suoraan SSD: ltä. GPU veti noin 130-150 W, pysyi 45 °C: ssa ja Tuulettimet olivat tuskin kuultavissa. Tämä avaa mahdollisuuden huomattavasti halvempiin paikallisiin TEKOÄLYJÄRJESTELMIIN ilman valtavia määriä RAM-muistia tai kalliita palvelinalustoja.

Systemaattinen ohjelma eri laitteille

Nämä tulokset aloittivat järjestelmällisemmän ohjelman: kerrostumat 11 tietokoneessa, joissa on hyvin erilaiset kokoonpanot, NVIDIA, AMD ja Intel GPU: t, DDR4 ja DDR5 sekä NVMe-tallennustila PCIe 3.0: sta PCIe 5.0: aan, mukaan lukien PCIe 5.0 RAID 0-sarja noin 35 GB/s. ensimmäinen yhteensopivuus, suorituskyky ja vakaus; sitten käytännön jokapäiväiset ja liiketoimintatehtävät.

Myös päinvastainen tapaus tarkistettiin: minitietokoneessa, jossa ei ollut erillistä GPU: ta ja 8 Gt RAM-muistia, Strata voitiin rakentaa, mutta malli ei käynnistynyt edes RAM-muistin lisäämisen jälkeen dynaamisesti jaetun videomuistin vuoksi. Johtopäätös: Strata ei käynnisty tällä dokumentoimattomalla kokoonpanolla.

256K konteksti ja ensimmäiset käytännön oppitunnit

RX 9070-järjestelmässä, jossa oli 256K-konteksti, lähtö oli 15-30 tokenia sekunnissa. Yhdessä istunnossa (9:44-12:00): 18 pyyntöä, noin 108 XNUMX kehotetta (114 tok/s), noin 856 XNUMX uudelleenkäytettyä, noin 100 XNUMX kirjoitettua (22,6 XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX XNUMX. Noin 25 pyynnöstä muutama hajosi: kehote, jossa oli viisi kysymystä kerralla (se toimi jaettaessa) ja pyyntö 60-70 tuhannen token-vastauksen saamiseksi. Muut tuotokset saavuttivat 14-22 tuhatta tokenia, ja pitkät sukupolvet pitivät laadun.

Strata ei havainnut GPU: ta ilman kytkettyä näyttöä tällä ASUS Pro Q870M-C-CSM-aluksella; HDMI-nuken pistoke ratkaisi sen.

32 Gt RAM-muistia riittää

32 Gt: n RAM-muistilla kerrostumat voivat toimia lataamatta mallia järjestelmän RAM-muistiin: muisti pysyy vapaana muihin tehtäviin ja CPU rinnakkaisille työkuormille 15-20 tok/s. 64 Gt: n kanssa samalla koneella (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S), sukupolvi saavutti 45-48 tok/s, mutta paljon vähemmän muistia jäljellä muuhun työhön. Myöhemmin kahdessa eri kokoonpanossa, mukaan lukien DDR4, Strata tuskin käytti RAM-muistia 15-25 tok/s, kun taas noin puolet suorittimesta pysyi vapaana Hermes: lle ja sitä tukeville komponenteille. Suorituskyky laskee kontekstin pituuden kasvaessa, joten se riippuu tehtävistä.

Ensimmäinen itsenäinen työnkulku

Yön yli ajettu laite, jota ei tueta ilman erillistä GPU: ta, antoi noin 1 token sekunnissa, koska suuri osa mallista päätyi swapiin. Nopeus ei ollut tavoitteena: tehtävä annettiin illalla ja tulos oli valmis aamulla. Tämän jälkeen Hermes siirtyi käyttämään konetta, jolla oli käyttökelpoinen nopeus, ja aloitti jokapäiväiset työt. One morning check käyttää jo Home Assistant-antureita ja valvoo varmuuskopioita, levyn kuntoa ja lämpötiloja yhdistetyissä tietokoneissa; se ilmoitti nopeasti, että palvelinhuone lämpeni liikaa kuuden tietokoneen ollessa käynnissä.

Identtisten koneiden laboratorio

Kymmenen identtistä ASUS-palvelimen emolevyä ja suoritinta

Muuttaaksemme yksittäiset tulokset toistettaviksi asetuksiksi ostimme 10 identtistä emolevyä ja suoritinta 10 vastaavalle järjestelmälle: ASUS-alustan, jossa on 8 RAM-paikkaa, edullinen DDR4 ja BIOS-tason etähallinta, jotta agentit voivat jopa asentaa käyttöjärjestelmän uudelleen etänä.

Olimme jo perustaneet 20-30 tietokonetta lähes tyhjästä ja hallinnoineet niitä äänellä puhelimesta pilviagenttien kautta, mukaan lukien kirjanpidon työnkulku ERP-asennuksesta laskujen syöttämiseen Italian verojärjestelmään. Tavoitteena on nyt jäljentää tällaisia työnkulkuja paikallisella tekoälyllä. Pilvessä sekunnit tai minuutit kestävät tehtävät veivät 5-10 minuuttia paikallisesti; seuraavaksi tuli optimointi. Tehtävät tulevat monista lähteistä, ja agentit tallentavat ne Openprojectissa ja määrittävät ne parhaiten sopivalle agentille tai henkilölle.

Mitä tämä tarkoittaa Box-asiakkaalle

Alkuperäinen ketju X:ssä · Kaikki uutiset