Aktualności
Jak budujemy rozwiązania na budżetowych komputerach
Badamy, ile użytecznej i niezawodnej pracy może wykonać lokalny model AI na tanim komputerze, i porównujemy go z maszyną, w której pamięci mieści się cały model.
Biorą udział trzy komputery. Budżetowy PC z kartą graficzną RTX 3060 pracuje przy ścisłych limitach pamięci. Drugi komputer z agentem Hermes analizuje wyniki, weryfikuje pracę i wprowadza ulepszenia. Mac Studio M3 równolegle wykonuje te same zadania jako punkt odniesienia z wystarczającą pamięcią. Wszystkie maszyny używają tych samych plików modelu i tej samej wersji Strata.
Liczy się dla nas nie sama szybkość, lecz jakość i niezawodność odpowiedzi na rzeczywistych zadaniach. Wstępne wyniki pokazują, że ograniczony sprzęt nie musi oznaczać niższej jakości odpowiedzi.
Osobna część eksperymentu bada, czy agent potrafi sam znajdować swoje błędy, poprawiać je i zapobiegać podobnym. Bez proszenia zaczął też uwzględniać, ile tokenów kosztują jego ulepszenia, i ograniczać zbędne zużycie.
Te eksperymenty prowadzą do realnych wyników i praktycznych scenariuszy, na przykład pracy z dokumentami.
Szczegóły techniczne i wszystkie liczby · Wszystkie wiadomości