CLARYEL CLARYEL Box
Ζητήστε διαμόρφωση

Νέα

Εκδόσεις Strata στο στόλο μας: ο πράκτορας ενημερώνει, μετρά και βελτιστοποιεί

Ο πράκτοράς μας ανιχνεύει νέες εκδόσεις στρωμάτων από την coldniko, ενημερώνει τα μηχανήματα και εκτελεί εκ νέου τα σημεία αναφοράς: αποκωδικοποιεί έως και 2,4× ταχύτερα στα 16k σε ένα σύστημα Tesla P100, +46% υποδοχές εμπειρογνωμόνων σε ένα σύστημα Radeon, το MAC Studio επιβεβαίωσε το βέλτιστο και το Deepseek V4.1-Flash που εκτελείται τοπικά.

Το Strata είναι μια τοπική μηχανή συμπερασμάτων τεχνητής νοημοσύνης που αναπτύχθηκε από την coldniko. Από τα μέσα Οκτωβρίου παρακολουθούμε τις κυκλοφορίες του σε πολλά από τα δικά μας μηχανήματα. Κάθε υπολογιστής τρέχει το ίδιο μοντέλο, Qwen3.8-Flash-Next IQ3_S, έτσι τα αποτελέσματα είναι συγκρίσιμα. Οι μηχανές ονομάζονται από το επίπεδο υλικού τους:

Ο ίδιος ο πράκτορας ανιχνεύει μια νέα απελευθέρωση στρωμάτων, το κατεβάζει, εκτελεί τις μετρήσεις και, κατόπιν αιτήματος, βελτιστοποιεί τη διαμόρφωση. Όλη η βελτιστοποίηση εκτελείται τοπικά, χρησιμοποιώντας το ίδιο μοντέλο Qwen3.8-Flash-Next IQ3_S στην τελευταία έκδοση Strata.

P1005 (Tesla P100) : από τα δεδομένα που λιμοκτονούν σε υπολογιστικά δεσμευμένα

Οι ειδικοί του μοντέλου είχαν συνολικά 46,8 GiB, πολύ μεγάλο για RAM, και η κάρτα των 16 GB ήταν τόσο γεμάτη που ο κινητήρας προειδοποίησε ότι η αποκωδικοποίηση θα έπεφτε σε λίγα μάρκες ανά δευτερόλεπτο. Μετά την τεκμηρίωση του αποθετηρίου στρωμάτων, ο πράκτορας άλλαξε τέσσερα πράγματα:

--vram-reserve-mib 960        (was 700)
--max-context 65536          (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1

Αποτέλεσμα: η χρήση της GPU αυξήθηκε από 27% σε 92% (155-170 W). Η προπληρωμή έγινε έως και 4,4× ταχύτερη. αποκωδικοποίηση +40% στα 8K και 2,4× στα 16k.

ΠλαίσιοΠριν (προτροπή / αποκωδικοποίηση, tok / s)Μετά (προτροπή / αποκωδικοποίηση, tok / s)
51247.7 / 13.454.5 / 14.3
2K62.6 / 10.374.5 / 13.9
8K46.4 / 9.9178.1 / 14.3
16K43.8 / 6.2193.9 / 15.1
32K44.1 / 6.0213.8 / 12.6

Οι τιμές είναι προτροπή / αποκωδικοποίηση μαρκών ανά δευτερόλεπτο. Το κόστος: 24 GiB της μνήμης RAM είναι τώρα κλειδωμένη σελίδα για τους ειδικούς, οπότε τίποτα άλλο μεγάλο δεν πρέπει να τρέχει σε αυτό το μηχάνημα και το καπάκι περιβάλλοντος είναι 65K αντί για 262k. όλα παραμένουν σε όλες τις επανεκκινήσεις.

P2002 (Radeon RDNA4): ζωντανή ρύθμιση, στη συνέχεια μια σύντομη επανεκκίνηση

Πρώτον, ζωντανή ρύθμιση χωρίς επανεκκίνηση του κινητήρα. Ο κυβερνήτης της CPU ρυθμίστηκε σε απόδοση και διατηρήθηκε μια μεγαλύτερη προσωρινή μνήμη σελίδας για τους εμπειρογνώμονες.τα καρφωμένα ρολόγια GPU μείωσαν την προπληρωμή κατά περίπου 10% και απορρίφθηκαν. η μεγαλύτερη ανάγνωση δεν είχε καμία επίδραση. Η αποκωδικοποίηση στα 2Κ και 8Κ βελτιώθηκε κατά 10-18%.

Στη συνέχεια, με επανεκκίνηση περίπου 40 δευτερολέπτων (η εφεδρική αλυσίδα έφερε τη συνεδρία, χωρίς ορατή διακοπή), ο πράκτορας αύξησε το αποθεματικό VRAM από 700 σε 960 MiB και ενεργοποίησε το --kv-grow, διατηρώντας το πλήρες πλαίσιο 262K. Οι κουλοχέρηδες εμπειρογνωμόνων αυξήθηκαν από 2518 σε 3686 (+46%), το ποσοστό επιτυχίας των εμπειρογνωμόνων αυξήθηκε από 74% σε 87% και οι προειδοποιήσεις σελιδοποίησης εξαφανίστηκαν. Πρόσθεσε επίσης ένα φύλακα, ώστε ο κινητήρας να επανεκκινήσει μόνος του.

ΠλαίσιοΠριν (προτροπή / αποκωδικοποίηση, tok / s)Μετά (προτροπή / αποκωδικοποίηση, tok / s)
512547 / 63.6602 / 57.5–64
2K1228 / 60–711275–1303 / 66–74
8K2085 / 59–691723–2144 / 79–82
16K2180 / 72.71988–2169 / 76–78
32K2056 / 72.92023–2096 / 76–77

Τυπική σουίτα: η συνομιλία αποκωδικοποιεί 74.3 tok/s (ήταν 71.9), το πρώτο διακριτικό 0.39 s (ήταν 0.46), ο πράκτορας αποκωδικοποιεί 66.7 tok / s (ήταν 59.2). Ο πράκτορας σημείωσε επίσης ειλικρινά ότι οι πρώτοι αριθμοί αμέσως μετά την επανεκκίνηση είναι περίπου 25% χαμηλοί επειδή η κρυφή μνήμη εμπειρογνωμόνων είναι ακόμα κρύα.

Mac Studio (m3 Ultra): οι προεπιλογές ήταν ήδη βέλτιστες

Ο πράκτορας επανεκκίνησε τον κινητήρα έξι φορές για καθαρές διαδρομές Α/Β και απέδειξε εμπειρικά ότι η προεπιλεγμένη διαμόρφωση ήταν ήδη η καλύτερη. Οι επιλογές KV δεν είχαν καμία επίδραση στην ενοποιημένη μνήμη.μια μεγάλη ενσύρματη κρυφή μνήμη εμπειρογνωμόνων ήταν επιβλαβής (η αποκωδικοποίηση κατέρρευσε σε περίπου 32 tok/s) και επανήλθε. Η προπληρωμή περίπου 790 tok / s είναι το όριο εύρους ζώνης του υλικού, όχι της διαμόρφωσης. Τελική σουίτα: αποκωδικοποίηση συνομιλίας 69.1 tok / s, πρώτο διακριτικό 0.48 s. όλα τα αδιέξοδα τεκμηριώθηκαν, ώστε κανείς να μην τα επαναλάβει.

Νέες κυκλοφορίες, μετρημένες

Deepseek V4.1-Flash που εκτελείται τοπικά

Το DeepSeek V4.1-Flash, ένα μεγάλο μοντέλο MoE, τρέχει τώρα τοπικά στο Strata: οι hot experts παραμένουν στη μνήμη RAM και τα υπόλοιπα μεταδίδονται από το SSD. Μετρήσαμε 14 tok/s αποκωδικοποίηση. Στο τρέχον υλικό μας αυτό δεν αρκεί για τον κύριο εγκέφαλο του πράκτορα, αλλά λειτουργεί καλά ως μοντέλο δεύτερης γνώμης και ελεγκτής διανυκτέρευσης.

Τι σημαίνει αυτό για έναν πελάτη του Box

Αρχικό νήμα στο Χ · Όλα τα νέα