CLARYEL CLARYEL Box
Ζητήστε διαμόρφωση

Νέα

Η πειραματική μας διαμόρφωση: ένα μοντέλο ~83,6 GB που εκτελείται τοπικά σε οικονομικό RTX 3060

Qwen3.8-Flash-Next IQ3_S σε RTX 3060 12 GB με μόλις 48 GB μνήμης RAM συστήματος. Κανένα συμπέρασμα σύννεφο. Απλώς προσιτό υλικό για καταναλωτές.

Τοπικό συμπέρασμα AI Strata: 68 tokens ανά δευτερόλεπτο σε RTX 3060 12 GB με 48 GB DDR5

Αυτό είναι απίστευτο!

Το Qwen3.8-Flash-Next IQ3_S (~83,6 GB) τρέχει τοπικά σε μια οικονομική RTX 3060 12 GB με μόλις 48 GB μνήμης RAM συστήματος!

Έως 68 μάρκες/δευτ.

Powered by Strata by coldniko. Κανένα συμπέρασμα σύννεφο. Απλά προσιτό καταναλωτικό υλικό!

Πλήρεις δείκτες αναφοράς, προδιαγραφές υλικού, βελτιστοποιήσεις και ανταλλαγές παρακάτω.

Μπορείτε να μεταβείτε κατευθείαν στα βασικά φαγητά στο τελευταίο τμήμα.

Το υλικό πίσω από αυτά τα αποτελέσματα

Χωρίς GPU κέντρου δεδομένων, χωρίς ακριβό διακομιστή πολλαπλών GPU και χωρίς τεράστια διαμόρφωση RAM.

Ολόκληρο το πείραμα πραγματοποιήθηκε σε έναν αρκετά συνηθισμένο υπολογιστή καταναλωτή/σταθμού εργασίας.

Ο συμπαγής υπολογιστής που χρησιμοποιήθηκε για το πείραμα

CPU

Μητρική πλακέτα

Μνήμη

GPU

Αποθήκευση

OS

Δίκτυο

Η κρίσιμη λεπτομέρεια: το μοντέλο είναι πολύ μεγαλύτερο από τη διαθέσιμη VRAM και τη RAM μαζί.

Αυτό ακριβώς κάνει αυτό το πείραμα ενδιαφέρον.

Αρχιτεκτονική μοντέλου, κινητήρα και μνήμης

Μοντέλο

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

Δύο θραύσματα GGUF:

Πρόσθετα εξαρτήματα

Μηχανή συμπερασμάτων

Πραγματική κατανομή μνήμης

Σημαντικές ρυθμίσεις διαμόρφωσης

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

Αυτή δεν είναι μια συμβατική ρύθμιση "φόρτωσης ολόκληρου του μοντέλου στη μνήμη GPU".

Το Strata χρησιμοποιεί μνήμη GPU, μνήμη RAM συστήματος, ειδική προσωρινή αποθήκευση και αποθήκευση NVMe μαζί.

Η σημαντική βελτιστοποίηση είναι η ελαχιστοποίηση των δαπανηρών μεταφορών ειδικών, διατηρώντας παράλληλα την GPU παραγωγική.

Πραγματικά αποτελέσματα αναφοράς

Ίδιο μοντέλο, ίδιο υλικό, δύο διαμορφώσεις δρομολόγησης.

Λειτουργία Α: γρήγορη, μεροληπτική δρομολόγηση ειδικών με γνώμονα την κατοικία (πρώην = 1,5)

ΠλαίσιοΠροπλήρωσηΨυχρή αποκωδικοποίησηΖεστή αποκωδικοποίηση
1K285 tok/s42 tok/s61 tok/s
4K804 tok/s50 tok/s65 tok/s
8K819 tok/s61 tok/s68 tok/s
16K916 tok/s60 tok/s68 tok/s
30K890 tok/s58 tok/s61 tok/s

Κρύος χρόνος μέχρι το πρώτο κουπόνι:

Για σύγκριση, η λειτουργία Β απενεργοποιεί τη δρομολόγηση βάσει κατοικίας (προηγούμενη = 0):

ΠλαίσιοΠροπλήρωσηΨυχρή αποκωδικοποίησηΖεστή αποκωδικοποίηση
1K282 tok/s24 tok/s27 tok/s
4K781 tok/s29 tok/s26 tok/s
8K789 tok/s30 tok/s32 tok/s
16K889 tok/s30 tok/s29 tok/s
30K878 tok/s26 tok/s27 tok/s

Εκτέλεση γενιάς 500 διακριτικών:

Οι μετρήσεις ταχύτητας διασταυρώθηκαν με χρονισμούς ροής από την πλευρά του πελάτη.

Κύρια παρατήρηση:

Η απενεργοποίηση της δρομολόγησης με βάση την κρυφή μνήμη μπορεί να μειώσει την ταχύτητα αποκωδικοποίησης κατά περίπου 2–2,4×.

Αλλά υπάρχει ένας σημαντικός λόγος για να μην αφήσετε την επιθετική δρομολόγηση ενεργοποιημένη για κάθε φόρτο εργασίας. Περισσότερα για αυτό στην επόμενη ενότητα.

Ταχύτητα έναντι ποιότητας μοντέλου: η κρυφή ανταλλαγή

Σε αυτήν την έκδοση κινητήρα Strata, οι GPU με ≤13 GB VRAM χρησιμοποιούν αυτόματα δρομολόγηση με βάση την κατοικία:

STRATA_ROUTE_PRIOR=1.5

Αυτό ευνοεί τους ειδικούς που είναι ήδη διαθέσιμοι στη γρήγορη μνήμη αντί να επιλέγουν πάντα τους ειδικούς που θα προτιμούσε ο αρχικός δρομολογητής.

Το όφελος είναι δραματικό:

Αλλά αυτό ΔΕΝ είναι δωρεάν βελτιστοποίηση.

Η αλλαγή της επιλογής ειδικών μπορεί να αλλάξει τη συμπεριφορά του μοντέλου, να αυξήσει την απόκλιση από το αρχικό μοντέλο και να επηρεάσει τη μακροχρόνια συλλογιστική ή τις ροές εργασίας των πρακτόρων.

Σύμφωνα με την αξιολόγηση του προγραμματιστή σε 10 εργασίες πρακτόρων:

Τα ίδια τα αποτελέσματα της γραμμής βάσης διέφεραν μεταξύ των μετρήσεων, επομένως αυτό είναι ένα κατευθυντικό αποτέλεσμα και όχι μια οριστική μέτρηση ποιότητας.

Οι δικοί μου έξι σύντομοι έλεγχοι αντιπροσώπων πέρασαν και στις δύο λειτουργίες.

Ωστόσο, μια ξεχωριστή επανάληψη εκτεθειμένη σε στρες μοναδικότητας:

Το συμπέρασμα είναι ξεκάθαρο:

Και η ταχύτητα αναφοράς από μόνη της δεν πρέπει ποτέ να συγχέεται με την ποιότητα του μοντέλου.

Η άμεση προσωρινή αποθήκευση αλλάζει τα πάντα

Ένα από τα πιο εντυπωσιακά αποτελέσματα ήταν η μη ταχύτητα αποκωδικοποίησης. Ήταν ο χρόνος απόκρισης για επαναλαμβανόμενα αιτήματα που χρησιμοποιούν την ίδια προτροπή.

Με μια προτροπή πλήρως αποθηκευμένη στην προσωρινή μνήμη:

ΠλαίσιοΚρύο TTFTΑποθηκευμένο TTFT
1K3.7 s0.08 s
4K4.9 s0.08 s
8K9.7 s0.27 s
16K17.3 s0.34 s
30K33.9 s0.44 s

Αυτός είναι περίπου 45–90× λιγότερος χρόνος για το πρώτο διακριτικό σε αυτές τις διαδρομές.

Η προσωρινή μνήμη προτροπής κάνει τεράστια διαφορά όταν κάνετε επανειλημμένα ερωτήματα για το ίδιο μεγάλο έγγραφο ή διατηρείτε μια συνομιλία με σταθερό περιβάλλον.

Ο κινητήρας έχει επίσης διαμορφωθεί για αποθήκευση συνομιλιών στην κρυφή μνήμη:

Υπάρχει μια σύλληψη: αυτά τα αποτελέσματα είναι για πανομοιότυπα μηνύματα με μια πλήρως επαναχρησιμοποιήσιμη προσωρινή μνήμη.

Δεν σημαίνουν ότι τα αυθαίρετα νέα μηνύματα 30K-token θα επεξεργαστούν σε μισό δευτερόλεπτο.

Αλλά για το διαδραστικό τοπικό AI, μια ζεστή κρυφή μνήμη αλλάζει το παιχνίδι.

Το μυστήριο του SSD: Το PCIe 5.0 δεν είναι το σημείο συμφόρησης

Στην αρχή, η μονάδα δίσκου NVMe φαινόταν ύποπτα αργή. Ερευνήσαμε τη σύνδεση PCIe, την τοπολογία αποθήκευσης και την πραγματική συμπεριφορά I/O.

Η μονάδα δίσκου: Lexar NM1090 PRO 2 TB, PCIe 5.0 × 4.

Επαληθευμένη σύνδεση PCIe:

Έτσι, η μονάδα λειτουργεί με την πλήρη ταχύτητα σύνδεσης PCIe 5.0.

Απευθείας αποθηκευμένα σημεία αναφοράς ανάγνωσης:

Αυτό το παράλληλο αποτέλεσμα 10,94 GB/s είναι ιδιαίτερα σημαντικό: υπερβαίνει το πρακτικό εύρος ζώνης του PCIe 4,0 ×4.

Γιατί η παροχή μιας ροής είναι πολύ χαμηλότερη;

Επειδή το εύρος ζώνης PCIe δεν είναι το ίδιο πράγμα με την απόδοση σε επίπεδο εφαρμογής.

Το βάθος της ουράς, το μέγεθος εισόδου/εξόδου, ο παραλληλισμός αιτημάτων και ο λανθάνων χρόνος έχουν σημασία.

Το μοτίβο φόρτωσης ειδικών της Strata είναι πολύ πιο κοντά στην περίπτωση χαμηλότερης συγχρονισμού παρά σε ένα συνθετικό σημείο αναφοράς μέγιστης απόδοσης.

Παρατηρούμενη απόδοση αποθήκευσης κινητήρα:

Η διαφορά προέρχεται από το πόσοι ειδικοί πρέπει να ληφθούν και όχι από μια υποβάθμιση PCIe.

Μια ακόμη χρήσιμη λεπτομέρεια: το ίδιο το RTX 3060 είναι μια συσκευή PCIe 4.0. Το να βλέπεις τη σύνδεσή του να πέφτει στο Gen1 ενώ είναι σε αδράνεια είναι φυσιολογική συμπεριφορά διαχείρισης ενέργειας.

Ελέγχετε πάντα ποια συσκευή μετράτε προτού διαγνώσετε ένα πρόβλημα PCIe.

Ένα σημαντικό μάθημα: μην αφήνετε το Linux να αποθηκεύει προσωρινά ένα μοντέλο 83,6 GB σε μηχανή 48 GB

Αντιμετωπίσαμε ένα σοβαρό πρόβλημα κατά την αρχική εκκίνηση.

Η πρώτη διαμόρφωση επέτρεψε την προσωρινή φόρτωση των αρχείων μοντέλου.

Το μοντέλο είναι ~83,6 GB, ενώ το σύστημα έχει μόνο 48 GB φυσικής RAM.

Κάτω από αυτόν τον φόρτο εργασίας, το Linux εισήγαγε σοβαρή πίεση ανάκτησης μνήμης. Το μηχάνημα έγινε σχεδόν αδιάφορο, συμπεριλαμβανομένης της συνδεσιμότητας SSH, και χρειάστηκε αναγκαστική επανεκκίνηση.

Η λύση ήταν η αλλαγή της στρατηγικής φόρτωσης και η εισαγωγή διασφαλίσεων μνήμης.

Τρέχουσες ρυθμίσεις:

Μετά από αυτές τις αλλαγές:

Το μάθημα:

Η εκτέλεση ενός μοντέλου μεγαλύτερου από τη φυσική σας μνήμη είναι δυνατή, αλλά η λογιστική μνήμης είναι απολύτως κρίσιμη.

Η πίεση της προσωρινής μνήμης σελίδας, τα καρφιτσωμένα δεδομένα μοντέλων, οι ειδικοί που κατοικούν και η κρυφή μνήμη KV πρέπει να ληφθούν υπόψη μαζί.

Μην αντιγράφετε τυφλά σημαίες μέγιστης απόδοσης από μηχανήματα με πολύ μεγαλύτερες διαμορφώσεις RAM.

Κατανάλωση ενέργειας, θερμικά και κόστος συμπερασμάτων

Αυτή είναι μια άλλη ευχάριστη έκπληξη.

Μετρημένη ισχύς εξαρτήματος:

Σε αδράνεια με φορτωμένο μοντέλο:

Κατά τη διάρκεια της γενιάς:

Εκτιμώμενη συνολική ισχύς συστήματος στον τοίχο (δεν μετράται με μετρητή τοίχου):

Παρατηρούμενες θερμοκρασίες:

Δεν παρατηρήθηκε θερμικός στραγγαλισμός.

Σε υποτιθέμενη τιμή ηλεκτρικής ενέργειας 0,25 €/kWh:

Αυτό καθιστά απολύτως ρεαλιστικό τη λειτουργία ενός ικανού, που διατηρεί το απόρρητο τοπικό τελικό σημείο AI στο σπίτι.

Φυσικά, αυτά είναι το εκτιμώμενο κόστος ηλεκτρικής ενέργειας, όχι το συνολικό κόστος ιδιοκτησίας. Εξαιρούνται οι αποσβέσεις υλικού, η ψύξη και η συντήρηση.

Εκεί που η ρύθμιση του RTX 3060 σταματά να έχει νόημα

Αυτή η διαμόρφωση είναι εξαιρετική για σύντομα διαδραστικά αιτήματα, αλλά έχει όρια.

Το πιο σημαντικό:

Για σύγκριση, έτρεξα το ίδιο μοντέλο σε ένα πιο ισχυρό τοπικό σύστημα με GPU 24 GB.

Μετρημένη απόδοση σε αυτό το σύστημα:

Το σύστημα RTX 3060 παρέχει πολύ χαμηλότερη απόδοση προπλήρωσης και περίπου τη μισή απόδοση αποκωδικοποίησης σε συγκρίσιμες περιπτώσεις, με το ένα όγδοο του διαθέσιμου περιβάλλοντος.

Ωστόσο, η κάρτα των 12 GB είναι πολύ πιο προσιτή και παραμένει εντυπωσιακά χρήσιμη.

Η τρέχουσα προσέγγισή μου:

Το θέμα δεν είναι να προσποιηθείς ότι μια φθηνή GPU αντικαθιστά μια μηχανή υψηλής τεχνολογίας.

Το θέμα είναι πόσο χρήσιμο τοπικό AI μπορεί ήδη να τρέξει σε φθηνό υλικό.

Τι θα μπορούσε ακόμα να βελτιστοποιηθεί;

Το σύστημα αποδίδει ήδη καλά, αλλά υπάρχουν μερικές ενδιαφέρουσες οδούς για περαιτέρω πειράματα.

Ταυτόχρονα συμπέρασμα

Η επιλογή --slots 2 θα μπορούσε να βελτιώσει τη συνολική απόδοση με δύο ταυτόχρονες συνομιλίες.

Μια εκτιμώμενη συνολική απόδοση +10–12% είναι δυνατή για αυτόν τον φόρτο εργασίας, αλλά χρειάζεται επικύρωση.

Αυτό δεν σημαίνει ότι μια συνομιλία γίνεται 12% πιο γρήγορη.

Μεγαλύτερες παρτίδες προπλήρωσης

Τρέχον: --prefill 4096

Υποψήφιος: --prefill auto:16384

Τα μεγαλύτερα παράθυρα προπλήρωσης ενδέχεται να βελτιώσουν την επεξεργασία με μακροπρόθεσμη προτροπή, αλλά η διαθέσιμη VRAM είναι ήδη περιορισμένη.

Με κατειλημμένα περίπου 11,14 GiB από τα 12 GiB της GPU, η συμπεριφορά της μνήμης πρέπει να μετρηθεί προσεκτικά.

Περισσότερη μνήμη RAM συστήματος

Η χρήση --ple-io ram θα μπορούσε να φέρει περισσότερα δεδομένα μοντέλου στη μνήμη του συστήματος και να μειώσει τις αναγνώσεις αποθήκευσης.

Η τεκμηρίωση του προγραμματιστή προτείνει:

Αλλά αυτή η διαμόρφωση θα απαιτούσε σημαντικά περισσότερη μνήμη RAM, περίπου 72+ GiB για τη μετρημένη διάταξη.

Δεν είναι πρακτικό στην τρέχουσα διαμόρφωση των 48 GB.

κερδοσκοπική αποκωδικοποίηση

Η κερδοσκοπική αποκωδικοποίηση MTP είναι ήδη ενεργοποιημένη.

Παρατηρούμενη αποδοχή: ~33–41 αποδεκτά κουπόνια από τα 50–60 που έχουν συνταχθεί ή περίπου 65–70%.

Μεγαλύτερο πλαίσιο

Το τρέχον όριο 32K είναι ένα όριο λειτουργικής διαμόρφωσης, όχι απόδειξη ότι το ίδιο το μοντέλο υποστηρίζει μόνο 32K.

Η αύξησή του απαιτεί εκ νέου έλεγχο της χωρητικότητας της μνήμης, της συμπεριφοράς της κρυφής μνήμης KV, του λανθάνοντος χρόνου και της σταθερότητας.

Για αυτόν τον φόρτο εργασίας, η μείωση των ακριβών αναγνώσεων από ειδικούς και η βελτίωση των μοτίβων πρόσβασης μπορεί να έχουν μεγαλύτερη σημασία από την αύξηση του μέγιστου διαδοχικού εύρους ζώνης της μονάδας.

Όπως πάντα: συγκρίνετε τον πραγματικό φόρτο εργασίας, όχι μόνο τους αριθμούς μάρκετινγκ υλικού.

Τελικές σκέψεις

Να τι δείχνει αυτό το πείραμα.

Ένα κβαντισμένο μοντέλο MoE ~83,6 GB μπορεί να εκτελεστεί τοπικά σε:

Με μετρημένα αποτελέσματα έως:

Υπάρχουν όμως σημαντικές επιφυλάξεις.

Με ενδιαφέρει ιδιαίτερα τα πρακτικά οικονομικά της τοπικής τεχνητής νοημοσύνης.

Όχι μόνο το μέγιστο σημείο αναφοράς σε ένα σύστημα 10.000 €, αλλά η χρήσιμη απόδοση που επιτυγχάνεται σε καταναλωτικά μηχανήματα και προσιτές διαμορφώσεις που ξεκινούν από περίπου 1.000 €.

Το απόρρητο, η ανεξαρτησία, το ελεγχόμενο λειτουργικό κόστος και η χρησιμότητα στον πραγματικό κόσμο έχουν μεγαλύτερη σημασία από το να κυνηγάμε μόνο εντυπωσιακούς αριθμούς αναφοράς.

Αυτό είναι ακόμα ένα εξελισσόμενο πείραμα και θα συνεχίσω να μοιράζομαι τις μετρήσεις, τις αποτυχίες, τις αλλαγές διαμόρφωσης και τις βελτιώσεις.

Το μέλλον της τοπικής τεχνητής νοημοσύνης γίνεται ήδη εκπληκτικά προσιτό.

Μεταγενέστερες προσθήκες

Α, ξέχασα να αναφέρω ότι η GPU τρέχει με NVIDIA Unlock, το οποίο κυκλοφόρησε μόλις πριν από λίγες μέρες, την περασμένη εβδομάδα.

Ζήτησα τώρα από τον πράκτορά μου AI να εκτελέσει τα ίδια σημεία αναφοράς χωρίς το ξεκλείδωμα, ώστε να μπορούμε να συγκρίνουμε τα αποτελέσματα σε περίπου 15-20 λεπτά.

Τις επόμενες μέρες, αν και όχι σήμερα, θα εγκαταστήσω αυτήν την GPU σε ένα σύστημα που κοστίζει λιγότερο από 1.000 $ και θα δω πώς αποδίδει εκεί.

Αρχικό νήμα στο Χ · Όλα τα νέα