Νέα
RTX 3060 12 ΜΒ κάτω από το συνεχές φορτίο: 60-68 tok/s στο τελευταίο διακριτικό
Μετρήσαμε την ταχύτητα μέσα σε κάθε μακρά απάντηση, token by token, αντί για μέσο όρο: 60-68 tok/s με συλλογισμό σε μια απάντηση 8192-token στο πλαίσιο 16K, 79-96 tok/s χωρίς συλλογισμό και μόνο περίπου το 8% έχασε από ένα 1K σε μια προτροπή 30K. Και τα 145 αρχεία raw είναι διαθέσιμα για λήψη.
Στις 30 Οκτωβρίου 2026 εκτελέσαμε μια μακρά σειρά μετρήσεων στο B2003, τον πειραματικό μας υπολογιστή με RTX 3060 12 GB. Το αποτέλεσμα: με το σκεπτικό on (Η προεπιλογή), το Qwen3.8-Flash-Next IQ3_S στο Strata κρατά 60-68 tok/s από το πρώτο token στο 8192nd σε μια προτροπή 16K, χωρίς σταγόνες. Με τη συλλογιστική off τρέχει σε 79-96 tok/s. ένα σχεδόν πλήρες πλαίσιο κοστίζει μόνο περίπου 8%: από ένα 1K σε ένα 30K προτροπή ο διάμεσος πηγαίνει από 88 σε 84 tok/s.
Το προηγούμενο άρθρο μας ανέφερε έως και 68 tok/s αποκωδικοποίηση σε αυτήν την κάρτα. Οι δύο ερωτήσεις που μας τίθενται περισσότερο στο Χ είναι αν αυτή η ταχύτητα κρατά μέσα από μια μακρά απάντηση ή είναι μόνο μια κορυφή προθέρμανσης και αν η απόδοση κατέχει στο δεύτερο μισό ενός μακρού πλαισίου. Για να τους απαντήσουμε, χρονομετρήσαμε κάθε διακριτικό ροής αντί για μέσο όρο σε ολόκληρη την απάντηση.
Ελέγξαμε την ταχύτητα σε διαστήματα της ίδιας απάντησης, το πλαίσιο από 1K έως 30K μάρκες, μια κρύα και ζεστή προσωρινή μνήμη, Γρήγορη και ακριβή δρομολόγηση εμπειρογνωμόνων, τρεις τύπους περιεχομένου (JSON, C code, Ρωσική Τεχνική πεζογραφία), GPU ισχύ, ρολόγια και θερμοκρασία και αν η ίδια η έξοδος παρέμεινε σωστή.
Εγκατάσταση
- Μηχανή B2003: ASUS Pro Q870I-C, Intel Core Ultra 7 265, 2×24 GiB DDR5-5600.
- GPU: RTX 3060 12 GB (GA106), οδηγός 615.71.10, ξεκλείδωμα GPU, όριο ισχύος 170 W.
- Αποθήκευση: Lexar nm1090 PRO 2 TB NVMe (PCIe 5.0 ×4).
- Σύστημα: Ubuntu 24.04.5, πυρήνας 7.0.0-38.
- Κινητήρας: Strata 0.1.52 (build f-027-rel).
- Μοντέλο: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 GiB, 2 θραύσματα).
--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1 STRATA_RESIDENT_HEADROOM_GIB=10Μεθοδολογία
- Ο διακομιστής δεν εκθέτει /tokenize, έτσι τα tokens μετρήθηκαν από τις χρονικές σημάνσεις των streamed SSE chunks (1 chunk ≈ 1 token, check: 5478 chunks έναντι 5479 tokens σε χρήση.completion_tokens) και αγκυροβολημένο στον ακριβή τελικό αριθμό διακριτικών. Λέξεις και γραμμές δεν χρησιμοποιήθηκαν.
- Οι προτροπές βαθμονομήθηκαν με ανιχνευτές χρησιμοποιώντας max_tokens: 1 (20,2 μάρκες ανά πρόταση πλήρωσης, 145 μάρκες σταθερού κόστους). το πραγματικό μέγεθος ελέγχθηκε έναντι της χρήσης.prompt_tokens.
- Το μήκος απάντησης ήταν 32768 μείον την προτροπή μείον ένα περιθώριο, μέχρι 8192 μάρκες.στα 30K αυτό είναι 2048 μάρκες.
- Κάθε βασικό σενάριο επαναλήφθηκε τουλάχιστον 3 φορές.αναφέρουμε το διάμεσο, το ελάχιστο και το μέγιστο. Ο θόρυβος αποκωδικοποίησης είναι ±20% και ο θόρυβος προφίλμ ±5% * μικρότερες διαφορές δεν μετρήθηκαν ως αποτελέσματα.
- Η τηλεμετρία υλικού καταγράφηκε κάθε 3 δευτερόλεπτα (ρολόγια, ισχύς, θερμοκρασία, χρήση, VRAM, ελεύθερη μνήμη RAM, ανταλλαγή, μετρητές ανάγνωσης NVMe). Η προπληρωμή, η αποδοχή του σχεδίου MTP, οι επισκέψεις εμπειρογνωμόνων και οι αναγνώσεις αρχείων προέρχονται από το αρχείο καταγραφής του κινητήρα.
- Δύο τρόποι δρομολόγησης εμπειρογνωμόνων: γρήγορη (προεπιλεγμένη δρομολόγηση, προηγούμενη 1.5) και ακριβής (STRATA_ROUTE_PRIOR=0). Οι λειτουργίες άλλαξαν με την επανεκκίνηση του κινητήρα.
- 4 σειρές στο αρχείο ακριβούς λειτουργίας παρήχθησαν από την fast engine επειδή το σενάριο μπλοκ ξαναγράφηκε κατά τη διάρκεια της εκτέλεσης. Εξαιρούνται από τους πίνακες και φυλάσσονται στο αρχείο ως έχουν.
- Συνολικά: 52 μετρημένες διαδρομές σε 13 αρχεία JSONL (14 σε γρήγορη λειτουργία, 13 σε ακριβή λειτουργία και 25 παραλλαγές: συλλογιστική, ζεστή κρυφή μνήμη, κώδικας, πεζογραφία, όριο περιβάλλοντος, βαθμονόμηση), συν τις 4 εξαιρούμενες σειρές.
Αποτελέσματα: ταχύτητα μέσα στην απάντηση
Τιμές σε tok/s, διάμεσος (min-max). Το πλαίσιο είναι το μέγεθος προτροπής σε μάρκες.η απάντηση είναι μέχρι 8192 μάρκες (2048 στα 30K).
Γρήγορη λειτουργία, Απενεργοποίηση συλλογισμού
| Πλαίσιο | Εκτελέσετε | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Ουρά | Ολόκληρη η απάντηση |
|---|---|---|---|---|---|---|---|---|---|
| 983–1516 | 3 | 86 (56–86) | 87 (87–88) | 86 (85–88) | 88 (88–90) | — | — | 92 | 88 (55–89) |
| 7865 | 2 | 84 (81–87) | 96 (93–99) | 94 | 95 (94–96) | — | — | 94 | 93 (93–94) |
| 15816 | 3 | 79 (77–88) | 86 (86–96) | 90 (90–96) | 92 (90–98) | 93 (93–96) | 93 (92–96) | 95 | 91 (90–96) |
| 23917 | 3 | 81 (77–85) | 86 (83–91) | 83 (81–92) | 90 (80–90) | 96 | — | 83 | 86 (80–92) |
| 30153 | 3 | 78 (77–78) | 86 (86–87) | 86 (85–88) | — | — | — | 86 | 84 (84–85) |
Γρήγορη λειτουργία, συλλογιστική (προεπιλεγμένη συμπεριφορά)
| Πλαίσιο | Εκτελέσετε | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Ουρά | Ολόκληρη η απάντηση |
|---|---|---|---|---|---|---|---|---|---|
| 15854 | 1 | 61 | 68 | 61 | 59 | 58 | 60 | 85 | 60 |
| 30191 | 1 | 66 | 56 | 65 | — | — | — | 96 | 63 |
Ακριβής λειτουργία, Απενεργοποίηση συλλογισμού
| Πλαίσιο | Εκτελέσετε | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Ουρά | Ολόκληρη η απάντηση |
|---|---|---|---|---|---|---|---|---|---|
| 1011 | 2 | 27 (26–29) | 28 (26–29) | 27 (26–28) | 25 (24–26) | 25 (24–25) | 23 | 26 | 25 (25–26) |
| 7893 | 2 | 29 (29–30) | 30 (29–31) | 28 (24–31) | 27 (22–31) | 26 (21–31) | 27 | 24 | 26 (23–30) |
| 15814 | 3 | 29 (26–32) | 27 (25–32) | 26 (22–28) | 23 (20–24) | 23 (20–23) | 22 | 21 | 24 (21–24) |
| 23915 | 3 | 31 (30–32) | 32 (31–34) | 29 (26–31) | 25 (25–28) | 24 | — | 24 | 26 (26–29) |
| 30151 | 3 | 32 (28–32) | 32 (30–33) | 29 (29–30) | — | — | — | 29 | 30 |
Στη γρήγορη λειτουργία η ταχύτητα είναι επίπεδη ή ανεβαίνει προς το τέλος της απάντησης (16K: 79 → 93, ουρά 95). Μια επιβράδυνση προς το τέλος εμφανίζεται μόνο σε ακριβή λειτουργία: 29 → 22 πάνω από 8000 μάρκες (-24%). Η ακριβής λειτουργία με το σκεπτικό στο 16K δίνει 25 tok/s για ολόκληρη την απάντηση. Η γρήγορη δρομολόγηση είναι 3,8× ταχύτερη από την ακριβή δρομολόγηση.
Τύπος περιεχομένου (γρήγορη λειτουργία, πλαίσιο 16K)
| Εργασία | Απάντηση, μάρκες | Ολόκληρη η απάντηση, tok/s | Δεκτά σχέδια MTP |
|---|---|---|---|
| JSON array of records | 8192 | 91 (90–96) | 92% (90–98%) |
| Κωδικός Γ | 7332 | 59 | 74% |
| Ρωσική Τεχνική πεζογραφία | 4730 | 40 (40–43) | 38% (1327/3485) |
Οι διαφορές είναι αρκετές φορές μεγαλύτερες από την αποκωδικοποίηση του θορύβου: η προβλέψιμη δομή επιταχύνει τη δημιουργία 2–2.3×, Η ελεύθερη πεζογραφία την επιβραδύνει. Αυτή είναι μια ιδιότητα του περιεχομένου, όχι μια επιβράδυνση με την πάροδο του χρόνου.
Προπληρώστε, ώρα για το πρώτο διακριτικό και άμεση προσωρινή μνήμη
| Περίπτωση | Προτροπή, μάρκες | Κρύο προφίλτρο, tok/s | Κρύο TTFT | Ζεστό TTFT | Επαναχρησιμοποιημένα μάρκες |
|---|---|---|---|---|---|
| 1K | 983–1516 | 293 | 3.4–3.8 s | — | 0 |
| 8K | 7865 | 865 | 9.1–9.2 s | — | 0 |
| 16K | 15816 | 908 | 17.3–17.6 s | 0.2 s | 15 803 |
| 24K | 23917 | 914 | 25.4–26.3 s | — | 0 |
| 30K | 30153 | 892 | 33.6–34.5 s | 0.4 s | 30 141 |
Μια προσωρινή μνήμη warm prompt αφαιρεί σχεδόν όλη την προπληρωμή (17,4 s → 0,2 s στα 16K, 33,6 s → 0,4 s στα 30K) και δεν αλλάζει την ταχύτητα αποκωδικοποίησης. Τα Expert-cache hits ήταν 98,7-98,8% σε γρήγορη λειτουργία.οι αναγνώσεις NVMe ήταν 1,1–3,3 GB/s ενώ οι εμπειρογνώμονες φορτώνονταν και σχεδόν μηδενίστηκαν κατά τη διάρκεια σταθερής αποκωδικοποίησης JSON.
Σε μια προτροπή 30.151 συμβόλων με όριο 32.768, ο κινητήρας περικόπτει τον ίδιο τον προϋπολογισμό απάντησης και Τελειώνει με διακοπή ή μήκος, χωρίς σφάλμα. Μόνο μια προτροπή που δεν ταιριάζει από μόνη της επιστρέφει το σφάλμα 400.
Υλικό κατά τη διάρκεια των διαδρομών
| Μπλοκ | Δύναμη | Θερμοκρασία | Ρολόι SM | ΒΡΑΜ | Εναλλαγή | NVMe διαβάστε |
|---|---|---|---|---|---|---|
| Γρήγορη λειτουργία | 162–169 W (max 170.2) | 74–76 °C | 1815–1875 MHz | 11 409–11 423 MiB | 0 | 0.2–4.7 GB/s (6.6) |
| Ακριβής λειτουργία | 88–105 W (max 167) | 62–71 °C | 1965–1972 MHz | 11 425 MiB | 0 | 1.6–2.3 GB/s (6.1) |
Κυμαίνεται μεταξύ των μετρούμενων μπλοκ. μέγιστες τιμές σε παρένθεση. Η γρήγορη λειτουργία περιορίζεται από την ισχύ της GPU: στο καπάκι των 170 W τα ρολόγια πέφτουν από 2160 MHz σε 1815-1875 MHz στους 75 °C, χωρίς θερμικό στραγγαλισμό, 11,4 από 12,3 GiB VRAM σε χρήση και χωρίς ανταλλαγή. Σε ακριβή λειτουργία, η GPU αντλεί περίπου τη μισή ισχύ στα μέγιστα ρολόγια: περιμένει εμπειρογνώμονες αντί να εργάζεται, γι ' αυτό και η ταχύτητα πέφτει.
Ποιότητα παραγωγής
- Η μορφή JSON δεν σπάει: και στις 12 διαδρομές που αποκόπηκαν από το όριο κάθε εγγραφή παρέμεινε έγκυρη.μόνο ο ίδιος ο πίνακας έμεινε ανοιχτός.
- Μια εντολή από την αρχή της προτροπής εξακολουθεί να ακολουθείται στα 30K (ο κανόνας ετικέτας που κρατείται στην ουρά, 50/50 και 22/22).
- Ένας δείκτης από τη μέση του εγγράφου ανακαλείται στα 16K και 24K αλλά χάνεται στα 30K, και στις δύο λειτουργίες.
- Η κύρια αδυναμία της γρήγορης λειτουργίας είναι η επανάληψη οντοτήτων σε μεγάλες λίστες (26-28 μοναδικοί κωδικοί από περίπου 190) και ένας βρόχος 122 διπλών γραμμών στα 30K. η ακριβής λειτουργία στα 16K κράτησε 168/168 και 193/193 μοναδικά, αλλά στα 24K και 30K μπορεί επίσης να καταρρεύσει σε 26-33 μοναδικούς κωδικούς σε μια εκτέλεση.
- Ο κώδικας C σε γρήγορη λειτουργία παρήγαγε 255 επαναλαμβανόμενες γραμμές από τις 681, οπότε οι εργασίες κώδικα σε γρήγορη λειτουργία δεν είναι αξιόπιστες.
Όρια αυτού του πειράματος
Ένα μηχάνημα και μία κατασκευή: τα συμπεράσματα σχετικά με το όριο ισχύος GPU και την παροχή εμπειρογνωμόνων ισχύουν για αυτήν την κάρτα με όριο 170 W και 12 GiB VRAM. Οι λειτουργίες άλλαξαν με την επανεκκίνηση του κινητήρα, έτσι οι λειτουργίες σε μία λειτουργία ήταν διαδοχικές και η σειρά δεν ήταν πλήρως τυχαιοποιημένη. Η ακριβής λειτουργία με ζεστή μνήμη cache εκτελέστηκε μία φορά και η ακριβής λειτουργία στα 1K και 8K είχε 2 επαναλήψεις αντί για 3.
Τι σημαίνει αυτό για έναν πελάτη του Box
- Μια προσιτή κάρτα 12 GB διατηρεί 60-68 tok/s μέσω μακρών απαντήσεων, όχι μόνο στην αρχή.
- Τα μακρά έγγραφα στο πλαίσιο κοστίζουν μικρή ταχύτητα και ένα επαναλαμβανόμενο πλαίσιο απαντάται σχεδόν αμέσως χάρη στην προσωρινή μνήμη.
- Η λειτουργία επιλέγεται ανά εργασία: γρήγορη για δομημένα δεδομένα, ακριβής όταν οι μεγάλες λίστες πρέπει να παραμείνουν μοναδικές.
Ακατέργαστα δεδομένα
Και τα 145 αρχεία αυτού του πειράματος είναι διαθέσιμα για λήψη: 13 αρχεία αποτελεσμάτων JSONL, 102 κείμενα απαντήσεων και συλλογισμών, τηλεμετρία υλικού, αρχεία καταγραφής κινητήρα, σενάρια, κατάσταση συστήματος, αρχική αναφορά στα ρωσική και το προσχέδιο στα αγγλικά. Τα κλειδιά πρόσβασης, οι εσωτερικές διευθύνσεις, τα ονόματα χρηστών και οι εσωτερικές διαδρομές καταργήθηκαν πριν από τη δημοσίευση.