Πλαίσιο 256K σε RTX 3050 8GB σε σταθμό εργασίας με DDR3

Στις 11 Νοεμβρίου 2026 δημοσιεύτηκαν αποτελέσματα από τον σταθμό εργασίας P3001: Intel Xeon E5-2697 v2 (12 πυρήνες / 24 νήματα, μόνο AVX1), 64GB RAM ECC DDR3 εγκατεστημένα (το σύστημα βλέπει περίπου 62GB) στα 1333 MT/s, NVIDIA RTX 3050 8GB, SSD NVMe και Ubuntu 24.04. Το λογισμικό ήταν Strata 0.1.55 (δόμηση συμβατή με AVX) με το συμπιεσμένο μοντέλο Qwen3.8-Flash-Next IQ3_S.

Προηγούμενη διαμόρφωση 16K: 59 tok/s σε πραγματικό κείμενο

Νωρίτερα την ίδια ημέρα αναφέρθηκε στο ίδιο μηχάνημα διαμόρφωση πλαισίου 16K με κρυφή μνήμη KV 8 bit. Η κρυφή μνήμη KV είναι η μνήμη εργασίας του μοντέλου για τα τεκμήρια που έχουν ήδη επεξεργαστεί. Αριθμοί που δημοσιεύτηκαν με εκείνη την ανάρτηση:

Η ίδια ανάρτηση αναφέρει 59 tok/s στην αποκωδικοποίηση πραγματικού κειμένου και 120–132 tok/s prefill. Μεταγενέστερο νήμα διευκρινίζει ότι αυτά τα 59 tok/s προέρχονται από κερδοσκοπική αποκωδικοποίηση: το Strata προβλέπει πολλά επόμενα τεκμήρια και τα επαληθεύει μαζί. Σε πραγματικό κείμενο, η αποδοχή των προβλέψεων ήταν υψηλή· σε τεχνητό υλικό δοκιμής, όχι (περίπου 70% αποδοχή σε συνθετικό υλικό, σύμφωνα με την ανάρτηση 16K). Το prefill περιοριζόταν από τη DDR3-1333 και το AVX1· σε εκείνη τη διαμόρφωση 16K, τα 8GB VRAM περιόριζαν το πλαίσιο στα 16K.

Διαμόρφωση 256K

Ο δηλωμένος στόχος ήταν παράθυρο πλαισίου 256K τεκμηρίων — χωρητικότητα περίπου 262.144 τεκμηρίων σε ένα αίτημα. Μια πρώτη προσπάθεια απλώς ανέβασε το όριο στα 256K με κρυφή μνήμη KV 8 bit. Σύμφωνα με την ανάρτηση, το Strata προσπάθησε τότε να κρατήσει υπερβολικά μεγάλο μέρος αυτής της μνήμης εργασίας στα 8GB VRAM της GPU, η κρυφή μνήμη ειδικών στην GPU έπεσε σε μηδενικές θέσεις και ακολούθησε σφάλμα cuBLAS. Ο διακομιστής εξακολουθούσε να απαντά, αλλά η επιτάχυνση GPU δεν λειτουργούσε σωστά.

Η δημοσιευμένη λύση: μετάβαση της κρυφής μνήμης KV από int8 σε q4_0 (συμπίεση 4 bit), με τη μνήμη ανά τεκμήριο να πέφτει από περίπου 71KB σε 29,5KB· ρύθμιση –kv-resident 20480, ώστε μόνο 20.480 θέσεις KV να παραμένουν κάτοικοι στη μνήμη GPU και τα επιπλέον δεδομένα KV να προέρχονται από την κύρια μνήμη του συστήματος· διατήρηση 46,47GB ειδικών του μοντέλου σε κλειδωμένη (page-locked) μνήμη DDR3· διατήρηση 498 θέσεων κρυφής μνήμης ειδικών στη μνήμη GPU· και περιορισμός της κρυφής μνήμης προτροπών σε ένα ενεργό σημείο ελέγχου. Τελικές ρυθμίσεις που αναφέρθηκαν: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. Η ανάρτηση αναφέρει ότι το Strata ξεκίνησε τότε σωστά και δήλωσε max_context: 262144, loaded: true.

Μετρημένη ταχύτητα

Οι ακόλουθοι αριθμοί είναι μετρήσεις της ίδιας της μηχανής συμπερασμού, μία εκτέλεση ανά γραμμή — προκαταρκτικά δεδομένα, όχι μέσοι όροι επαναλαμβανόμενων δοκιμών. Το prefill είναι η επεξεργασία της εισόδου πριν από την απάντηση· το decode είναι η παραγωγή τεκμηρίου προς τεκμήριο· το TTFT είναι η αναμονή έως το πρώτο τεκμήριο απάντησης.

Η ανάρτηση σημειώνει ότι η αύξηση της εισόδου από περίπου 6K σε 160K τεκμήρια μείωσε το prefill μόνο από 188 σε 173 tok/s, ενώ το decode παρέμεινε γύρω στα 23–26 tok/s. Επαναλαμβανόμενη εκτέλεση 24K τεκμηρίων με αποθηκευμένο πλαίσιο μείωσε το TTFT από 128,3 δευτερόλεπτα σε 0,49 δευτερόλεπτα. Μια ψυχρή είσοδος 160K τεκμηρίων χρειάστηκε περίπου 15,5 λεπτά έως το πρώτο τεκμήριο απάντησης — αποδίδεται στο στενό σημείο του παλιού Xeon και της μνήμης DDR3. Αναφέρεται έκθεση πράκτορα για εκτέλεση 200K τεκμηρίων, αλλά η πλήρης αριθμητική γραμμή εκείνης της εκτέλεσης δεν είναι στον πίνακα.

Σημαντική διάκριση στο νήμα: τα 256K είναι το ρυθμισμένο και δηλωμένο όριο πλαισίου. Οι λεπτομερείς μετρήσεις φτάνουν τα 160K, όχι τα πλήρη 256K. Το πλήρες παράθυρο 262K δεν είχε ακόμη μετρηθεί τη στιγμή των αναρτήσεων. Μια απάντηση εκτιμά περίπου 26 λεπτά ψυχρού prefill για τα πλήρη 262K και αναφέρει ότι αυτό χρειάζεται ακόμη μέτρηση. Τα 59 tok/s δεν έχουν καθιερωθεί για φορτία με πλαίσιο 256K. Το prefill της νέας διαμόρφωσης ήταν υψηλότερο από εκείνο της προηγούμενης διαμόρφωσης 16K· το νήμα το αντιμετωπίζει ως παρατηρημένη διαφορά μεταξύ διαμορφώσεων, όχι ως απόδειξη μιας μοναδικής αιτίας, επειδή άλλαξαν επίσης η μορφή KV και η διάταξη μνήμης.

Περιορισμοί και εκτίμηση ενέργειας

Περιορισμοί που απαριθμούνται στο νήμα: η μνήμη GPU σχεδόν γεμάτη, περίπου 7,5–7,7GB από 8GB σε χρήση, με ορισμένες εκτελέσεις να προειδοποιούν ότι απέμεναν ελεύθερα μόνο 193–331MB· κύρια μνήμη συστήματος περίπου 53GB από 62GB, εκ των οποίων περίπου 46,5GB καταλαμβάνονται από ειδικούς του μοντέλου κλειδωμένους στη μνήμη· μόνο ένα θερμό σημείο ελέγχου κρυφής μνήμης προτροπών, ώστε η εναλλαγή μεταξύ πολύ μεγάλων συνομιλιών μπορεί να απαιτεί επανεπεξεργασία των εισόδων (ένα σημείο ελέγχου 200K τεκμηρίων από μόνο του μπορεί να καταλαμβάνει περίπου 4,7GB)· και οι μεγάλες ψυχρές προτροπές είναι αργές.

Κατά προσέγγιση εκτίμηση ενέργειας για το prefill 160K αναφέρεται ως 300W × 15,5 λεπτά ≈ 0,078 kWh. Με 0,25 €/kWh, αυτό είναι περίπου 0,02 € ηλεκτρικής ενέργειας. Η ανάρτηση το χαρακτηρίζει εκτίμηση, όχι μέτρηση ενέργειας.

Το πρακτικό συμπέρασμα του νήματος είναι ότι η οικονομική τοπική ΤΝ δεν προορίζεται να ανταγωνιστεί τα μοντέλα νέφους σε μακρές, απαιτητικές συνεδρίες, όπου οι υπηρεσίες νέφους είναι συχνά ταχύτερες και οικονομικότερες. Το κύριο πλεονέκτημα αυτών των παλιών, φθηνών υπολογιστών είναι το απόρρητο: η επεξεργασία ευαίσθητων εγγράφων τοπικά. Για πολλές από αυτές τις εργασίες αρκεί ένα μικρό παράθυρο πλαισίου. Το δημοσιευμένο αποτέλεσμα είναι ότι μια RTX 3050 8GB μπορεί να εκτελέσει τοπικό μοντέλο ρυθμισμένο στα 256K χωρίς να μεταφέρει όλη τη μνήμη εργασίας στη VRAM. Απαιτούνται περαιτέρω μετρήσεις — συμπεριλαμβανομένου του πλήρους εύρους πλαισίου, της επαναληψιμότητας και της ποιότητας στις εργασίες.

Τα αποτελέσματα των μετρήσεων και τα αρχεία καταγραφής δημοσιεύονται σε δημόσιο αποθετήριο.

Το αποθετήριο του έργου στο GitHub · Ανάρτηση στο X · Αποτελέσματα 16K · Όλα τα νέα