Πείραμα με κάρτα γραφικών AMD RX 580 των 49 €: μικρά μοντέλα και κατανάλωση ενέργειας

Στις 12 Νοεμβρίου 2026 εγκαταστάθηκε μια AMD Radeon RX 580 8 GB στον P3001, έναν μεταχειρισμένο σταθμό εργασίας με επεξεργαστή Xeon E5-2697 v2 και 64 GB μνήμης ECC DDR3-1333 εγκατεστημένα σε λειτουργία τεσσάρων καναλιών (το σύστημα βλέπει περίπου 62 GB). Η κάρτα αγοράστηκε προς 49 €: 45 € η ίδια η κάρτα και 4 € η αποστολή. Πρόκειται για την παραλλαγή RX 580 2048SP: έχει 2.048 επεξεργαστές ροής, όχι τους 2.304 μιας «πλήρους» RX 580, και ουσιαστικά βρίσκεται πιο κοντά σε μια RX 570. Η διάκριση αυτή μετράει στη σύγκριση με άλλες κάρτες της ίδιας γραμμής. Το λειτουργικό σύστημα είναι Ubuntu 24.04.

Το Strata δεν εκκινεί σε αυτή την κάρτα, και δεν σκοπεύουμε να ζητήσουμε υποστήριξη αυτού του μοντέλου GPU στο Strata: ο χρόνος του συγγραφέα αξιοποιείται καλύτερα σε πιο ικανό υλικό. Το πείραμα χρησιμοποίησε llama.cpp με υποσύστημα Vulkan. Δεν υπάρχει CUDA, δεν υπάρχουν πυρήνες τανυστών και δεν υπάρχει επιτάχυνση FP16. Στον ίδιο σταθμό, ένα μικρό μοντέλο 3B σε κβαντοποίηση Q4 έφτασε τα 60 tok/s στην αποκωδικοποίηση. Για σύγκριση, σε μεγάλο μοντέλο Qwen 77,9 GiB, η RX 580 με llama.cpp μέτρησε 33,9 tok/s στην προπλήρωση και 5,85 tok/s στην αποκωδικοποίηση. Ο ίδιος σταθμός με RTX 3050 8 GB και Strata, σε αυτό το φορτίο, μέτρησε 128–188 tok/s στην προπλήρωση και 23–31 tok/s στην αποκωδικοποίηση. Κατά την εξαγωγή η RX 580 κατανάλωνε έως περίπου 120 W. Για μοντέλο αυτού του μεγέθους η κάρτα είναι η ασθενέστερη επιλογή· ως «δεύτερος εγκέφαλος» για σύντομες μικροεργασίες, τα αποτελέσματα την καθιστούν ωστόσο χρήσιμη, και κοστίζει λιγότερο από μια συγκρίσιμη ποσότητα νεότερης μνήμης συστήματος.

Το πείραμα απομακρύνθηκε έπειτα από το μεγαλύτερο δυνατό μοντέλο και στράφηκε σε μικρά μοντέλα που χωρούν εξ ολοκλήρου σε 8 GB μνήμης βίντεο. Μετρήθηκαν χωριστά τρία μοντέλα: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s προπλήρωση και 60 tok/s αποκωδικοποίηση· Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s· και Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. Το συνδυασμένο βάρος είναι 6,79 GiB. Θεωρητικά και τα τρία θα μπορούσαν να χωρέσουν σε 8 GB, αφήνοντας περίπου 1,21 GiB για την προσωρινή μνήμη KV, τους ενδιάμεσους υπολογισμού και το επιπλέον κόστος. Είναι στενά, και η ταυτόχρονη παρουσία και των τριών στη μνήμη βίντεο δεν έχει επαληθευτεί.

Η πραγματική κατανάλωση της κάρτας κατά την τοπική εξαγωγή μετρήθηκε επίσης σε πέντε όρια ισχύος: 120, 100, 70, 50 και 30 W. Για μικρά μοντέλα που χωρούν εξ ολοκλήρου στη μνήμη βίντεο, σε αυτό το πείραμα το οικονομικότερο σημείο για την παραγωγή ήταν τα 70 W. Σε σύγκριση με τα 120 W, η κατανάλωση της κάρτας κατά την εξαγωγή ήταν περίπου 36% χαμηλότερη, η ταχύτητα παραγωγής μόνο 12–15% χαμηλότερη και η ενέργεια ανά παραγόμενο τεκμήριο 26–28% χαμηλότερη. Στα 70 W το μοντέλο 3B παρήγαγε 39,5 tok/s. Μια σύντομη απάντηση 200 τεκμηρίων κατανάλωσε 0,091 Wh ηλεκτρισμού της ίδιας της κάρτας. Με 0,25 €/kWh αυτό ισοδυναμεί με 0,000023 € ανά τέτοια απάντηση, 0,023 € για χίλιες απαντήσεις την ημέρα και περίπου 8,30 € για 365.000 τέτοιες απαντήσεις το έτος. Η εκτίμηση αυτή δεν περιλαμβάνει την κατανάλωση σε αδράνεια ούτε τον υπόλοιπο υπολογιστή. Σε αδράνεια η RX 580 καταναλώνει περίπου 14 W, που με συνεχή τροφοδοσία αντιστοιχεί σε περίπου 30,70 € το έτος· ο επεξεργαστής, η μνήμη, η μητρική και η αποθήκευση προσθέτουν τα δικά τους. Για φορτία χαμηλής έντασης, η μείωση της κατανάλωσης σε αδράνεια μπορεί να σημαίνει περισσότερα από τη μείωση κατά την ίδια την εξαγωγή. Επιφύλαξη: τα 70 W είναι βέλτιστα για την παραγωγή με μικρά μοντέλα που μετρήθηκε σε αυτό το πείραμα, όχι απαραίτητα για κάθε εργασία. Μακρινά ερωτήματα, αγωγοί αναγνώρισης κειμένου σε εικόνες, επεξεργασία ήχου και άλλα φορτία μπορεί να έχουν εντελώς διαφορετικά χαρακτηριστικά ταχύτητας και ενέργειας.

Η επόμενη γραμμή εργασίας δεν είναι «πόσο μεγάλο μοντέλο μπορεί να εκτελεστεί», αλλά πόσες χρήσιμες καθημερινές εργασίες μπορεί να επιτελέσει ένα φθηνό τοπικό σύστημα: ανάλυση μικρών PDF, εξαγωγή δεδομένων από σαρώσεις, αναγνώριση κειμένου σε εικόνες, απομαγνητοφώνηση σύντομων εγγραφών, ταξινόμηση αρχείων, περιλήψεις, ανάγνωση αρχείων καταγραφής, δρομολόγηση αιτημάτων και προετοιμασία δεδομένων για ένα μεγαλύτερο σύστημα ΤΝ. Αυτά τα πολυτροπικά και έγγραφα φορτία δεν έχουν ακόμη αποτελέσει αντικείμενο πειράματος σε αυτή την κάρτα. Η εφικτότητά τους, η ακρίβεια, η καθυστέρηση, η ανάγκη μνήμης και το ενεργειακό κόστος απομένει να διερευνηθούν. Ορισμένες λειτουργίες ίσως αντιμετωπίζονται καλύτερα στον επεξεργαστή, αφήνοντας την κάρτα για την εξαγωγή. Το αν μπορούν να παραμείνουν φορτωμένα πολλά εξειδικευμένα μοντέλα, με ένα μόνο σε εκτέλεση κάθε φορά, είναι επίσης ακόμη ανοιχτό ερώτημα.

Η τροφοδοσία είναι ξεχωριστό τεχνικό ζήτημα. Μια τυπική υποδοχή PCIe x16 μπορεί να παρέχει έως 75 W απευθείας από τη μητρική. Ο αποδοτικότερος τρόπος για μικρά μοντέλα σε αυτό το πείραμα ήταν όριο λογισμικού 70 W. Η ιδέα που εξετάζουμε είναι μια διαμόρφωση που λειτουργεί μόνο από την υποδοχή, χωρίς επιπλέον σύνδεσμο τροφοδοσίας 6 ή 8 ακίδων, ώστε μια τέτοια κάρτα να μπορεί να τοποθετηθεί σε ήδη υπάρχοντα υπολογιστή γραφείου, χωρίς αντικατάσταση του τροφοδοτικού. Είναι κατεύθυνση εργασίας, όχι ολοκληρωμένη λύση. Στο πείραμα, ακόμη και με το όριο λογισμικού των 70 W, παρατηρήθηκαν ακόμη σύντομες κορυφές πάνω από 75 W, και η RX 580 που διαθέτουμε εξακολουθεί να χρειάζεται βοηθητική τροφοδοσία. Ένας ασφαλής σχεδιασμός «μόνο από την υποδοχή» θα απαιτούσε μηχανική εργασία στην ισχύ κορυφής και ελέγχους συμβατότητας. Οι ροές εγγράφων, εικόνας και ήχου απομένει επίσης να επιβεβαιωθούν. Δεν ισχυριζόμαστε ότι μια τέτοια εγκατάσταση ήδη προμηθεύεται σε πελάτες.

Μια κάρτα των 49 € δεν αντικαθιστά το κύριο σύστημα με Strata. Με τα ήδη διαθέσιμα αποτελέσματα μπορεί να γίνει ένας φθηνός, σχετικά οικονομικός εκτελεστής πολλών σύντομων, επαναλαμβανόμενων εργασιών, ενώ τα δεδομένα παραμένουν τοπικά. Όλες οι μετρήσεις, τα πειράματα ορίου ισχύος, η μέθοδος, τα πρωτογενή αρχεία καταγραφής, οι αποτυχίες και τα συμπεράσματα έχουν δημοσιευτεί στο αποθετήριο. Εξετάζουμε πόση χρήσιμη τοπική ΤΝ μπορεί να προκύψει από υλικό που συχνά θεωρείται παρωχημένο.

Μετρήσεις στο αποθετήριο · Ανάρτηση στο X · Όλα τα νέα